理系大なら離散数学と情報理論を学べ。卒業後の独学では難しい、在学中に学んでおきたい情報科学
大学を卒業して、この2つの科目を未学習だったために、困っている人が多いです。
学部のカリキュラムには、卒業を目的として組まれています。
"大学院への進学"、"社会人(専門職)になってから基礎を学ぶ"ときに、必要となる(知りたくなる)科目は入っていません。
「離散数学」「情報理論」は、理工系学部のある大学であれば、かならず講義が開講されているはずです。
ここで受講していないと一生後悔します。
※ 聴講を担当先生によっては断られることもあります。事前に担当教員へ挨拶しにいっておくとトラブルを避けられます。
離散数学(と言語理論)
(集合論)
組合せ論
グラフ理論
オートマトン
言語理論
計算量の理論(複雑性)
数論(情報系分野に暗号理論を対象にいれれば)
このような分野を集めて、総合的に離散数学と呼びます。
※ 講義名に「離散数学」ではなく、それぞれの分野で開講されている場合があります。
コンピュータは、というより、情報系分野は、離散数学を基礎として記述されます。
人工知能の情報系分野を研究する際に、離散数学をわかっているかどうかではなくて、離散数学は情報系分野の「あいうえお」です。
最近でいえばChatGPTの理論的基礎「大規模言語モデル」は、グラフ理論とオートマトン、言語理論がその基盤にあります。
離散数学について、それぞれの項目を見ていくと、本来の科目をショートコーとしてまとめている、とわかります。
集合論ならば、大学数学の"集合と位相"にくらべると初等的です。「集合とは?」という数学的探求は保留のままに、基本的なことしかやりません。組合せ論は高校数学の範囲内です。
※ 余裕があるのなら「集合と位相」を数学科開講レベルで学んでおくのも推奨します。
離散数学で、集合論や組合せ論をやる意味は「実用レベルではここまででいい」とわかることです。
いっぽうで、言語理論は若干難しいです。この言語理論だけでも講義を受講して、「こんなものなんだ」と概要を把握するでもいいです。きっと、世の中の見方が変わります。
言語理論(形式言語)は、正規表現の基礎理論でもあるし、チョムスキーの生成文法に関連してきます。大規模言語モデルはその技術的発展にあるので、現代技術を知る上でも、言語理論は重要な位置にあります。
※ 正規表現はプログラムでよく使いますよね?
情報系大学出身の新入社員に「言語理論はどう(得意)?」と訊くと、ほとんどの人が苦い顔をします。
つまり言語理論は脱落しやすい。講義があるのなら、聴講しておいたほうがいいでしょう。
有名な本は
Michael Sipser(シプサ),計算理論の基礎 [原著第2版]
買うならば[原著第3版]か、型落ちユーズド[原著第2版]かな。
独学される方へは、つぎのような本も参考になります。
情報理論
端的にいえば、一般化された(情報的な)エントロピーについての分野です。
エントロピーとっても、物理学での熱力学や統計力学で使うエントロピーとは少し違う。ボルツマンなエントロピーではなくて、シャノンなエントロピーなんです。
情報系分野では「通信の数学基礎」として情報理論を学びます。
情報理論の応用範囲は広い
人工知能や統計学、もっとアドバンスドには量子情報科学や情報熱力学(量子熱力学)で使われます。
統計学では、EMアルゴリズム、AIC(赤池情報量規準)は、情報理論の応用です。
昨今の物理学(4年~大学院以上レベル)では非常に多く使われています。たとえば、ブラックホールやホログラフィック理論、それに、量子コンピュータや量子誤り訂正です。非平衡系の意欲的な近著『ゆらぐ系の熱力学』に、巻末"本文の補足説明"で情報理論が載っているくらいです。物理学科の学生でも、この情報理論を知っておいて損はありません。
この分野は独学でも可能だと思います。有名な本は
わたしはつぎを使いました。
"人工知能や統計学"向けの内容です。
#大学生 #大学生活 #AI #数学 #物理 #量子力学 #データサイエンス #量子コンピュータ #物理学 #人工知能 #情報科学 #物理がすき #大学数学 #理論物理学 #大学生活 #独学