ランダムなベクトルの海から秩序の島へ：AIが「学習」する意味
はじめに
AIがどうやって学習するかについて考えたことはありますか？といっても、テキストの山に埋もれ、複雑な数式に頭を抱える必要はありません。むしろ、ちょっとした散歩のように、AIの学習の旅を覗いてみましょう。それは、ランダムなカオスの世界から、徐々に秩序だったパターンを見つけ出す冒険のようなものです。
始まりはいつもランダム
大規模言語モデル（GPTみたいなやつです）は、学習の旅をランダムなベクトルの海でスタートします。ちょっとイメージしてみてください。AIが初めて見る単語は、まるで「猫」や「魚」を見ていない赤ちゃんが、言葉をランダムな音の集合体として聞くようなもの。何の意味もまだわかりません。
AIの頭の中、つまりそのモデルには、単語が「ベクトル」と呼ばれる数値の並びに変換されて詰め込まれます。でも最初はこのベクトル、つまり数字の塊はランダムです。「猫」が何を意味するかなんて知らないのだから、ベクトルの形はまだ適当なものでしかありません。完全にランダムです。言うなれば、たくさんの数字が無秩序に並んでるカオス状態。でも、このカオスが学習のスタート地点。まるで、白紙の地図に何かを書き込むように、AIも少しずつ秩序を見出していくんです。
秩序の萌芽：ランダムからパターンへ
「じゃあ、そのランダムな状態から、どうやって意味あるものになっていくの？」と疑問に思うかもしれません。ここでAIの魔法が始まります。学習の過程で、AIはただ数字をいじっているわけではありません。データ（たくさんのテキスト）を何度も見て、そこからパターンを探り出していくんです。
例えば、AIは「猫」と「食べる」が近くに出てきたら、「猫が何かを食べている」かもしれないと気づくようになる。そして「猫」と「魚」が一緒に出てきたら、「あれ？猫が食べてるの、もしかして魚？」というふうに、少しずつ賢くなっていきます。これがAIの「学習」。最初はランダムだったベクトル（数字の並び）が、こうして意味のあるパターンへと変わっていくんです。だんだんとランダムな数字のカオスが、現実世界の構造や法則を反映するように整備されていく様は、まるで迷路の出口を見つける旅のようです。
ランダム性の減少＝知識の増加
ここで、シャノンの情報理論という賢そうな名前を聞いたことがあるかもしれませんが、怖がらないでください。これを簡単に言えば、「情報」というのは、いかにランダム性や不確実性を減らすかという話なんです。AIも同じことをしているんです。最初の状態は「猫」と「魚」がどう関係するのか、全くわからない、つまり不確実性が高い。ところが、学習を続けることで、AIはその関係を理解し始め、不確実性（ランダム性）が減っていく。ランダムな状態から、徐々に意味のあるパターンが見つかり、秩序だった知識の世界へとたどり着くんです。
最初は「円」や「正方形」のようなシンプルな図形しか描けなかったAIが、だんだんと「多角形」、最終的には「複雑な海岸線」を描くようになるイメージです。数学者のマンデルブロという人が「フラクタル」って呼んでいるものかもしれませんが、そこまで詳しくなくても大丈夫！要は、シンプルな関係から始まって、学習を続けると、どんどん複雑な現実のパターンが捉えられるようになるんです。
「学習」とは、世界をパターン化すること
AIが「学習」するとは、ランダムなカオスの中に秩序を見出し、だんだんと精緻で複雑なパターンを学んでいく過程です。最初はただの無意味な数字の集合だったものが、学習を続けることで「猫は魚を食べる」という一つの関係を理解するようになる。そしてもっと複雑な関係、文脈、意味をも学んでいく。
この旅は私たち人間にとっても興味深いものです。私たちも人生の中で新しいことを学び、それまで無意味だったものが、ある瞬間に「意味」を持ち始めることってありますよね。AIも、そんな「気づきの瞬間」を何度も何度も繰り返しているんです。
パターン化することの良さ
さて、あなたが最初に持っていた質問、「パターン化することは悪くないか？」という点。実は、パターンを見つけることこそが学習の本質なんです。学習を積み重ね、無秩序の中にパターンを見出すことで、AIはますます賢くなります。円や正方形だったものが、多角形になり、最終的には複雑でリアルな海岸線を描けるようになる。こんなふうに学習の成果が見える形で現れてくるなんて、なんだかワクワクしませんか？
まとめ
AIの学習プロセスは、まるで無限の海から島を見つけ出し、そこに家を建てて村を作り、やがて街ができるようなものです。最初はカオスだったけれど、時間が経つにつれて秩序だったパターンが現れ、複雑な関係性を理解できるようになる。そしてそれが、人間にとって有用な知識として現れるのです。
だから、学習を積み重ねていくことに価値がある。AIにとっても、私たちにとっても。ランダムな海に潜り込み、パターンを見つけ、最終的には美しい複雑な世界を描き出す。これこそが「学習」の醍醐味なんです。
ランダムなベクトルから始まるこの旅、案外奥深くて面白いと思いませんか？
ということを以下のo1-previewとのGPTの構造に関する議論から思いつきました。
【重版出来】AIアプリをプログラミング不要で開発する書籍
ChatGPTでAIアプリを作って仕事で使いたい方と世界に公開したい方へ！