GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている

大規模言語モデルの優秀さの秘訣

ChatGPTなどに代表されるサービスで採用されている大規模言語モデル（LLM）によって、AIは今までとは比べ物にならないくらい自然な対話ができるようになった。

なぜLLMでは自然な対話ができるかというとその秘訣の1つは、LLMは大量のテキストを学習する際に、文章内の単語を「ベクトル（向きと長さを持つ数学的な量）」に変換して処理しているからだ。

GPTでは各単語は数万という次元でベクトル化されており、単語ベクトルは意味が近いほどベクトル同士の距離が近くなる。

https://openai.com/blog/introducing-text-and-code-embeddings

これこそが大規模言語モデルがここまで高い言語能力を獲得したポイントであるが、たまたま最近読んだ脳科学、言語学、文字学の本の中で、このLLMにおけるベクトル化の仕組みは非常に理にかなっていることが分かった。

一言でいうと、人間が意味や概念を扱う処理とかなり近い処理が、この単語のベクトル化なのだ。

注）以下の３冊で提唱されるのはいずれも科学的に検証された事実ではなく、『仮説』だ。しかし、仮説の中でも非常に説得力のある仮説であり、大規模言語モデルと人間の思考の共通点を指し示す非常に示唆深いものであるため紹介する。

脳は知識の保存と思考を「座標系」で行っている

ジェフ・ホーキンスの「脳は世界をどう見ているのか」において、「すべての知識は脳内で座標系として保存される。そして、脳が何かを思考するときは、新皮質全体が座標系をつくり、数千のニューロンが同時に活性化し、ある種の『投票』が行われることによって1つの知覚が形成される」という驚きの新説が提唱される。