理解を手放すとき

日経サイエンス2023年10月号にて大規模言語モデルについての特集が組まれておりました。

大規模言語モデルとは、ChatGPTの内部で働いているAIのことです。流行りの内容が記事になった程度に考えて、あまり期待せずに読んでいたのですが、これがなかなか面白い内容でした。

大規模言語モデルというのは、たくさんのテキストデータを取り込み、それを学習・利用して言語に関する問題を解くものですが、そのふるまいについては未解明のものが多いそうです。例えば、大規模言語モデルにおいて学習量がある閾値を超えると、学習していない課題の正答率が急に跳ね上がり、まるで新たな課題を解決する能力が創発されたように見えるということが起きるそうです。

こういった未解明なふるまいは、大規模言語モデルが帰納的に言語を処理していることから起こると考えられます。つまり、実際の言語の使用例をまるごと取り込んで、そこから抽出できそうなルールを見つけるという処理で、自然言語というシステム自体が不明な点を多く含んでいることもあり、言語を帰納的に扱っている以上、そのふるまいのすべてが解明できないのは避けられないようです。

このような大規模言語モデルの情報処理の方向性は脳のそれと類似が認められます。つまり、すぐには理解しきれない複雑な外界の情報をまるごと飲み込んで、すべてを理解しないうちからうまく活用していく方向性のことで、実際に脳と大規模言語モデルの挙動には類似性が認められるという実験結果が増えてきているそうです。

ところで、帰納推理というのは、自然科学において有限個の事例だけを観察して普遍的に成り立つ法則を見つけることを意味します。しかし、実際には有限の事例から論理と数学だけで普遍法則を導くことはできないため、帰納バイアスをかける必要があります。このバイアスをかけることによって、未知の事例についても予測ができるようになります。

脳も機械も帰納バイアスをかけることで、未知の課題に挑むことになるのですが、ヒトの場合はその帰納バイアスがより強くなります。自然科学においては、そもそもデータの量が少ないため、帰納バイアスを強くかけて、よい予測や世界の理解を得ようとしているのです。一方、機械学習においては、帰納バイアスは極力少なくして、その代わりデータを大量に用意するアプローチであり、ヒトのそれとは傾向が異なります。

機械学習では、同じ学習データからモデルをたくさん作って多数決で答えを予測すると単独のモデルを作るよりその精度が高まることがわかっており、これをアンサンブル学習法と呼ぶそうです。この学習法は、あることを説明できる仮説が複数あるのであれば、どれか一つを選ぶのではなく、そのすべてを保持すべきというエピクロスの多説明原理の考え方に基づいています。

このようにして導き出されたものは、複雑すぎておそらくヒトには理解できないものであろうと考えられます。

そもそも、理解とは、人間が把握可能なサイズまでシンプルにまとめることを言い、そのようにしてされた説明を見出すことを「現象を理解した」と思っていました。これは人間の知性に課せられている制限条件のもとで物事を把握するうえで都合がよいからです。

私たちは理解したいから説明を求めますし、理解したいから帰納バイアスという物語を紡ぎだします。しかし機械は理解を必要とせず、理解をしないまま、データを扱います。ゆえに出力されるものも理解ができないものであると思います。ただし、その出力されるものは、もしかすると、この世界をより正確に表現できるものなのかもしれません。

統計学者の赤池弘次は「現実世界の本質はしょせんアクセス不可能であり、モデルの目的は未知の状況において起きることをできるだけ精緻に予測することだ」と言いました。

私たちがこれまで「理解」していたと思っていた世界は、私たちの知性に合わせて過度に単純化されたものでしかなく、この世界はより複雑で予測困難なものであり、私たちがそのすべてを理解することは、そもそもできないのかもしれません。

だからこそ、世界を「理解」するのではなく、「理解はできないけれど正しそうなもの」を見極め、そしてそれを受け入れていくということが必要になってくるのかもしれません。

参考：日経サイエンス2023年10月号
本記事は、当該雑誌の個人的概要みたいな内容になってしまいました。雑誌の記事はこの記事以上に濃く面白いものでしたので、購入奨励です。