人工的なアインシュタインまであとどれくらい？- アダム・ブラウン

3,561 文字

おそらく、これらのシステム、つまりLLMが最後にできるようになることは、前世紀の変わり目に理解されていた物理法則から一般相対性理論を発明することでしょう。これが恐らく最終段階で、一度それができるようになれば、人類にとってはもうやることはあまり残っていないでしょう。物理学のバックグラウンドを持つ者として、進歩が非常に遅い分野からAIの分野に来て、日々、週ごと、年ごとに進歩が驚異的に速いのを目の当たりにするのは非常に驚くべきことです。
これらのLLMやAIシステムを見ていると、ある意味では単なる補間器に過ぎませんが、補間を行う抽象化のレベルが次第に上がっていっています。私たちはその抽象化の連鎖を上っていき、十分に高い視点から見れば、ニュートン物理学から一般相対性理論を発明することは、ある十分に壮大なレベルでの補間に過ぎないのかもしれません。それは人間の知性、そしてこれらの大規模言語モデルの本質について何かを教えてくれるかもしれません。
それができるようになるまでの年数を聞かれても、はっきりとはわかりませんが、ある意味で一般相対性理論は人類が成し遂げた最大の飛躍でした。おそらく10年後にはそれができるようになり、その時点で人間の知性を完全に包含することになるでしょう。アインシュタインがやったことと同じ性質を持つでしょうか？確かに人間の知性とこれらの大規模言語モデルの間には多くの違いがありますが、適切な抽象化のレベルでは同じかもしれません。
AIの数学者や物理学者は、人間には本来的に得意ではない奇妙な次元や多様体について考えることができるという点で、人間より有利だと思いますか？
ああ、人間が高次元について本来的に考えることができるかどうかについて、まず考える必要があると思います。明らかにそれは私たちの自然な空間ではありません。これらについて考えるための技術が発明されました。つまり、表記法、テンソル表記、その他のものです。アインシュタインが100年前にしたように、単なる書き方でさえ、自然に次元間を移動することができ、高次元について考えるというよりも、これらの数学的オブジェクトを操作することについて考えるようになります。
大規模言語モデルが人間以上に自然に高次元で考えることができるという意味はないと思います。大規模言語モデルには何十億ものパラメータがあり、それは何十億次元の空間のようだと言えるかもしれませんが、人間の脳についても同じことが言えます。脳にも何十億ものパラメータがあり、したがって何十億次元だと。その事実が空間的な何十億次元での思考に変換されるかどうかについては、人間においてもそれを見出すことはできませんし、LLMにも当てはまらないと思います。
そうですね、例えば、この奇妙なテンソル数学に依存する問題を100万個見ただけでも、人間でさえそれを通じて訓練されてより良い直感を築くのと同じように、AIにも同じことが起こるかもしれません。より多くの問題を見て、このような奇妙な幾何学のより良い表現を発展させるということですね。
確かにその通りです。私たちが生涯で見ることのできる例よりもはるかに多くの例を見ており、おそらく私たちよりも洗練された表現を構築するでしょう。物理学の歴史では、しばしばブレークスルーは単に物事の考え方、表現の仕方にあります。アインシュタインの物理学への最大の貢献は、アインシュタイン縮約規約と呼ばれる特定の表記法を発明したことだと冗談めかして言われることがあります。これによって、これらのことをより簡潔に表現し、考えることができるようになりました。
ペンローズの偉大な貢献の一つは、これらの時空とその働きについて考えるための新しい表記法を考案し、書き下したことでした。それによって他のことがより明確になりました。明らかに、適切な表現を考え出すことは物理学の歴史において信じられないほど強力なツールでした。より応用的な科学分野での新しい実験技術の考案と幾分類似しています。これらの大規模言語モデルが向上するにつれて、より良い表現、少なくとも彼らにとってより良い表現を考え出すことが期待されます。それは必ずしも私たちにとって良い表現と同じではないかもしれません。
ここには興味深い疑問があります。明らかにこれらのモデルは多くのことを知っており、それは専門の物理学者でさえあまり馴染みのない分野について質問し、学ぶことができるという事実によって証明されています。しかし、これは疑問を投げかけます。私たちはこれらのものが賢く、どんどん賢くなっていると考えています。もし合理的に賢い人間が基本的にすべての分野を記憶し、未解決の問題について知っており、他の分野の未解決の問題とそれらがこの分野とどのように結びつく可能性があるのかを知っており、潜在的な矛盾点やつながりについて知っていたら、アインシュタインレベルの概念的飛躍ではないにしても、多くのことができると期待されます。
例えば、マグネシウムが脳のこの種の現象と相関し、この種の現象が頭痛と相関するので、したがってマグネシウムのサプリメントが頭痛を治す可能性があるというような基本的なつながりです。これは、知識の面で圧倒的な利点があるにもかかわらず、LLMがそれを新しい発見に変換することができないという事実を考えると、知性に関して私たちが予想するよりも弱いことを示唆しているのでしょうか？
はい、彼らは明らかに人間とは異なる長所と短所を持っています。彼らの長所の一つは、人間が一生涯で読むことのできる量をはるかに超えて読んでいるということです。おそらくチェスプログラムとの類推が良い例でしょう。彼らはしばしば、人間のチェスプレイヤーが考えるよりもはるかに多くの可能な局面を考慮します。それはモンテカルロ探索ですが、人間レベルの強さでさえ、人間レベルの強さに固定しても、はるかに多くの探索を行っています。したがって、彼らの評価能力は人間ほど自然ではないかもしれません。
物理学でも同じことが言えると思います。もし人間が彼らと同じくらい読み、同じくらい記憶していたら、さらに強くなることが期待されるかもしれません。スコット・アーレンソンは最近、というか1年ほど前に、GPT-4が彼の保険数理コンピューティングのクラスでBかA-の成績を取ったことを投稿しました。これは確実に私が取った成績より高いので、私はすでに水準以下ですね。
あなたはスタンフォードで一般相対性理論を含むいくつかの科目を教えていますが、これらのモデルにこれらの試験の問題を尋ねてきたと思います。時間とともに彼らの性能はどのように変化してきましたか？
はい、私はスタンフォードの大学院の一般相対性理論のクラスで何年か前に出した試験をこれらのモデルに与えています。それは非常に驚くべきことです。3年前はゼロでしたが、1年前にはかなり良くなっていて、おそらく弱い学生程度でしたが、分布の中にはいました。そして今では本質的にテストを完璧にこなします。実際、それは私の個人的な評価にすぎず、どこにも公表されていませんが、彼らがどのように進歩しているかを追跡するためにこれを与えているだけです。そしてそれはかなり強力です。大学院のコースの基準からすると簡単かもしれませんが、一般相対性理論の大学院のコースで、ここ数ヶ月の間に最終試験でほぼすべてを正解するようになっています。
テストでAを取るために必要なものは何ですか？明らかに、彼らはおそらくすべての一般相対性理論の教科書を読んでいると思いますが、テストでAを取るためにはそれ以上のものが必要だと思います。
物理学の問題は数学の問題と比べて、通常2つの要素があります。一つは、この言葉による問題を物理学の知識を使って数学の問題に変換することです。そしてその数学の問題を解くことです。それが典型的なこれらの問題の構造です。したがって、両方ができる必要があります。おそらくLLMだけができて、他のものには簡単ではない部分は、その最初のステップ、つまり数学の問題に変換することです。
難しい研究問題を尋ねれば、確実に彼らが解けない問題を考え出すことができます。それは確かです。しかし、これらのモデルの評価を開発しようとしてきた中で、2年前、確実に3年前には、インターネットから標準的な高校数学の問題を任意に収集してもそれらを解くことができませんでした。そして今では、どの分野であれPhDを持つ人々を雇う必要があり、彼らは1日に1つの素晴らしい問題を考え出すようなものです。これらのLLMが強くなるにつれて、彼らの性能を評価することの難しさは増しています。