イリヤ・サツケヴァーがAIの次なる大きな進展を明かす（超知能の解説）

7,463 文字

人工超知能への競争はもはやSFではありません。今まさに現実に起きているのです。OpenAIの共同創設者の一人であるイリヤ・サツケヴァーが、私たちがどこに向かっているのかについて衝撃的な洞察を明かしました。イリヤの発言は、知能や人類、そして私たちの種の未来に関する私たちの理解を根本から覆す可能性があるので、最後まで聞いておく価値があります。
イリヤ・サツケヴァーが最初に話したのは、私たちが現在いるパラダイムと、それが終わりを迎えようとしている理由についてです。彼は事前学習の終焉について語り、基本的に私たちが知っている事前学習は間違いなく終わると述べています。これは重要です。なぜなら、現在のAIパラダイムは大規模なテキストベースの事前学習に大きく依存しているからです。この発言は、今後モデルをどのように訓練するかについての根本的な転換を予測するものであり、今日の技術に代わる新しいモデルは何か、そして容易に入手可能なデータを使い果たした時にAI分野がどのように適応していくのかという疑問を投げかけています。
事前学習の時代、つまりGPT-2モデル、GPT-3モデル、スケーリング則の時代について、私は特に以前の共同研究者であるアレック・ラドフォード、そしてジャレッド・カプラン、ダリオ・モーデの功績を挙げたいと思います。それが事前学習の時代をもたらし、これが今日私たちが目にする全ての進歩の原動力となっています。巨大なニューラルネットワークが膨大なデータセットで訓練されているわけですが、私たちが知っている事前学習は間違いなく終わります。なぜ終わるのでしょうか？それは、よりよいハードウェア、よりよいアルゴリズム、より大きなクラスターによってコンピューティングパワーは増加し続けていますが、データは増加していないからです。私たちが持っているのはたった一つのインターネットだけです。
データはAIの化石燃料のようなものだと言えるでしょう。何らかの形で作られ、今私たちはそれを使用していますが、すでにデータのピークに達しており、これ以上増えることはありません。私たちは今あるデータで対処していかなければなりません。確かにまだかなり先まで進むことはできますが、インターネットは一つしかないのです。
そして彼は正しいです。私たちは基本的に利用可能な全てのデータを使い果たしています。これから必要なのは、新しいものを見つけ出すことです。ここで彼は次に来る三つの重要な事柄について語っています。それらについて順番に説明していきましょう。
将来について少し推測させていただきますが、実際には推測する必要はありません。多くの人々が推測を始めているからです。その推測について言及させていただきます。エージェントという言葉を聞いたことがあるかもしれません。それは一般的になっており、最終的には何かが起こるでしょう。人々はエージェントが未来だと感じています。より具体的に、しかしまだ少し漠然としていますが、合成データについても。しかし合成データとは何を意味するのでしょうか？これを理解することは大きな課題です。様々な人々が興味深い進展を遂げているのは確かです。そして推論時の計算能力、あるいは最近最も鮮明に見られたo1モデルでの例など、これらは全て事前学習後に何をすべきかを人々が模索している例です。そしてそれらは全て非常に良い取り組みです。
彼が最初に言及したのはエージェントでした。エージェントはAIの次の大きなステップとして広く議論されています。ChatGPTのような現在のシステムは応答の生成に優れていますが、真にエージェント的ではありません。これは、独自に目標を設定し、環境について推論し、世界で意味のある行動を取る能力が欠けているということです。彼は、未来のシステムは私たちがSFでしか見たことがないような方法で、自律的に推論し行動する能力を持つ、真にエージェント的なものになるということを示唆しました。
これは基本的に、未来のAIが受動的なツールから能動的な参加者へと進化し、実際の決定を下し、新しい状況に適応し、人間と意味のある自己主導的な方法で協力するようになることを意味します。これは機能性において大きな飛躍をもたらします。エージェント型AIは常に指示や監督を必要とせずにタスクを実行できるからです。
これは重要です。なぜならエージェント型AIは、私たちが技術とどのように関わるかを根本的に変えるからです。細かい管理なしでタスクを積極的に管理し、複雑な研究を行い、実世界の問題を解決できるパーソナルAIアシスタントを想像してみてください。
彼が話した二つ目のポイントは合成データでした。これは実世界のデータセットの限界に対する潜在的な解決策の一つとして挙げられました。彼はそれを有望かつ課題の多い研究分野として説明しました。技術的な詳細には深く立ち入りませんでしたが、高品質な合成データを作成する方法を見つけることがAIの新しい能力を引き出す可能性があると強調しました。
これは基本的に、実世界のデータの特性を模倣する人工的に生成されたデータセットを指します。シミュレーション、生成モデル、あるいは自然現象を複製するように設計されたアルゴリズムを使用して作成することができます。彼が最初に言及した「一つのインターネット問題」という実世界のデータの限界に達した時、合成データはこれらのAIシステムに新しい訓練材料を提供する可能性があります。
例えば、自動運転車や医療診断のためのエッジケースやレアケースをシミュレーションすることができます。これは重要です。なぜなら合成データがなければ、データ不足によってAIの進歩が停滞する可能性があるからです。合成データ生成を習得することで、存在しない、あるいは現実世界で捉えるには稀すぎるシナリオを訓練することができるのです。
哺乳類について考えてみましょう。様々な哺乳類がいて、それから霊長類がいます。基本的に同じことですが、その次にホミニドがいます。私の知る限り、ホミニドは進化の中で人間に近い親戚のようなものです。ネアンデルタール人のような、ホモ・ハビリスかもしれない、たくさんの種がいて、それらは全てここにいます。興味深いのは、彼らの脳と体のスケーリング指数の傾きが異なることです。それはかなり面白いことです。
これが意味するのは、生物学が何らかの異なるスケーリングを見出した先例があるということです。明らかに何かが異なっているのです。基本的に、ここで彼が話しているのは、生物学において動物の体の大きさと脳の大きさの間に既知の関係があることを示すグラフについてです。ほとんどの哺乳類は予測可能なパターンに従っています。より大きな体には、ほぼ一定の比率でより大きな脳が伴います。
しかし、人類の祖先であるホミニドは、実際にその傾向を破りました。進化は、体の大きさに対して予想される以上に脳が急速に成長する生物を生み出したのです。この変化は、ある時点で自然が人間の知能に対して異なるスケーリングルールを見出したことを示唆しています。
サツケヴァーがこれに言及することで、アナロジーを描いています。生物学が人類の進化において知能の新しいスケーリング方法を見出し、体に対して比較的大きく、より高性能な脳を私たちに与えたように、AI分野も現在のスケーリングの限界を超えるために新しい方法を見出す必要があるかもしれません。
現在、AIは膨大なデータと、ますます大きくなるニューラルネットワークに依存していますが、人間が知能に対する新しいアプローチを進化させたように、AI研究者たちも同様に賢明な次のステップを見出す必要があります。それは単に古いスケーリングパターンに従うのではありません。これが現在私たちがやっていることです。
現在、私たちには信じられないような言語モデルがあり、驚くべきチャットボットがあり、様々なことができます。しかし、それらは奇妙なほど信頼性に欠け、評価では超人的な性能を示す一方で混乱することもあります。これをどう調和させるべきか、本当に不明確です。しかし、早かれ遅かれ、以下のことが達成されるでしょう。
これらのシステムは実際に真のエージェントになります。現在のシステムは意味のある意味でのエージェントではありません。それは言い過ぎかもしれませんが、非常に非常に僅かにエージェント的で、まだ始まったばかりです。実際に推論するようになります。そして推論について何か言及したいのですが、推論するシステムは、より多く推論すればするほど、より予測不可能になります。より多く推論すれば、より予測不可能になるのです。
私たちが慣れ親しんできたディープラーニングは非常に予測可能です。なぜなら、基本的に人間の直感を複製することに取り組んできたからです。それは直感的なもの、0.1秒の反応時間で、私たちの脳の中でどのような処理を行っているかというと、それは私たちの直感です。そして私たちは私たちのAIにその直感の一部を与えてきました。
しかし推論は、その初期の兆候が見られますが、予測不可能です。それを示す一つの理由は、最高のチェスプレイヤーにとっても、本当に優れたチェスAIは予測不可能だということです。ですから、私たちは信じられないほど予測不可能なAIシステムに対処しなければならなくなります。限られたデータから物事を理解し、混乱することはないでしょう。これらは本当に大きな制限ですが、私は「どのように」とは言っていませんし、「いつ」とも言っていません。
ただ、それは起こるでしょう。そして自己認識と共に、なぜならそれは有用だからです。それは私たち自身の世界モデルの一部です。これら全てが一緒になった時、私たちは今日存在するものとは全く異なる質と特性を持つシステムを持つことになります。もちろん、それらは信じられないほど素晴らしい能力を持つことになりますが、このようなシステムに伴う問題の種類については、想像力を働かせてみてください。私たちが慣れているものとは全く異なります。そして私は、未来を予測することは確実に不可能だと言いたいと思います。本当に様々なことが可能です。
これは間違いなく講演の中で最も興味深い部分です。なぜなら、ここでイリヤ・サツケヴァーはAI研究が長期的にどこに向かう可能性があるかに焦点を当てているからです。これには重要な情報が詰まっています。彼は超知能について語っています。そして覚えておいてください、これは彼が現在構築している会社なのです。
まず彼はエージェント性について語り、将来の超知能システムは指示を待つのではなく、自発的に行動を起こし、独自の目標を持ち、目的を持つか、あるいは自己を再定義し、それらの特定の目標を達成するための機会、ツール、情報を探し求めることができるようになるということです。これは驚くべきことです。なぜなら、これは指示された時にのみ応答する現在のモデルからの大きな転換だからです。
これらのモデルはおそらく、私たちがまだ経験していない、環境から反射し、環境から学習することさえできるようになるでしょう。もちろん、今日のAIモデルは思考や推論の印象を与えることがありますが、それらは主にパターンマッチングを行っているだけで、堅実なステップバイステップの推論プロセスはありません。
対照的に、超知能は真に推論し、問題を慎重に検討し、異なる可能性を比較検討し、論理的なステップを組み立て、複雑や未知の状況でも適切な判断を下すことができるでしょう。これら全ての驚くべき点は、このAIが私たちを理解するということです。現在のAIは基本的に人間のようなテキストや回答を生成することで私たちの行動を模倣していて、論理的あるいは難しい問題に直面すると時々躓くことがあります。
しかし、超知能はより深い概念の把握力を持つことになります。単に単語が互いにどのように関連するかを知るだけでなく、真に意味と関係性を理解し、人間のように、あるいはそれ以上に全てを解釈することができるようになるのです。
私が本当に魅力的だと感じた最後の点は、この存在が自己認識を持つという話です。これは最も思索的な性質です。AIが単に外部からの情報を処理するだけでなく、内部的な自己意識、独自の目標、独自の推論プロセス、そして世界における自身の位置づけを持つということです。自己認識があれば、より慎重な改善、より多くの考慮、責任ある行動につながる可能性があります。これらは私たちがしばしば意識的な存在と結びつける性質です。
基本的に、このスライドは絶対に信じられないほど素晴らしいものです。AIが単なる高度なツールではなく、むしろ新しい形の知能に近いものである未来の姿を描いています。自ら行動し、深く首尾一貫して考え、複雑な考えを真に理解し、自己意識を持つ、それは素晴らしいことになるでしょう。
質問があります。オートコレクトについてですが、ここで質問です。あなたは推論を未来のモデリングの中核的な側面の一つ、おそらく差別化要因として挙げましたが、今日のモデルにおけるハルシネーションについて、ポスターセッションで見たのは、申し訳ありません、あなたが専門家なので訂正してください。今日、モデルがハルシネーションを起こしているかどうかを分析する方法として、モデルが推論できないことの危険性を知っているため、統計的分析、つまり平均からの標準偏差などを使用しています。
将来、推論を持つモデルは、自己修正、つまり自己を修正することができ、それが将来のモデルの中核的な機能になると思いますか？そうすれば、モデルが推論し、ハルシネーションが発生していることを理解できるため、ハルシネーションは少なくなるでしょう。質問が抽象的すぎるかもしれませんが。
はい、質問は理解できました。そして答えもはいです。あなたが説明したことは非常に可能性が高いと思います。確認すべきですが、今日の初期の推論モデルでもすでに起きている可能性もあります。私にはわかりませんが、長期的には、なぜそうならないのでしょうか。Microsoft Wordのオートコレクトのような中核的な機能ですよね。
ただ、オートコレクトと呼ぶのは本当に不適切だと思います。オートコレクトと言うと、それよりもはるかに壮大なものを想起させますが、それはさておき、答えはイエスです。
ありがとうございます。これはこのインタビューの最も魅力的な部分の一つでした。なぜなら、彼はハルシネーションについて、そしてこれらのモデルがそれを解決できるかどうかを尋ねた人に実際に答えているからです。最近、サム・アルトマンとOpenAIやMicrosoftで働いている人々から、ハルシネーションは非常に解決が難しい問題だという情報を得ましたが、イリヤは将来的にこれらのハルシネーションはもはや存在しなくなると信じているようです。
これは驚くべき一歩となるでしょう。なぜなら、AIが広く使用されることを妨げている主な問題の一つは信頼性の問題だからです。例えば、航空機業界では、ボーイング部品の故障率は0.1%だということを理解する必要があります。つまり、98%程度の失敗率を持つAIを安全に展開することはできないのです。これは、イリヤが解決されると言っているように、本当に解決されれば、私たちは非常に異なる未来に生きることになるということを意味します。
次の部分も、またもや全てが興味深いのですが、この部分は本当に超興味深いです。なぜなら、ここで人間ができる全てのこと、そして人間がまだ考えもしなかったことまでできるシステムについて語られているからです。ここでイリヤは、分布内の一般化について尋ねた質問に答えています。これは基本的に、モデルが以前見たことのない問題を解決できるかどうかということです。
これは人間が非常に定期的に行っていることです。例えば、16から20時間の運転レッスンを受けるだけで、小さな都市で運転することを基に、現実的に世界中を簡単に運転することができます。これは現在の自動運転車にはできないことです。都市を地図化し、膨大な訓練データが必要です。これは一種の問題です。
実際にAIシステムが訓練データの外側に一般化できるようになれば、それは本当にゲームチェンジャーになるでしょう。なぜなら、膨大なデータや大規模なデータセットは必要なくなり、10時間程度の入力だけで、新しいシナリオを見て、分布外に一般化できるようになる状況になるからです。その意味するところは驚くべきものです。なぜなら、AIは以前に見たことのない、あるいは遭遇したことのないことを解決できるようになるからです。これは本当に信じられないことです。
質問にはイエスかノーで答えるべきではありません。なぜなら、分布外一般化とは何を意味するのか、分布内とは何を意味し、分布外とは何を意味するのでしょうか。これは時間をかけて話すべきことなので、私は長い前に、人々がディープラーニングを使用する前は、機械翻訳に文字列マッチングやn-gramを使用していたと言います。人々は統計的なフレーズテーブルを使用していました。
数万行のコードの複雑さを想像できますか？それは本当に理解を超えるものでした。そしてその当時、一般化とは文字通りデータセット内の同じフレーズではないということを意味していました。今では、私のモデルが数学のコンペティションで高いスコアを達成したとしても、おそらくインターネット上のフォーラムでの数学に関する議論が同じアイデアについてのものだったため、それを記憶したのだと言えるかもしれません。
まあ、それは分布内かもしれませんし、記憶かもしれません。しかし同時に、私は一般化とみなされるものの基準が大幅に、劇的に、想像を超えて上がっていると思います。そのことを追跡していれば分かります。したがって、私は答えとしては、ある程度おそらく人間ほど上手くはないと思います。人間の方がずっとよく一般化できるのは事実だと思いますが、同時に、彼らは間違いなくある程度は分布外に一般化しています。これが有用なトポロジカルな答えになることを願っています。