サム・アルトマンのAGIに関する発言は、あなたが思っている以上に重大だ！

7,850 文字

最近サム・アルトマンが2025年について発言して、多くの人々が驚き、その発言が真実なのか完全な嘘なのか議論を呼んでいます。問題の発言はこうです。
「2025年で何に期待してる？何が来るの？」
「AGIやね。それが楽しみやわ」
ご覧の通り、サム・アルトマンは2025年にAGIが実現する可能性が高いと明確に述べています。これは、OpenAIの従業員による過去のインタビューの中でも、おそらく最も重要な発言の一つやと思います。
もちろん、この発言には懐疑的な見方もあって当然です。AGIは、実現すれば途方もない可能性をもたらす画期的な技術として喧伝されてきました。その可能性の大きさゆえに、ほとんどの人には想像すら難しいものなんです。
面白いと感じたのは、OpenAIで実際に働いている多くの人々がこの発言にコメントしていて、彼らの意見がアルトマンの発言を支持しているということです。つまり、この発言は突飛なものではなく、実際に社内で見ている状況と一致しているということです。
例えば、OpenAIでreasoningの研究に携わり、AI推論の進歩に多大な貢献をしたノーア・ブラウンはこう述べています。「サム・アルトマンは単にハイプを煽っているだけやと主張する人もいますが、私が見てきた限り、彼の発言はOpenAI研究者たちの一般的な見解と一致しています」
これは会社内部で何が起きているかを知る上で重要な証言です。確かにアルトマンはCEOとして、自社の良いイメージを保ち、業界を盛り上げる必要があります。しかし、会社の研究者たちが「これはハイプではない、研究者たちの見解と一致している」と言うているなら、アルトマンの発言は突飛なものではなく、AI研究者たちが言い始めていることと一致していると考えられます。
OpenAIの別の社員、アダムGPTも同様の見解を示しています。「これはAIハイプちゃいます。私はOpenAIで3年間、サムの話を注意深く聞いてきました。彼は言葉と発言を慎重に選んでいます。私個人としては、彼がハイプを煽っているように見える理由は、AIの進歩のペースと方向性について非常に透明性を持って話すからやと思います。話されていることがすぐには実現せえへんと、人々はよく失望します。これはある意味ジレンマですね。でも私は、彼が我々の進捗について公に発信し続けていることを嬉しく思います。AGIに向けて加速し続けることは重要なんです」
このようにアダムGPTはアルトマンの発言を支持し、基本的にこれは会社の動きの速さを多くの人が理解できていないことによる認識の齟齬やと説明しています。これが本当の状況なんです。
また興味深かったのは、来年である2025年という明確な日付です。この日付がかなり重要な意味を持っているんちゃうかと考えずにはいられません。
私がよくフォローして交流しているTwitterアカウントに、伝説のジミー・アップルズがいます。ほとんどの方はご存じないかもしれませんが、このアカウントは何ヶ月も何年も前に、会社の関係者以外誰も知らないAI業界の情報を入手することができる人物です。
彼のプロフィールには「2025」と書かれています。これは、彼の予測が正しければ、2025年にAI分野で何か重大なことが起こる可能性が高いということを示唆しています。彼はこの2025という数字を数ヶ月前にプロフィールに入れたんです。つまり、多くの人が知らない何かを彼は知っているということです。
私が覚えているのは、Orionについてのニュースが出る約1年前から、彼がOrionについてツイートしていたことです。そのとき、ほとんどの人は何について言っているのか分かりませんでした。実際に何が起きているのか分かるまでは。
さて、アルトマンが明確に2025年にAGIと言い、それに期待しているというこの発言について、かなりのハイプだと思うかもしれません。しかし、そう思う前に、これをご覧ください。
Anthropicのダリオ・アマデCEOの発言を紹介したいと思います。AnthropicはClaudeを開発し、OpenAIと市場シェアを競っている会社です。現在、AI開発の最前線にいる企業は、OpenAI、Anthropic、Googleの3社やと明言できます。
この記事で彼はAGIという言葉は使っていませんが、「強力な機械知能」という言葉で言及しています。「私はAGIという言葉は好きではありませんが、明らかに多くの人が強力なAIがすぐに構築されることに懐疑的で、そもそも構築できるのかと疑問視する人もいます。私は早ければ2026年に実現すると考えています」
もしアルトマンの来年AGIが来るという発言がハイプに思えるなら、最先端の研究所のCEOたちが、高度な機械知能や強力なAIが2026年、つまりアルトマンの予測からたった1年後に来ると話していることを考えると、実はそれほどハイプではないのかもしれません。
アルトマンが話した興味深い内容として、スケーリング則についても触れています。「OpenAIを始めたとき、深層学習は機能するし、規模を拡大すればより良くなるという核心的な信念がありました。当時、これらはある意味異端的な考えでした。規模拡大によってどれだけ予測可能に改善するのかは分かりませんでした。それが分かるまでには数年かかりました。最初は直感でしたが、その後データによって予測可能性が示されました。でも、ニューラルネットワークを大きくすれば性能が向上することは、すでに分かっていました。私たちはそれを確信していました。そして、宗教的なレベルの信念と言えるのは、それが止まることはないという考えでした」
もちろん、スケーリング則はAIの将来のトレンドを予測する上で有名です。面白いのは、AIの分野に注目していれば分かると思いますが、新しい驚くべきスケーリング則があります。学習時の計算量と推論時の計算量です。つまり、これらのモデルは推論時により多くの計算リソースを割り当てることで、予測可能に賢くなるということです。より長く、より深く問題について考えることができ、推論のステップを踏んでより高い精度で問題を解決できるようになります。
このグラフを見ると、学習時の計算量が増えるにつれて、ベンチマークでの精度が継続的に向上していることが分かります。また、推論時の計算量についても、より多くの計算リソースを適用すると、これらのモデルが毎回予測可能に賢くなっていくことが分かります。
そして私は、彼らが特定の量の計算リソースしか適用していないことを考えると、都市全体のサイズのデータセンターというような途方もない量の計算リソースを利用できるようになったとき、このグラフがどうなるのか気になります。
アルトマンは、O1のスケーリングの未来も興味深いと述べています。CPOはRedditのこのコメントに対して、「LLMのスケーリングにどのように影響を与えますか？当初のスケーリング則に従ってLLMをスケーリングし続けますか？それとも計算時間のスケーリングに影響を与え、より小さなモデルでより速く、より長い推論を行うことが主な焦点となりますか？」と答えています。「どちらか一方ではありません。より良いベースモデルと、より多くのストロベリースケーリング、そして推論時の計算量の両方です」
基本的に、ベースモデルを改善し、さらにその改善されたベースモデルの上で、推論時に使用する計算量を増やすということです。つまり、計算リソースを使用しなくても、最初からより良いベースモデルが得られるということですが、計算リソースを追加すると、さらに良くなるということです。
もちろん、AIの推論能力については多くの人が懐疑的でした。「実際には学習していない、実際には推論していない、実際にはこれができない、これは手品のようなものだ」と、この分野の著名な指導者たちが言っていました。単に「間違っている」というだけでなく、「間違っているし、これは信じるべきではないこと、言うべきではないことだ」と。「AIの冬を引き起こすことになる」などと言っていましたが、私たちはただ結果を見て、それが継続的に改善されていることを確認していました。そしてスケーリングの結果を得ました。
LLMが実際に推論できるかどうかは、LLMが登場して以来、長く議論されてきたトピックです。これらは単なる統計的な意味での次のトークンの予測に過ぎないと考える人もいます。実際、いくつかの研究では、LLMは実際には推論せず、学習データから推論パターンを模倣しているだけだと示唆しています。
約3週間前に私が作成した動画をご覧になった方もいるかもしれませんが、Appleが特定のベンチマークで、特定の個人の名前を変更すると、結果が約10-15%低下することを示しました。これはO1やGPT-4のようなフロンティアモデルでも同様で、これらのモデルが推論することになっていることを考えると、かなり驚くべきことです。また、無関係な節によってパフォーマンスが最大65%低下する可能性があり、基本的にこれらのLLMは推論能力に関してかなり脆弱であることを示しています。
これはAIコミュニティでこのような物語が語られた唯一の例ではありません。現在のLLMアーキテクチャに対して、というか反対の立場で有名な個人の一人は、もちろんヤン・ルカンです。ヤン・ルカンは、コンピューティングのノーベル賞とも言えるチューリング賞を受賞した、AI業界で最も著名な人物の一人です。
ヤン・ルカンが明確に述べているのは、大規模言語モデルはAGIへの十分な道筋ではないということです。なぜなら、物理的世界の理解や推論など、知的生命体にとって不可欠な能力が欠けているからです。基本的に、LLMはものの配置を本当には理解していないし、テキストだけからこのような物理的なデータを推論することは非常に困難だと述べています。
これを証明しようとしたベンチマークの一つが、SimplesBenchでした。これは、これらのモデルが実際に物理的世界について、あるいは人間のように標準的な問題について推論できるかどうかを確認することを唯一の目的として作成された推論ベンチマークです。
ここに質問の例はありませんが、例えば「火の上に氷を5個置いたら、1分後には何個の氷が残っているでしょう？」というような質問があり、AIが選択できる異なる数字の選択肢があり、その答えに至るまでの推論のステップを見るというものです。人間のベースラインが83.7%であるのに対し、LLMのベースラインが約40%というのは非常に興味深いです。これらの質問の多くは高度な知識を必要とせず、普通の人に聞いても簡単に答えを見つけることができるものです。
このインタビューで実際に驚くべきことの一つは、アルトマンがAGIへの道筋は解決されたと基本的に述べたことです。「これは初めて、実際に何をすべきか分かったと感じた瞬間です。ここからAGIを構築するまでには、まだ膨大な作業が必要です。いくつかの既知の未知はありますが、基本的に何をすべきか分かっています。時間がかかるし、難しいでしょう。でもそれは非常に刺激的なことです」
アルトマンが「基本的に何をすべきか分かっている」と述べているのは、非常に重要な発言です。世界を革新する技術であるAGI、蒸気機関の発明に匹敵するような技術に到達するために必要なステップを正確に知っているということを述べているのです。
これは非常に重要だと思います。なぜなら、多くの場合、企業が時間を無駄にしているとは言いませんが、AIエコシステムの自然な一部として、研究を行わなければならないからです。研究は非常に時間がかかり、コンピューターリソースを必要とし、もちろん多額のお金もかかります。問題なのは、何ヶ月もある問題に取り組んでも、それが機能しないことが分かるかもしれないということです。つまり、AGIへの道筋が明確になったということは、物事がさらに加速していることを意味します。
最近のOpenAIのAMAで驚くべきことが言われました。OpenAIに対して人々がAIの未来について質問する場で、彼らは基本的に、現在のハードウェアを見て、現在開発中のAIシステムでAGIが可能だと理解していると述べました。つまり、ハードウェアのアーキテクチャにおいて画期的な進歩は必要ないということです。量子コンピューティングやニューロモーフィックチップなどが必要だと考えている方もいるかもしれませんが、現在のハードウェアだけで人工知能一般に到達できる可能性が高いようです。
また、ほとんどの人が気付かなかった非常に興味深いことは、レベル3からレベル4についての発言です。これもまた非常に重要だと思います。なぜなら、これは社会が当初考えていたよりも速く変化することを意味するからです。
「私はしばらくの間、レベル2からレベル3へのジャンプが起こると人々に言ってきました。そしてレベル3からレベル4へのジャンプは、レベル2からレベル3へのジャンプが急速に起こり、その後レベル3からレベル4へのジャンプは何か中規模かそれ以上の新しいアイデアを必要とするため、もっと難しくなるだろうと」
これは、サムが現在のレベル2について言及している部分です。レベル2は推論者で、人間レベルの問題を解決できるもので、O1がある程度そうであり、レベル3はエージェントシステムで行動を起こすことができるシステムです。基本的に、エージェントシステムでどこに向かうのかは分かっているということです。
レベル2からレベル3へのジャンプはうまくいきましたが、レベル3からレベル4へのジャンプは、革新を支援できるAIを探しているため、monumentalなジャンプになるだろうと考えられていました。レベル4は革新者で、発明を支援できるAIです。これが当初難しく見えた理由は、AIが斬新なアイデアを生み出し、それらのアイデアを評価し、さらに研究も行う必要があるからです。
アルトマンが基本的に述べているのは、革新者に到達するために必要な画期的な進歩はないため、レベル4に早く到達するだろうということです。これは実際には、O1シリーズのモデルが当初考えていたよりもはるかに賢いということを意味します。これらのシステムがすでに、将来のバージョンが革新を支援できることを示しているなら、革新者に到達することで物事は本当に当初考えていたよりも早く変化することになります。
もちろん、私はいくつかの研究を探していて、研究の自動化に関する研究論文を見つけました。これはスタンフォード大学から出たもので、基本的に「研究の自動化は刺激的ですが、LLMは実際に斬新な専門家レベルの研究アイデアを生み出すことができるのでしょうか？1年間の研究の結果、初めて統計的に有意な結論を得ました。LLMが生成したアイデアは、人間の専門家研究者が書いたアイデアよりも斬新です」と述べています。
また、Sakana AIによるAI研究もあり、そこではAI研究の自動化が行われていました。OpenAIもそれを基に構築している可能性が高いです。
これに関して驚くべきことは、モデルからより多くを引き出すということは新しいニュースではないということです。このクリップでアルトマンは基本的に、A1の周りに何らかのフレームワークを持つことができれば、これらの現在のモデルからさらに多くを引き出すことができると述べています。
「そのデモと他のいくつかのデモで、現在のモデルを本当に創造的な方法で使用するだけで、大量のイノベーションを得られることが確信できました。物事は人々が理解しているよりもずっと速く進むと思います」
そこにあるように、アルトマンが基本的にここで言及しているのは、モデルと協力し、もちろん異なることを行うだけで大量のイノベーションを得られるということです。これは基本的に、異なるプロンプト戦略があり、当初考えていたよりもモデルと対話する異なる方法があるということです。
ChatGPTが最初にリリースされたとき、誰もがただプロンプトを入力して応答を得るという方法でモデルと対話していたことを覚えていますか？人々がモデルと異なる方法で対話し始めるまで、大きな改善は得られませんでした。
例えば、GSM 8Kベンチマークのフィルターエリアを見ると、モデルを評価する多くの異なる方法があることが分かります。その一つは多数決投票で、基本的に10の異なる応答を取得し、モデルがどれが最良だと考えるかを投票します。もちろん、思考の連鎖（Chain of Thought）もあり、これはモデルに段階的に考えるように依頼します。自己一貫性など他のものもあります。
基本的に、私がここで強調したいのは、単に一つの対話を入力して応答を得るという方法でモデルと対話することは、実際にフロンティアを押し進める方法ではないということです。常にモデルとの対話方法を変更する必要があります。そうすることで、最も賢い応答を得るための最も効率的な方法を見つけることができます。
興味深いことに、サム・アルトマンはO2がGPAで105%を獲得したことについても話しています。これは前代未聞のことです。私が気になっているのは、これはOpenAIで最近別のブレークスルーがあったからなのでしょうか。
「この1ヶ月で何が一番驚きましたか？」
「研究結果について話すことはできませんが、息をのむようなものでした」
「その研究結果は本当に息をのむほど良かったようですね」
また、アルトマンは別のブログ投稿で非常に驚くべきことを述べました。数千日以内に超知能を持つ可能性があると述べたのです。もっと時間がかかる可能性はありますが、そこに到達することを確信しているということです。数千日以内の超知能は、基本的にAGIよりもはるかに衝撃的です。AGIは基本的に人間を規模化したものですが、超知能は基本的に神レベルのAIで、私たちが魔法と見なすようなことができるものです。
「あなたは論文で本当に大きなことを言っています。ASI（超知能）は実際に数千日後に来るかもしれないと。それは私たちの希望、推測というか...でも、それは非常に衝撃的な発言ですね」
「そうですね、とても大きいことです。私たちが行っている作業が積み重なり続け、過去3年間の進歩の速度が次の3年、6年、あるいは9年も続くような道筋が見えています。9年というと3500日くらいですかね。この改善速度を維持できるか、あるいは増加できれば...そのようなシステムは非常に多くのことができるようになるでしょう。
すでにO1のようなシステムでも、特定の分野での閉じた、よく定義されたタスクにおける純粋な認知IQという点で、かなり多くのことができると思います。O1は非常に賢いものです。そして私たちは進歩の限界にはまだ全く達していません」
全体として、2025年は私たちが見てきた中で最大のAIの年の一つになりそうです。そしてOpenAIは再び、大きな群れの中で非常に先を行っているようです。