人工超知能(ASI)は目前に迫っている - 認知的超豊富性の時代が来る

4,931 文字

みなさん、お久しぶりです。早速、先週のAI業界における最大のニュースについて掘り下げていきたいと思います。まず結論から申し上げますと、OpenAIが学習分布の外側への一般化を解決したと私は考えています。これは非常に専門的で難解な主張に聞こえるかもしれませんが、その意味を理解している人は今おそらく衝撃を受けているでしょう。理解していない人のために説明させていただきます。
これまで、AIモデルを何かを学習させると、学習させた内容については非常に優れた性能を発揮します。損失関数を示すグラフをすぐにお見せしますが、その損失関数は基本的に、モデルが与えられたデータをどれだけ正確に表現できているかを示しています。つまり、学習データセット（学習分布）の中の内容については理解し、処理することができるということです。
しかし、これまで未解決の問題として残っていたのは、これらのモデルが学習分布を超えて一般化できるかということでした。これは人間のような思考方法、つまり基本原則の知識や他の経験を基に、既知の事実を組み合わせて未知の事実や可能性を推論する能力です。
私はしばらくの間これらのモデルを使用してきましたが、これは創発的な能力の一つです。噂が正しければ（今のところ噂の段階ですが）、約1～2週間後にリリースされる予定のo3は、これを次のレベルに引き上げるようです。o3はOpenAIの次期モデルです。oはoionのことを指すと一般的に考えられていますが、彼らの命名規則が混乱しているので実際はどうでもいいことです。
私の知人の中には早期アクセスを得た人がいますが、具体的な内容は明かせません。実際、彼ら自身もNDAに署名していると思われるため詳細は教えてくれません。しかし、彼らが私に伝えてくる印象では、o3は明らかにAGIを超えており、与えられたあらゆる問題を解決できるとのことです。私と一緒に働いている賢い人々でさえ、o3にアクセスすると「限界がわからない。なぜなら、頼んだことは何でもできてしまうから」と言っています。
もし既にAGIの定義が満たされていないと考える人がいれば、o3はおそらくその定義を満たすでしょう。ここで「人工超知能までもうあと3ステップ」というビデオタイトルを見て、「デイブ、あなたの人工超知能の定義は何ですか？」と尋ねるかもしれません。私の現在の人工超知能の定義は、「人間の知能があらゆる科学的・経済的活動の制約要因ではなくなった状態」です。つまり、人間の知能がもはや考慮事項ではなくなるということです。
これが今日のビデオの第一部です。次にグラフの説明に移りましょう。私はこれをツイートで説明しましましたが、視覚的な理解が重要です。まず最後から始めて逆算していきましょう。このグラフはイーサン・モリックから得たものです。少なくとも私が見たのは彼からですが、彼が作成したかどうかは定かではありません。
このグラフが表しているのはGPQA（Google Proof Question and Answering）というベンチマークです。基本的に、専門家たちが集まって、インターネットにアクセスできても答えられないような複雑な専門分野の質問を作成しました。その分野で数十年の経験を持つ世界的な専門家でなければ答えられないような質問です。
破線は専門分野内のPhD保持者を示しています。例えば、あなたが細胞生物学のPhDを持っていて、細胞生物学の世界的な専門家だとします。このモデルがあなたと比べてどれくらい優れているかを示しています。o1は人間の専門家に非常に近い性能を示しましたが、o3は人間の専門家を大きく超えました。
また、これが単なる教育レベルの問題ではないことを確認するため、専門知識を測定しているということを確認するために、コントロールとして、ランダムなPhD保持者に自分の専門分野以外の質問に答えてもらいました。緑の破線がそれを示しています。すでに賢い人々（平均的なPhD保持者のIQは125～130）でも、34%しか正答できませんでした。
専門家になることで50%のスコア向上が見られ、そしてo3はそれをさらに大きく超えました。私にとって、これが示唆することは、もしその情報がインターネット上にないのであれば、それは学習分布にも含まれていないということです。つまり、o3は基本原則や関連する背景知識から推論して、88%の確率で正しい答えにたどり着けたということです。これは明らかに超知能です。
さらに、フロンティア数学のスコアについてはまだ触れていません。インターネット上で誰かが「フロンティア数学のスコアを数えていない」と指摘していました。その通りです。それは別の機会に話すトピックになるでしょう。
これが現状です。このグラフは、私たちがどのようにここまで来たかを示しています。これはルイ・ピーターソンという人物が共有したものです。これが、イリヤが見て、「これをロックダウンして、より安全にする必要がある」と主張した理由だと95%確信しています。
ここでモデルV1をGPT-4と考えてください。彼らは「GPT-4を推論時計算（テスト時計算）のために再学習させたらどうなるか」と考えました。すると、それは1000倍賢くなったかのように振る舞いました。ここで少し説明を戻しましょう。テスト時計算または推論時計算は、基本的にモデルが1000倍以上のデータで学習したかのように振る舞わせることができます。
これは1～2年前に発表され、データの壁を克服する方法の一つとなりました。モデルにより長く考えさせることで、認知アーキテクチャやエージェントフレームワークに携わる人々は「当然だ、モデル同士が対話すれば物事を理解できる」と考えていました。OpenAIが行ったのは、基本的にマルチエージェントフレームワークを単一のモデルに圧縮することでした。私は最初、これを完全には理解していませんでした。
ちなみに、Raspberryチームはまだ活動を続けています。説明欄にリンクを載せておきますので、資金提供に興味がある方はぜひご覧ください。
話を進めましょう。テスト時計算または推論時計算により、基本モデルよりもはるかに大きく賢いモデルを得ることができます。次に蒸留と呼ばれるプロセスがあり、その新しい巨大なモデルを小さな生徒モデルに圧縮します。その仕組みについてはすぐに説明します。これを繰り返すのが振動プロセスです。蒸留、テスト時計算、蒸留、テスト時計算と続きます。そして、基本原則を使用することで、実質的に無限の新しい情報と洞察を合成し続けることができます。
では、それはどのように機能するのでしょうか。これが蒸留のプロセスです。思考連鎖推論を見たことがある人は、それがテスト時計算だと理解してください。これが蒸留です。大きなフロンティアモデルがあり、それをより小さなモデルに圧縮します。すると、実際にはより賢くなった小さなモデルが得られます。
これについては完全には理解できていない部分がありますが、私にはこれが基本的に人間の学習方法と似ているように思えます。つまり、学生が複数の教師から学び、その教師たちは数十年かけて学び、情報を結晶化し、圧縮し、次世代に伝えることで、学生は教師たちよりも物事をよりよく理解するようになります。これが言語モデルで機能するということは、人間を正確にコピーしているとは言いませんが、非常に興味深い類似性があります。
教師モデルが生徒モデルを教え、生徒モデルはより賢く効率的になります。世代間の関係のようですよね。これが私たちが目にしているものです。古いモデルが懸命に努力し、宿題をこなし、栄養を取り、そして新しい生徒モデルに圧縮されます。
そしてモデルV1に計算を加え、新しいモデルが作られます。モデルV2が成長して次世代を教えます。AIがほぼ進化的な道筋を辿っているのが分かりますね。だからこそ私は興奮していて、「戻ってくる時が来た」と感じているのです。
また、スケーリング法則についても触れていますが、これは必ずしも重要ではありません。なぜなら、実際に起きていることを十分に理解できているからです。
続ける前に、私の新しいリンクツリーを紹介させてください。linktr.ee/davshapです。リンクは至る所にありますが、私の活動のほとんど全てが載っています。今ご覧になっているYouTube、Twitter、Substack、Patreon、そして学校です。
私の新しいエラ・パスファインダーズ・コミュニティを再構築しています。これは私のAI学習コミュニティですが、再スタートする理由は、前回のメンターは素晴らしかったのですが、私が本当に必要とする方向に導いてくれなかったからです。そこで一からやり直しています。他にもたくさんのYouTubeチャンネルやその他のコンテンツがあります。
本題に戻りましょう。これが今日の最後になると思います。これは別のベンチマークで、o3が別次元のレベルを見せています。これはソフトウェアエンジニアリングベンチマークです。これは人々が認識している以上に重要です。
私のツイートで述べたように、なぜ人々がこれについて騒がないのか不思議です。なぜなら、これは単一のモデルで全開発者の上位10%に入るレベルだからです。そして、GPQA、Sベンチマーク、フロンティア数学ベンチマークのすべてが単一のモデルによって支配されていることを忘れないでください。
これは人間の博識家のレベルを超えています。IQ145の人間に千年の時間を与えて、あらゆる本を読み、あらゆる授業を受けさせたようなレベルの性能を私たちは目にしているのです。これは知識と認知能力のそのレベルの圧縮なのです。
私たちが向かっているのは、私が「認知的超豊富性の時代」と呼ぶものです。これが意味することの重大さは強調しきれません。だからこそ私は超知能について、「人間の知能が人類の達成や行動の制約要因ではなくなった状態」と定義しています。
物理的な機械が人間の体力の限界を克服したのと同じように、月に何かを送りたければロケットを作ればいいのです。月に到達するためには約250万馬力のパワーが必要です。私たちは物理的な力、運動力を理解しました。そして今、認知力を理解しようとしています。長期的な影響は計り知れません。
最後に、これは金融アドバイスでもキャリアアドバイスでもありませんが、サイバーセキュリティはおそらく長期的に安全な職業であり続けるだろうと考えています。それはAIがサイバーセキュリティをより良くできないからではなく、アナログ空間で緊急停止スイッチに手を置いている人間を常に必要とするからです。
仕事を探している人には、サイバーセキュリティは悪くない選択だと思います。なぜなら、データセンターに物理的に存在し、EPO（緊急電源遮断）スイッチに手を置いている人間が必要だからです。冷戦時代の核施設にいた人々のように、緊急停止スイッチに手を置いている中佐や中将のような存在が、データセンターには永遠に必要になるでしょう。
AIアクターと人間アクターが並存することになります。なぜなら、AIは特定の方法でハッキングされる可能性があり、人間もソーシャルエンジニアリングなどで特定の方法でハッキングされる可能性があります。しかし、共に協力することで、お互いの弱点を補完することができます。
AIのサイバーセキュリティ専門家と人間のサイバーセキュリティ専門家がお互いの弱点を補完し合うことになります。少なくとも予見できる将来においては、そうなるでしょう。
法律で「データセンターごとに最低5人の人間が緊急停止スイッチを操作できる状態でなければならない」といった要件を設けることも考えられます。私はそのような法律があっても構わないと思います。しかし、時が教えてくれるでしょう。
ご視聴ありがとうございました。お久しぶりでした。そうですね、これからの展開を見守っていきましょう。