AGI: （実現が近づく中で）人類は『誰が所有するのか？』

10,043 文字

世界は、数年前には誰も想像できなかったほど早く知能が自動化されるという事実に目覚めつつあります。しかし、その恩恵を誰が受けるのかという点については、まだ眠りについたままです。
今日もアメリカの副大統領は、AIは労働者を代替することはなく、生産性を向上させるだけだと述べました。一方で、OpenAIのCEOであるサム・アルトマンは昨日、労働が資本に対する力を失う可能性があると書きました。また、有名シンクタンクのランドは先日、より一般的な人工知能に伴う「雇用喪失と社会不安」に世界はまだ準備ができていないとする論文を発表しました。
しかし、たとえ労働が力を失ったとしても、資本が誰がお金を得るのかを決めることはできません。今日もマスクらはサム・アルトマンとマイクロソフトに対し、OpenAI自体の支配権を巡って挑戦状を突きつけました。もちろん、モデルをフロンティア能力にまで高めるために必要な推論強化は、わずか20ドルで達成可能だとするスタンフォード大学のような論文も常にあります。これを見ると、皆さんにもAGIは手の届くところにあるのかもしれません。
その間、ClaudeのメーカーであるAnthropicのCEOのダリオ・アマデは、AGI自体をコントロールする時間が残り少なくなっていると述べています。私は、知能の完全な自動化に直面する日が避けられなくなった時、現在よりももう少しまとまりがあればいいなと思います。
いつものように取り上げることが多すぎるので、アルトマンのエッセイを出発点として、7つの最も興味深い展開に絞って話を進めましょう。
まず、彼はAGIの定義を5回目か15回目かに提示しましたが、今回は「多くの分野で人間レベルの、ますます複雑な問題に取り組むことができるシステム」としています。この定義の下では、私たちはかなり近づいています。
プログラミングを例に取ると、12月にo3モデルがCodeForcesのELOで175位にランクされていたことを聞きました。多くの人にとってはあまり意味がないかもしれませんが、昨日日本でアルトマンは、社内で50位の成績を持つ競技者を有していると述べました。これらのシステム（o1、o3、o4）は、明らかに模倣学習を超えています。上位50人の競技者をコピーしているのではなく、自分で試行錯誤し、強化学習を通じて何が機能するのかを自ら学んでいるのです。
人間レベルに制限されることはなく、それはコーディング以上のものに当てはまります。私はこの週、親戚の診断を提案するためにOpenAIのプロ版のディープリサーチを使用していましたが、ある医師は、自分では思いつかなかったことを見つけたと言っていました。確かに頻繁に幻覚を見ることはありますが、思いもよらないことを考えることもあります。これはo3が約20の情報源を検索している場合ですが、o5が500の情報源を検索する場合はどうでしょうか。
知識を持つことはクールだが、ホワイトカラーの労働者は実際にコンピュータで行動を起こすと言うかもしれません。これについて、OpenAIのカリーナ・ネンは以下のように述べています：
「タスクに関して、彼らはすべてのベンチマークで飽和状態に達しており、ポストチェーニング自体は壁にぶつかっていません。基本的に、生データの思考から特徴モデルを経て、強化学習を通じてポストチェーニングの世界で無限の数のタスクをモデルに教えることができるようになりました。
ウェブの検索方法、コンピュータの使用方法、文章の書き方など、あらゆる種類のタスクについて、モデルにさまざまなスキルを教えようとしています。そのため、データの壁などはないと言えます。無限の数のタスクがあり、それによってモデルは非常に超知能的になります。実際、私たちはすべてのベンチマークで飽和状態に達しています。私は、実際のボトルネックは評価にあると考えています。」
現在のオペレーターシステムがプロ版で月額200ドルでしか利用できず、かなり不安定であるにもかかわらず、私がそれを信じられる理由があります。オンラインで何かを購入したり、スプレッドシートに記入したりするようなタスクはほとんど検証可能だからです。検証可能または確認可能と聞くたびに、コードのような領域と同様に、強化学習によって完全に飲み込まれる準備ができていると考えてください。o1プレビューからo3への強化学習の強化の影響を見ることができます。
次は、これらすべてを実現するために必要な投資についてです。アルトマンは後のエッセイでこう述べています：「知能の向上を予測するスケーリング法則は、多くの桁で正確でした。大まかに言えば、AIモデルの知能は、訓練と実行に使用されるリソースの対数に等しいのです。」
知能を1段階向上させるためにリソースを投入することは、それほど印象的には聞こえないかもしれません。しかし、3番目のポイントを読むまでは。私もこのポイントに同意します：線形的に知能を増加させることの社会経済的価値は、超指数関数的です。
簡単に言えば、もし誰かがo3の知能を2倍にできたとしても、私にとって、そしておそらく多くの人にとって、それは4倍の価値ではありません。それはそれよりもはるかに大きな価値があるでしょう。それは超指数関数的なのです。
彼は続けます：「その結果として、近い将来に指数関数的に増加する投資が止まる理由は見当たりません。」言い換えれば、AIが常に投資額の10倍を返してくれるのであれば、なぜ投資を止めるでしょうか。
多くの人が忘れていますが、2年も経っていないうちに、アルトマン自身が「OpenAIはAGIの創造を通じて世界の富の大部分を獲得し、それを人々に再分配する」というのが彼の大きなアイデアだと述べています。1000億ドルだけでなく、1兆ドル、あるいは100兆ドルという数字が話題に上っています。
アルトマンによれば、AGIがそれほどの富を生み出した場合、会社がどのようにそれを再分配するかはまだ分かっていないとのことです。規模感を掴むために言えば、100兆ドルという数字は地球全体の労働力の規模に匹敵します。
もちろん、これは他の人々が彼にそのコントロールを望まない、あるいは自分たちがそのコントロールを望む理由につながります。ご存知かもしれませんが、イーロン・マスクはOpenAIに対してほぼ1000億ドルの入札を行いました。少なくとも、現在OpenAIを支配している非営利組織への入札です。
半ダースの報告書を読む手間を省くと、本質的にはサム・アルトマンとOpenAIはその非営利組織のOpenAIへの出資を約400億ドルと評価しているようです。これにより、マイクロソフトやOpenAI自体（従業員を含む）のための十分な株式が残されています。
しかし、マスクらがその出資を1000億ドルと評価している場合、アルトマンらが裁判所でそれが400億ドルの価値しかないと主張するのは非常に困難かもしれません。したがって、彼らが拒否したように見えても、マスクのオファーを拒否すると、マイクロソフトと従業員が所有する株式を潜在的に希薄化せざるを得なくなります。
アルトマンはOpenAIの従業員に対して、これらは私たちが素晴らしい進歩を遂げているために私たちを弱体化させようとする税務戦術に過ぎないと述べました。OpenAIの背後にある非営利組織は、AGIがマスクの手に渡ると安全ではないと考えて、オファーを拒否することもできます。
この時点で、昨日私のパトレオンでリリースしたミニドキュメンタリーの宣伝を少しさせていただかざるを得ません。実際、DeepMind、OpenAI、マスクとの争い、Anthropicのオリジンストーリー、そしてそれらのAGIラボの設立ビジョンがどのように進化したかを取り上げています。今回は、プロのビデオ編集者を使用し、初期のレビューは良好なようです。
OpenAIの非営利組織を巡るすべての騒動は、それ自体で1本のビデオに値するものなので、今は次のポイントに移りましょう。
アルトマンは、AGIの到来により、多くの商品の価格が最終的に劇的に下落すると予測しました。仕事を失ったり、賃金が下がったりする人々を安心させる一つの方法として、少なくともテレビは安くなるということがあります。しかし、彼は贅沢品や土地の価格はさらに劇的に上昇する可能性があると述べました。
私はロンドンに住んでいますが、土地の価格はすでにかなり劇的です。AGI後にはどうなるのか分かりません。ただし、贅沢品に関して、アルトマンは特定の贅沢品を念頭に置いているかもしれません。昨日ロンドンで、アップルのジョニー・アイブが一部設計に関わったハードウェアデバイスについて尋ねられ、彼はこう答えました：「素晴らしいものです。本当に。私は誇りに思っています。そして、あと1年で登場します。」ちなみに、私もそのイベントに参加申し込みをしましたが、特定の組織IDが必要で、私にはありませんでした。
贅沢品ではないかもしれないものとして、より小規模な言語モデルがあります。同じイベントのリーク音声で、彼は次のように述べたとされています：「一つのアイデアとして、私たちがo3をリリースし、その後o3ミニをオープンソース化する。o4をリリースし、o4ミニをオープンソース化する。」彼は「これは決定ではありませんが、方向性としてはそういうことを言えるかもしれません」と付け加えました。これらすべてを参考程度に受け止めてください。
次の出発点は、実はこのエッセイの最初の文にあります。OpenAIのミッションは、AGIを作ることではなく、AGIが全人類に利益をもたらすことを確実にすることだということです。当初、私がドキュメンタリーで取り上げた設立時には、財務的リターンの必要性に縛られることなく、全人類に利益をもたらすAGIを作ることが憲章でした。しかし、その最後の部分は消えています。ただし、全人類に利益をもたらすという部分は残っています。ちなみに、大多数の人類ではなく、全人類です。
彼ら自身が人間の労働の大部分がまもなく余剰になる可能性があることを認めているとき、どのようにしてそれを達成するのか、私には本当に分かりません。たとえアメリカで誰もが面倒を見られるような慈悲深い政策を何とか実施できたとしても、他の国々に対してどうやってそれを確実にできるでしょうか。
AIの父の一人であるヨシュア・ベンジオの発言を見た後（すぐにクリップをお見せします）、私はこう考えました。ある国が他の国より1ヶ月、3ヶ月、6ヶ月早くAGIまたは超知能を手に入れた場合、他の国を抹殺するために
その優位性を使うことが最も可能性が高いとは思えません。より可能性が高いのは、他の国の経済を抹殺することです。アメリカが中国の経済を、あるいは中国がアメリカの経済を自動化し、その富を自国民に分配するかもしれません。
ヨシュア・ベンジオは、それが企業レベルでも適用される可能性があると考えています：
「なされている宣言から、そして論理的にこれらの人々が何をするかを見ると、OpenAIのようなこれらのシステムを制御する人々は、単に彼らのAIへのアクセスを販売し続けるわけではありません。彼らは低グレードのAIへのアクセスを提供し、本当に強力なものは自分たちのために保持し、既存の非AIシステムと競合する企業を構築することになるでしょう。基本的に、これらの超知能システムを持たない他の国々の経済を壊滅させることになります。
あなたはそれは実存的な問題ではないと書きましたが、私はこの種のAIレベルまで発展していない国々にとっては実存的な問題だと思います。そして、これは緊急事態です。なぜなら、たとえ有志連合があったとしても、そのギャップを埋めるには少なくとも数年かかるからです。」
ちなみに、彼が競合企業に言及したので、GoogleのGemini 2 ProとFlash、新しいモデルについて触れないわけにはいきません。もちろん、Gemini Thinkingもあり、これはo3ミニやDeepseek R1のような推論トレースを再現します。
これらのモデルのベンチマーク結果は、最初から見ると、まずまずですが飛び抜けているわけではありません。o3やDeepseek R1レベルのSimpleBenchには及びません。レート制限があります。しかし、思考モードとGemini 2 Proのスコアは、「Gemini experimental 126」と同じレベルに収束するように見えます。
ニッチかもしれませんが、こう言わせてください。Geminiは大量のPDFやその他のファイルを素早く読み取るのに優れています。確かに、音声の文字起こし精度はAssembly AIのレベルには達していませんし、コーディングはo3には及びません。また、「ディープリサーチ」ボタンもディープリサーチには及びません。しかし、Geminiシリーズはファイルからテキストを抽出するのが得意で、非常に安価です。そのため、私はかなり感心しています。
ChatGPTがつい最近Twitterを抜いて6番目に訪問数の多いサイトになり、徐々にGoogleに迫りつつある中で、GoogleはGemini 3を最先端にするためにますます投資を増やしていくと私は推測しています。
次に、アルトマンは、AIが権威主義政府によって、大規模な監視と自律性の喪失を通じて人口を管理するために使用される可能性が高い道筋について書きました。その発言は、私が何故か全文を読んだランドの論文につながります。彼らは権威主義的独裁による大規模監視だけでなく、「国家安全保障」への他の脅威も懸念しています。驚異的な兵器、力の体系的なシフト（先ほど中国がアメリカの経済を自動化するという話をしました）、非専門家が大量破壊兵器を開発する能力、人工的な主体性を持つ存在（o6が生命を持つようなもの）、そして不安定性です。
これは75年以上の歴史を持ち、劇的な発言で知られているわけではないランドからの発言です。しかし、私はこう問いかけたいと思います。もしアメリカが中国より2〜3ヶ月、あるいは6ヶ月早くAIによる「驚異的な兵器」を獲得するための「大規模な国家的取り組み」を行った場合、実際にそれを使って中国のテクノロジーセクターを無力化することになるのでしょうか。
私にとって、この論文の本当の告白は最後の方に出てきます。彼らは「アメリカは、広範な失業と付随する社会不安なしにAGIの野心的な経済的利益を実現する立場にはない」と述べています。
私はまだ、アルトマンが約2年前のインタビューで「AGIが彼が考えるような不平等を生み出すなら、人々はもはやそれを受け入れないだろう」と言っていた時のことを覚えています。
しかし今、国や企業さえもAGIをコントロールできない可能性を示す兆候が出てきています。コンピュート時間50ドル未満で（もちろん研究時間は含まれていませんが）、あるいは約20ドルのコンピュート時間で、皆さん全員が手の届く価格で、スタンフォードはS1を作り出しました。
確かに、彼らはQwen 2.5 32Bパラメータのオープンウェイトベースモデルを活用しましたが、見出しは、わずか1000の質問のデータで、その小さなモデルをo1と競争できるレベルまで引き上げることができたということです。これは科学、GPQ（Google Proof Questions）、競技レベルの数学においてです。
主要な方法論は、モデルが停止しようとするたびに、文字通り「wait」トークンをモデルの生成に複数回追加することで、続行を強制するというものでした。試験を受けているときに、答えに到達してそれを書き留めようとするたびに、頭の中で声が「待って」と言うようなものを想像してください。それが、学生あるいはあなたが問題に適切な時間を費やすまで続くのです。これはテストタイム・スケーリングと呼ばれ、各質問に費やすトークンの量を増やすことです。
ちなみに、私はMath 500ベンチマークの問題を確認しましたが、それらは難しいものです。だから、特に難しいレベル5の問題で95%を取ることは印象的です。同様に、それらの領域のPhDレベルにほぼ匹敵するGPQAダイヤモンドで60%を超えることも印象的です。
要約すると、これは既製のオープンウェイトモデルで、わずか1000の質問と推論トレースで訓練されたものです。このスタンフォードチームには有名な教授陣がいましたが、彼らの目標は、9月にOpenAIから出されたこの右側のチャートを再現することでした。
事前トレーニングと強化学習による事後トレーニングを多く行えば行うほど、パフォーマンスが向上することは、すでにある程度分かっています。しかし、実際に質問に答えるのに要する時間、テストタイム・コンピュートについてはどうでしょうか。これが彼らが再現したかったチャートです。
S1論文に戻ると、彼らは「o1の多くの複製の試みにもかかわらず、明確なテストタイム・スケーリング行動を公に複製したものはない」と述べています。そして、彼らがどのように達成したかを見てください。
彼らのアプローチを少し単純化します。なぜなら、私はその発見により興味があるからです。基本的に、彼らは59,000の難しい問題を収集しました。物理オリンピック、天文学、競技レベルの数学、そしてAGI評価です。私はこのチャンネルでほぼ2年前にその論文を取り上げたことを覚えています。
彼らはDeepseek R1のように思考トークンを出力するGemini Thinkingを使って、それらの59,000の例それぞれに対する推論トレースと回答を生成しました。すべての例で訓練することもできましたが、それは1000例を選ぶことに比べて大きな利点はありませんでした。小さなモデルを真の推論者にするには、あなたの領域でわずか1000の例があれば十分で、その後、waitトリックを使って一定時間考えさせるのです。
ちなみに、59,000の例から1000に絞り込む方法について。まず、汚染除去を行います。もちろん、モデルのテストに使用する質問は含めたくありません。質問に含まれていない画像に依存する例や、その他のフォーマットに関する事項を除外します。
より興味深いのは、難易度と多様性です。これはJDバンスでさえ支持するような多様性です。難易度については、より小さなモデルにそれらの質問を試させ、小さなモデルが正解した質問は除外しました。簡単すぎるということです。多様性については、例えば数学や科学からできるだけ多くのトピックをカバーしたいと考えました。結果として、50の異なる領域からそれぞれ約20の質問を得ました。
その後、それらの1000の例とGeminiからの推論トレースでベースモデルをファインチューニングしました。Deepseek R1について疑問に思っている方のために言えば、彼らは実際に800,000の例でファインチューニングを行いました。右のこのチャートでそれを見ることができます。
ただし、ファインチューニングだけではありませんでした。モデルが停止しようとするたびに、彼らは「wait」と言い、時には2回、4回、6回と、パフォーマンスを向上させ続けました。基本的に、モデルに自身の出力をチェックし、改善できるかどうかを確認させるのです。「wait」はかなり中立的であることに注目してください。モデルに間違っていると言うのではなく、「待って、それをチェックする必要があるかもしれない」と言っているのです。
彼らは多数決投票や自己一貫性のスケールアップも試みましたが、同じような傾斜は得られませんでした。
視聴者の誰かが混乱しているなら、GPQ（Google Proof Questions and Answer）と競技レベルの数学でこのようなスコアを得ることは驚異的で、非常に印象的だということを言っておく必要があります。
もちろん、同じモデルを別の領域でテストした場合、相対的に低いパフォーマンスを示す可能性が高いでしょう。また、付記として、彼らが「オープンデータ」と言う場合、それはベースモデルをファインチューニングした1000の例を指します。実際のベースモデルはオープンデータではありません。つまり、Qwen 2.5 32Bパラメータのモデルが何で訓練されたのか、すべてを知っているわけではありません。
興味深いことに、彼らはさらに進もうとしましたが、基礎となる言語モデルの実際のコンテキストウィンドウがそれを制限しています。カーパシーは今週の素晴らしいChatGPTビデオで、フロンティアでコンテキストウィンドウを適切に拡張する方法は未解決の研究課題だと話していました。3時間半のビデオですが、私は間違いなくお勧めします。
ちなみに、このS1論文に対するカーパシーの反応は面白いものでした：「かわいいアイデアですね。『ステップバイステップで考えよう』というトリックを思い出させます。」これは、モデルに答えを出す前にステップバイステップで考えるように指示し、より多くのトークンを使って推論させるというものです。ここでは、「wait」と言うことで、モデルにより長く考えることを強制しています。両方とも、思考を導くための言語的な先入観に依存していると彼は述べています。
カーパシーのビデオを見て時間を有効に使うことについて話しましたが、givewell（ギブウェル）を通じてどの慈善団体に寄付するかを研究することも、お金を有効に使う良い方法だと私は主張したいと思います。彼らは今回の動画のスポンサーですが、実は私は13年ほど彼らを利用しています。
彼らは毎年60,000時間以上の研究に裏付けられた、最も多くの命を救う慈善団体を特定するための非常に厳密な方法論を持っています。実際、私がこの13年間ずっと選んでいるのは、マラリア撲滅基金です。確か英国で始まったと思います。ぜひgivewellをチェックしてみてください。リンクは説明欄にあります。また、どこで最初に知ったかを入力することもできます。もちろん「AI Explained」と入力することもできます。
さて、私たちは終わりに近づいていますが、アルトマンのエッセイからもう1つ取り上げたいポイントがあります。以前のエッセイでは、労働の価値がゼロになることについて話していました。今回は単に資本と労働の力関係が乱れることについて話しているだけですが、興味深いことに、「これは早期介入が必要かもしれない」と付け加えています。
OpenAIはUBI（ユニバーサルベーシックインカム）に関する研究に資金を提供してきましたが、結果は言わば混在しています。そのため、彼が特にUBIを提唱せず、単に早期介入について話し、その後、コンピュート予算や奇妙に聞こえるアイデアを受け入れることについて話すのは興味深いです。
しかし、もしAGIが2〜5年で来るとすれば、「早期介入」は今すぐに行われなければならないと言えるでしょう。ただし、この段階で告白しなければならないのは、私は来るべきものへの準備が切実に必要だと感じていますが、具体的に何の準備を提唱しているのかを明確に述べるのは非常に難しいということです。
そして今日も、AnthropicのCEOであるダリオ・アマデから、AIは2026年か2027年までに、遅くとも2030年までには「データセンターの中の天才の国」になる可能性があるという新たな警告が出されました。
彼は、政府が大手AIラボに対する説明責任を求め、リスクを測定することが不十分であり、次の国際サミット（今週もサミットがありました）では、この見逃された機会を繰り返すべきではないと述べました。これらの問題は議題の最上位に置かれるべきです。AIの進歩は新たな世界的課題をもたらします。私たちはより速く、より明確にそれらに立ち向かわなければなりません。
つまり、私は、そして多くの皆さんも、変化が非常に急速に、そして地球上の大多数の人々が考えているよりも早く訪れると考えています。私が考えなければならない問題は、「では、私たちは何をするのか？」ということです。
コメント欄で皆さんの考えをお聞かせください。しかし何よりも、最後まで視聴していただき、ありがとうございました。素晴らしい一日をお過ごしください。