なぜ2026年までにすべての携帯電話がAGIを搭載するのか - DeepSeek R1がそれを証明する!
11,262 文字
多くの人から、DeepSeekや他の中国のモデルについての影響について質問を受けてきました。これらは完全にオープンソースであるだけでなく、クローズドソースのモデルに匹敵する性能を持ちながら、コストはその何分の一です。これには多くの影響があるので、詳しく見ていきましょう。
まず第一に、27日にこのニュースが出た後、NVIDIAの株価は177%下落し、単一の企業による1日の時価総額損失としては過去最大の6000億ドルの損失を記録しました。その主な要因はDeepSeek R1でした。その後少し回復していますが、多くの人が混乱しています。NVIDIAはこれらのモデルを動かすチップを販売しているのに、なぜ?という声があります。投資家たちは、予想よりもチップの需要が少なくなるかもしれないと考え、NVIDIAの価値評価を見直したようです。
人々はジェボンズのパラドックスについて話していますが、実際には2つの現象が同時に起きています。AIのコストが下がると同時に、AIの能力も向上しています。そしてある変曲点に達すると - 正確な経済用語は思い出せませんが、私が「選好カスケード変曲点」と呼んでいるものです - 何かが安くなりながら良くなっていくと、皆が一斉にそれを欲しがるようになります。
自動車と同じような現象です。自動車が十分に安くなり普及すると、「そうだ、これは理にかなっている」となりました。スマートフォンへの移行でも同じことが起きました。第一世代のスマートフォンはそれほど便利ではありませんでしたが、特に4Gの登場後、スマートフォンは十分に速く、パワフルになり、できることが増えたため、従来型の携帯電話よりもスマートフォンを使う方が理にかなうようになりました。2015年頃にその転換点を迎え、普及が加速したと思います。
コストが急激に下がり、同時に有用性も向上すると - エージェントや演算モデル、推論モデルが登場してくると - ある転換点に達します。つまり、このテクノロジーのビジネスケースが無視できなくなる時点に今年到達するでしょう。市場も実際にそれを示唆していました。投資家たちは「これがゲームを変える」と判断したのです。
ゲイリー・マーカスなど多くの人々が主要メディアで取り上げられましたが、マーカスでなくても良かったのですが、少なくとも注目を集めることができました。
中国のモデルの中で主要なものはDeepSeek R1とQwen 2.5 VLで、他にもいくつかのモデルが今週リリースされました。私が話を聞いた人々の仮説では - 実際に何人かはこれを予測していたのですが - 貿易制裁によって中国のチップ市場を締め付けたことで、中国は持てる資源を最大限に活用し、効果的な方法に集中することを選びました。
彼らが注力したのは、蒸留学習やセルフプレイ、強化学習、量子化などでした。申し訳ありません、犬の世話をしなければなりません。
はい、中国は持てる資源で最大限の効果を上げる方法に集中しました。これは歴史的に見ても、冷戦時代のソ連が同じような状況に置かれていました。アメリカほどの工学的資源は持っていませんでしたが、ほぼ互角の水準を維持できていました。これは必要性が発明の母であり、制約が創造性の父であるという私の「制約の法則」によるものです。
中国はそれを証明しました。世界最高レベルの数学者たちを抱える国として、データセンターの能力は限られていても、数学的な知識はあるのだから、その数学を活用しようと考えたのです。これが本質的な部分です。
いくつかの陰謀論や他の説も出ていますが、科学者たちと話をすると、AIモデルのエネルギー効率の下限にはまだまだ余裕があるということです。何かが一桁あるいは数桁の進歩を遂げるのを見ると、実際にここ3-4年で何度も目にしてきました。
GPT-2はより小さなモデルで、特に賢くはありませんでしたが、GPT-3は文字通り1000倍優れていました。GPT-3のトークンは1000トークン単位で測定され、今では100万トークン単位で測定されています。
第一原理に基づいて考えると、トークンを生成するための最小コストを計算できますが、私たちはまだその下限には遠く及びません。これはサム・アルトマンが「測定するにも安すぎる知能」と言及していたことです。もちろん、彼は少し誇張気味でしたが、中国は「ああ、我々がそれを実現しよう」と言ったのです。
これは西側諸国とOpenAI、シリコンバレーなどへの警鐘となり、行動を起こすよう促しています。
これは私が昨年2023年に提唱した「terminal race condition（終端レース条件）」という仮説を裏付けるものです。この仮説は、国家や企業にとって最も合理的な行動はAIに投資することだというものです。なぜなら、最初にゴールにたどり着いた者が勝利するからです。
しかし、防御壁がないため、最近話題に上がっているように、誰もが同じペースで到達できます。投資の規模と賢明さの問題だけです。terminal race conditionが意味するところは、ここに書かれている通り、このダイナミクスはナッシュ均衡に似ています。どのプレイヤーも、AIに全力投資する戦略から一方的に逸脱しても自身の立場を改善できないというものです。
ナッシュ均衡は、すべてのアクターにとって最適な戦略が最大限のAI投資であるということです。これはアメリカのトランプ政権やイーロン・マスク、その他すべての人々に見られる現象です。企業や国家として関連性を保ちたければ、AIに投資しなければならないというナッシュ均衡があります。これは単なる積極的な投資だけでなく、規制緩和も意味します。
次にアトラクター状態についてです。アトラクター状態とは、現在のシステムの重力的な引力のようなものです。現在のシステムの重力的な引力は、できるだけ早くAGIとASIを実現するというものです。そして、私たちはそれを加速させているだけです。
つまり、強力なシステムを持つだけでなく、それらは遍在することになります。遍在する理由は、より小さく、よりスマートにできることがわかってきたからです。「より小さく」というのは、より速く、よりエネルギー効率が良く、リソースの消費が少ないということです。これらすべてが好循環を形成しています。
また、これは多層的な競争でもあります。競争は主にアメリカと中国のような国家間、そしてMicrosoft、Google、Metaなどの企業間で行われています。
これは赤の女王理論とも考えられます。赤の女王理論とは、現状の相対的な位置を維持するためだけに、できる限り速く進化し続けなければならないというものです。これは、サム・アルトマンとOpenAIが行っていたような、現状に甘んじることはできないということです。彼らは「私たちは素晴らしい、o1を作り、o3を開発している、競合他社より何マイルも先を行っているから心配することはない」と考えていました。
しかし、中国企業が現れて「それについて、やられたな」と言ったのです。現状に甘んじることができず、誰もが投資し、できる限り速く進まなければならない状況では、レース状態が生まれます。これを私がterminal race conditionと呼ぶ理由は、このレースの終着点がシンギュラリティだからです。
これは人類の超越か、自滅的な核戦争で終わります。私をしばらく追っている方なら、以前は否定的な結果を心配していた時期がありましたが、今はもうそれほど心配していませんし、それについて多くの時間を費やすこともありません。一部の人々はまだ心配していますが、私の視聴者の多くは投票で示されているように心配していないので、先に進みましょう。
これは何を意味するのでしょうか。まず第一に、私たちは認知的飽和点に向かっています。これは基本的に、必要な認知的労働はすべて行われ、しかもほぼ瞬時に行われるということです。
これを考える一つの方法は、まず認知的閾値についてです。認知的閾値とは、基本的にモデルが多くのことを行うのに十分賢くなり、それを何十億回もコピーできるようになると、それらはどこにでも存在するようになり、さらに時間とともに軽く、速く、安価になっていくということです。
時間とともにより良く、より速く、より安価に、より安全になっていきます。これは幻覚が少なくなり、より良いガードレールが設けられることを意味します。しかし、その認知的閾値は基本的に、何かを行うのに十分賢くなれば、その難易度カテゴリーのすべてのことができるようになるということです。
次のレベル、次のDC（難易度クラス）に到達するのに十分賢くなれば - これはテーブルトップRPGプレイヤーのための例えですが - あなたのintが10なら解決できない問題があり、intが15なら解決できる問題があり、intが20ならすべてのint判定をクリアできるということです。D&Dやその他のテーブルトップRPGプレイヤーならわかるでしょう。
現在、これらのモデルのintは12から13、おそらく14くらいです。多くの問題を解決できますが、1-2年後にはintが18、19、20になり、私たちのモデルができない難易度クラスの課題はなくなるでしょう。
次にローカル開発についてです。これについては動画の中で何度か触れますが、2年前の2023年に、私はQualcommの投資部門のコンサルタントを短期間務めました。彼らの投資担当者の何人かが私に教えてくれたことで、現実となったのは、AIが商品化されるだろうということでした。
基本的に、AIモデルはより良く、より速く、よりスマートに、より安価に、より効率的になっていき、最終的にはモバイルハードウェアを含むほとんどのハードウェアで動作するようになるということです。これは今年現実のものとなっています。Qualcommの人々は2年前にこれを知っていたのです。
これは、数年以内にAGIをローカルで実行できることを意味します。数年以内に超知能をローカルで実行できることを意味します。これは、このテクノロジーが本質的に民主化され、誰もがアクセスできるようになることを意味します。
とはいえ、より多くの計算能力を持つことには常に優位性があります。巨大なNVIDIAチップを持っていれば、1つのローカルAGIを実行するだけでなく、何十億ものAGIを実行できます。そのため、パワーの非対称性は常に存在します。
データセンターとサーバーを所有する人々は、これらをより多く並列に実行でき、おそらくノートパソコンや携帯電話などでできるよりも少し速く実行できます。それは全く問題ありません。しかし、重要なのは、これが誰のためのものになり、遍在するということです。
ただし、最終的には、より多くのAGIを持つことの限界効用が逓減していくことがわかるでしょう。おそらく、世界における超知能の最適な数は10万か1億くらいで、それ以上は単に暇を持て余すことになるでしょう。なぜなら、すべての問題があっという間に解決されてしまうからです。これが私が認知的飽和点、認知的超豊富性と呼ぶものです。
さて、このterminal race conditionで考慮すべきもう一つのことは、私がいくつかの異なる名前で呼んでいるものです。知能の最適値のようなものですが、現在使っている用語は知能効用プラトーです。基本的に、最大知能には数学的な限界があるでしょう。そして、有用な知能には確実に限界があります。
また、基本的に宇宙には常に不確実性または還元不可能な複雑性があり、これは数学的な観点から見ると、思考だけで解決できることには限界があるということです。最終的に、オッペンハイマーで言われたように、理論だけではどこまでも行けるわけではありません。理論の限界まで拡大はしますが、その後は実際の実験を行う必要があります。
最大可能知能の上限には数学的な理論的限界があります。IQが10億のものがあっても、解決策を出すのに1000年かかるのでは特に有用ではありません。IQが160で1秒間に1000の決定を下せるものがあれば、知能の正のフィードバックループがあるため、より早く先に進めます。
また、実用的なプラトーもあります。特定のタスクにはある一定レベルの知能しか必要としません。誰かが「私はChatGPTのパワーユーザーだ」と言っているのを覚えていますが、モデルができないエッジケースを見つけていないのなら、あなたはパワーユーザーではありません。なぜなら、モデルができる限界まで使いこなしていないからです。
自分は超スマートだと思っている人はたくさんいます。「私はパワーユーザーだ」と言いますが、高校レベルのモデルであなたが必要だと思うことすべてに対応できているなら、あなたは高校レベルで操作しているということです。申し訳ありません。
ちなみに、o1が展開され始めたとき、何人かの人々が私にメッセージを送ってきて、「o1は私ができることすべてができるようになった」と言っていました。このように、IQが約120で動作するモデル、130のモデル、140のモデルというような段階があります。モデルがあなたより賢くなると、あなたが望むことすべてができるようになります。
モデルがさらに賢くなり続けると、最終的には地球上で最も賢い人のために必要なことすべてをモデルができるようになり、その時点でモデルはすべての人間の認知能力を超越しています。これが知能効用プラトーです。基本的に、モデルに解決を依頼できない問題はなくなりますが、おそらくシグモイド曲線か指数関数的減衰に従い、モデルの能力外にある領域は無限に小さくなっていきます。
さて、私のリンクすべてについて簡単に宣伝させてください。特に2つのことに注目してほしいと思います。1つ目は私のPatreonです。これは専用のDiscordを持つ5ドルのコミュニティで、私たちはいつもそこで様々なことについて話し合っています。エイリアンやUFOなどについての専用チャンネル、ここで話している労働後の経済学、もちろんAI、ニューロサイエンス、スパイシーなチャンネル、LGBTQチャンネルなど、様々な面白いものがあります。非常によく管理されたコミュニティで、皆がうまく付き合っています。
もう1つは私の学習コミュニティ、New Era Pathfindersです。私はこれを改良し、新しいコースを追加するために一生懸命取り組んでいます。現在、3つのコースを開始しています。1つはAIについてで、プロジェクト機能を使用したプロンプトエンジニアリングを学びます。もう1つはサイケデリックについて、私がサイケデリックについて学んだすべてのことです。
3つ目のコースは「Unfuck Your Life」という新しいシリーズで、人生で何をしてはいけないかについて私が苦労して学んだすべてです。先ほど述べたように、私は深刻なバーンアウトを経験したので、物事を苦労して学び、それを教えるためにここにいます。
さて、ショーに戻りましょう。先週の中国とDeepSeekなどすべてのことから見られる第一の結果の1つは、エッジでAGIを持つことになるということです。価格は下がり、これらすべてがローカルモデルとローカルハードウェアで動作することになります。これは普遍的になり、エッジで動作し、最も重要なのは、インフラストラクチャーのバイパスをもたらすということです。
現在、最高のモデルはどこかのデータセンターで動作していて、APIを介してアクセスする必要があります。しかし今では、人々はNVIDIA 3090や4090などでDeepSeek R1をローカルで実行しています。これは採用を加速させ、採用の加速は複合的なリターンを生み出します。これは科学が進歩するだけでなく、商業的な採用も進歩し加速する別の例です。
最も興奮する部分は、昨日思いついたアイデア...まあ、ある程度は...昨日、本当に鋭い人々といくつかのアイデアについて話していました。それは無限データフライホイールです。すべての人類の知識をこれらのモデルに圧縮し、第一原理から推論できる推論モデルになると、再帰的な自己改善ループが始まります。
直接的ではなく、1つのモデルが1ステップで次のモデルを構築するわけではありません。その間にいくつかのステップがありますが、推論モデルで機能的に無限の高品質データを合成でき、そのデータを使って次世代のモデルを訓練できます。次世代のモデルはより小さく、より速く、よりスマートで、より効率的になり、それを使ってデータセットを洗練し、さらに拡大できます。
このように、データの好循環、複合的なリターンが生まれます。つまり、データは防御壁ではありません。アルゴリズムが防御壁でなかったように、データももはや防御壁ではありません。特にこれらのオープンソースモデルのために、DeepSeekは自分たちのモデルを使ってデータを生成することを気にしません。
OpenAIの利用規約には何が書かれているでしょうか?「私たちのモデルを使って、私たちのモデルのより良いバージョンを訓練しようとするデータを生成してはいけない」。はい、それがどうなったか見てみましょう。
つまり、データは防御壁ではなく、アルゴリズムも防御壁ではありません。唯一の防御壁はインフラストラクチャーにあります。これはAGIと超知能の世界でのスライドです。インフラストラクチャーが唯一の防御壁です。
中国は、それさえも素晴らしい防御壁ではないことを示しました。なぜなら、GPUさえ手に入れば、この研究ができるからです。データセンター、半導体、発電、インターネットインフラストラクチャー、これらがインフラストラクチャーの4つのカテゴリーです。つまり、データセンター、チップ製造工場、それを動かす電力、そしてこれらを相互接続するインターネット自体、これがAGIと超知能に必要なインフラストラクチャーです。それだけです。
ちなみに、これらのモデルは十分賢くなっているため、専門の研究者さえ必要としません。誰かが私に、Metaが内部でパニックになっていたと言っていました。彼らのトップ10の研究者の年間給与がDeepSeek R1を訓練するコストより高かったからです。「何のために給料を払っているのか」というわけです。これは噂で、本当かどうかわかりませんが、面白いので私の頭の中では事実として扱っています。
エネルギー支配について、政治的な状況を見ると、ドナルド・トランプが関税を強化し、アメリカ製にすると言っているのはこのためです。インフラストラクチャーのオンショアリングは国家安全保障なのです。これは私が強く支持することの1つです。より多くのデータセンターをオンショアに持つこと、より多くの半導体をオンショアに持つこと、より多くの太陽光発電や原子力発電など、どんな種類の発電でもオンショアに持つことは、より良い状況をもたらします。
なぜなら、AGIとASIは老化から核融合、宇宙旅行まで、他のすべてを解決する手助けをしてくれるからです。ワープドライブが可能かどうかはまだわかりません。UFOを信じるなら、物理法則を破るエンジンは可能です。私たちはただそれをどう作るかわからないだけです。
結局のところ、防御壁はないということです。ゲーム理論についても少し触れましたが、誰もがポケットの中で超知能を動かし、いつでも1ダースのエージェントを持ち歩いている世界を想像してみてください。ノートパソコン、携帯電話、デスクトップ、家のすべてのデバイス、車、私たちはどこにでもAGIを持つことになります。
そして、モデルの増殖があるでしょう。一部は中国で作られ、一部はアメリカで、一部はGoogle、Meta、Microsoftなどで作られます。つまり、AGIは至る所にあり、未知のアライメント、未知の欠陥や盲点を持っています。
これはビザンチン将軍問題につながります。ビザンチン将軍問題は、簡単に言えば、他のエンティティやエージェントを信頼できない場合にどのように意思決定を行うかということです。これは非常に大きな問題です。なぜなら、彼らがどのオペレーティングシステムを実行しているか、どのハードウェアを使用しているか、モデルがどのようなデータで訓練されたか、またはモデルのミッションが何であるかさえわからないからです。
これは私が広く議論してきたことですが、システムレベルとネットワークレベルでこれに対処する方法があります。これは、モデルレベルでアライメントを解決することはできないという私が長い間言おうとしてきたことの1つです。
多くの純粋主義者たちは、モデルレベルでアライメントを解決する必要があると言っていますが、モデルレベルでアライメントを解決することは決してできません。申し訳ありません、ネットワークレベル、システムレベルでアライメントを解決する必要があります。
そして、非整列的な行動をとると罰せられ、リソースを取り上げられ、ファイアウォールで囲まれるというナッシュ均衡を作る必要があります。ネットワーク上での人々の行動を監視することで、良い行動を奨励します。
これは、ブロックチェーンと評判管理のような技術が絶対に重要になる部分です。多くの暗号通貨とブロックチェーンの人々は評判管理の解決に一生懸命取り組んでいます。なぜなら、アクターとして「私は一度もハッキングをしたことがなく、記録に汚点がない」という素晴らしい評判を持っていれば、より信頼できるからです。
しかし、銀行をハッキングしようとしたり、個人データを盗もうとしたりするAGIエージェントを展開し始めると、記録に汚点がつきます。これはナッシュ均衡の例で、個々のレベルではなく、ネットワークやシステムレベルで望ましい行動を奨励するということです。
そしてオラクル検証、セキュリティ対策などすべては、これを複雑な適応システムとして考える必要があるということに帰着します。多くの個々のアクター、国家アクター、企業アクターがいて、それらが互いに反応し合っています。
これを理解する良い方法は、GameStopと株式市場の出来事を見ることです。SEC、GameStop、機関投資家、アクティビスト投資家がいます。これは敵対的または敵意のある環境における複雑な適応システムの例です。これは私たちが見ることになるものです。
ちなみに、誰かがパニックになる前に言っておきますが、これはインターネットがすでにそのように機能している方法です。常にハッカーがあらゆるシステムに侵入しようとしています。私は20年間ITで働いてきました。これは世界がすでにそのように機能しているのです。ただ、人間対人間の代わりにAGI対AGIになるだけです。私たちの視点からすれば、すべては自動化されているだけです。
最後に、これが最も興味深い部分だと思いますが、企業の時代遅れです。企業の目的は何かと自問してください。機能的に企業が行うことは、商品やサービスを提供するために労働と資本を組織化することです。現在、企業は労働と資本を組織化して、できるだけ安価に商品やサービスを提供する最も効率的な方法の1つです。
しかし、すべてがAGIとロボットになり、基本的に労働要素が完全になくなり、すべてが資本になったらどうでしょうか。そうすると、企業は単に資本資産のコンテナになります。それでもいいかもしれませんが、なぜDAO（分散型自律組織）のような仕組みに移行しないのでしょうか。DAOはすでに資産や所有権を組織化する優れた方法です。
人的要素、つまり労働要素を取り除くと - ちなみにAGIは人間の認知的労働の必要性を完全になくそうとしていて、ロボットも人間の物理的労働の必要性をなくすのもそう遠くありません - まったく新しい経済モデルが可能になります。
もちろん、これを「完全自動化された贅沢な宇宙共産主義」と冗談めかして表現する人もいます。これは自動化の要素で、AGIは認知的労働の完全自動化です。ちなみに、人々は「マネージャーやCEOはまだ必要だ」と言いますが、これらのモデルはすでにマネージャーやCEOより賢いのです。
そのため、避けられない経済再構築が起こるでしょう。経済学者たちは長い間、企業の目的は何かと疑問を持ってきました。なぜ企業は存在するのか、なぜ企業は商品やサービスの提供により優れているのか、企業は存在すべきなのか。10年か20年後には、非常に深いレベルでその会話を持つことになるでしょう。
つまり、企業の時代は終わりを迎えるかもしれません。「では、誰がデータセンターを所有し運営するのか」と言うかもしれません。私たちがデータセンターを所有し運営できます。なぜなら、ロボットがそれを建設し管理し、残りの私たちはそれをブロックチェーン上で集団的に所有すればいいからです。私はそこに向かっていると思います。
個人事業や小規模事業は引き続き存在するでしょうか？もちろんです。誰もが農場を買い、ロボットを配置する権利を持つべきです。誰もが衣料品会社や衣料品店を作る権利を持つべきです。そのようなことをする権利を持つべきです。しかし、大手テクノロジー企業の時代は10年から20年で、もしかするともう少し長くかかるかもしれませんが、終わりを迎えるでしょう。
これが突飛に聞こえるなら、「それは素晴らしすぎて本当とは思えない」と思うかもしれませんが、1世紀前には鉄道、鉄鋼、石油の大富豪がいたことを覚えておいてください。今では誰も鉄道の大富豪のことを気にしていますか？誰も鉄鋼の大富豪のことを気にしていますか？いいえ、テクノロジーは進化しました。
私は、同じことが大手テクノロジー企業にも起こると思います。そして、この人工知能の波はその兆候の第一歩だと思います。
これを考えるもう一つの方法として、この経済原則をどこで学んだか覚えていませんが、富の大規模な集中が見られるときは常に、市場がまだその商品やサービスを民主化する最も効率的な方法を見つけていないからです。
1世紀前にStandard Oil社や巨大な鉄道路線を見たとき、それは市場がまだそれらのテクノロジーや商品、サービスを効率的に分配する最善の方法を見つけていなかったからでした。現在、大手テクノロジー企業が世界最大の企業であることについて、他の誰もが「そのパイの一部が欲しい」と言っています。
数十年かけて、誰もが「そのパイの一部が欲しい」「Nvidiaの一部が欲しい」「Microsoftの一部が欲しい」と言うにつれて、それは社会に分散し拡散していきます。そして、この動画全体で指摘してきたように、その拡散への動機は非常に高いのです。
国家レベルでは拡散を望み、企業レベルでは、Microsoft、Nvidia等の大企業は多くを失うことになりますが、他の企業、新興企業は多くを得ることになります。基本的に、このテクノロジーを可能な限り広く、可能な限り速く分散させたいのです。
国家的な理由でそれを望みますが、長期的な結果は創造的破壊と呼ばれるものです。長い話を短くすると、創造的破壊は長期的には私たちが知っている大手テクノロジー企業を破壊するかもしれません。少なくとも、それが私の希望です。
ご視聴ありがとうございました。それでは、良い一日を。