スターゲート：明確な目標のない2023年アーキテクチャーに投じられた5000億ドル？

2,389 文字

スターゲートが発表されました。1990年代の相当ひどいテレビ番組であると同時に、AIに関する5000億ドルのインフラ整備計画としても登場しました。私にはいくつかの本当の疑問があります。
私が見る限り、スターゲートの問題点は、レースが終わる前に勝者を決めてしまっていることです。OpenAIが勝利を収めると言っているのです。ソフトバンクとオラクルの資金提供を受け、この3社のためにデータセンターを建設することになります。当然、マイクロソフトもこのゲームに参加することを喜んでいます。彼らはOpenAIのパートナーですから。そしてもちろん、NVIDIAがチップを供給します。
問題は、ゲームには他にも多くのプレイヤーがいて、彼らにとってこの構図がレースをどう変えるのか明確でないことです。彼らは諦めていません。Anthropicも諦めていません。私は彼らについて先日動画を作ったばかりですが、彼らは諦めていません。Metaも諦めていませんし、Googleも諦めていません。賭け金があまりにも高すぎるのです。
それなのに、私たちは勝者を決めようとしています。しかも、Deep Seekのようなモデルメーカーが参入してきた変化や、xAIが途方もない計算クラスターで信じられないほどの進歩を遂げていることにさえ触れていません。
そこで、私が問題空間を見て、これは非常にダイナミックな状況で、多くのモデルメーカーがいて、皆が競争している中で、どうしてたった1つのモデルメーカーだけがこのプロジェクトに参加するのが理にかなうのか、と自問すると、私はそうは思えません。
そしてそれがそうなっているのは、サム・アルトマンがこの種のデータセンターの計画を売り込んでいたからだと思います。それはほぼ1年前、10-11ヶ月前のことのように感じます。そして一旦は立ち消えになり、今また復活したのです。
これが私の2つ目の問題点につながります。彼らが説明しているのは2025年のアーキテクチャーではなく、2023年のアーキテクチャーなのです。なぜそうなのか、それは理解できません。私たちはこれまでに多くのことを学んできました。これは非常にダイナミックな分野で、変化が非常に速いのです。
説明しましょう。2023年、そして2024年初めにも、私たちは、これらのモデルをよりスマートにするには、より大きなデータセットでトレーニングするために、より大きなGPUクラスターが必要だと考えていました。だからこそ、この計画は1000万個のGPUを持つと言われているのです。
しかし、私たちが発見したのは、結局のところ、そのような計算能力はあっても、事前トレーニングに関しては収穫逓減の可能性があるということです。データを合成的に生成しない限り、データを見つけることに問題があります。合成データの生成については進歩を遂げていますが、それを大規模に行うのは大きな課題です。
イリヤが去年11月、スターゲートが最初に検討され始めてずっと後に有名な発言をしたように、「私たちにはひとつのインターネットしかない」のです。私たちにはひとつのデータプールしかありません。私たちはそれを使い切ってしまいました。
そのコンテキストでおかしく感じる理由は、これが基本的にAIモデルをトレーニングする古いパラダイムを前提としたアーキテクチャーだからです。新しいパラダイム、つまり継続的な進歩を実現し、誰もが興奮している推論時の計算は、まったく異なるパラダイムです。
それは同時に複数のスレッドを実行することを可能にします。これがモデルが考えるときに起こることです。実際、Geminiは昨日、Flash 2.0の新しいアップデートでその一バージョンを発表しました。まだ試す機会すらありませんが、その思考能力は明らかにGPT-4 Proと同等だとされています。
モデルメーカーたちは競争を続けています。彼らは異なるアーキテクチャー標準で競争しています。そしてスターゲートは、この2023年の構造を持って、ここに座っています。そして皆が、がんのワクチンになるだろうとか、これやあれやと言っています。
まあ、そうかもしれません。しかし、今となっては奇妙なアプローチです。1年でAIの方法論がこれほど変化したのを見てきて、このプロジェクトが4年かかるとすると、完成時には時代遅れに感じられてしまうのではないでしょうか。そうなるかもしれません。
そしてそれは目標設定の問題に戻ってきます。アメリカが取り組んできた他の主要なインフラプロジェクトでは、非常に明確な目標設定がありました。月に行き、宇宙飛行士を連れ戻す。10年以内という古典的なタイムラインさえありました。
これは明確ではありません。「そうですね、いくつかの回答をやります」といった具合です。完了とは何を意味するのでしょうか？良いとはどういう状態でしょうか？これは国防総省も使用することを意味するのでしょうか？それも明確ではありません。
すべての計算リソースの割り当てを誰が決めるのかも明確ではありません。ソフトバンクが決めるのでしょうか？それは疑わしいです。
おわかりの通り、私には多くの疑問があります。これは確かにレースを作り変えるものであり、議論する価値があります。私の考えの詳細はサブスタックに書きましたが、結局のところ、これは私の頭を傾げさせ、考えさせるプロジェクトです。そして答えよりも多くの質問を投げかけています。
しかし、皆がこれを既定の事実のように、明白なこととして話しています。私にはわかりません。2年前のアーキテクチャーの上に4年先の未来を築くことが、自動的に勝利につながるとは思えません。もしかしたら、彼らは単に計算能力を再利用するだけかもしれません。しかし、少し奇妙に感じます。
あなたはどう思いますか？