Jonathan Ross（Groq創業者兼CEO）: NVIDIAとGroq - トレーニングとインファレンスの未来 | E1260

34,831 文字

私たちは15億ドルを調達したわけではありません。それは収益であり、実際にはOpenAIの収益の約30%に相当します。あなたの仕事は波に乗ることではなく、波に備えて態勢を整えることです。私たちはNVIDIAにとって最高の出来事の一つと言えるでしょう。なぜなら、彼らは生産予定のGPUを全て製造でき、トレーニング用に高マージンで販売できるからです。そして私たちは低マージンで大量のインファレンスビジネスを引き受け、彼らはどちらのマージンも失う必要がありません。私たちは指数関数的な成長を上回るペースで成長しており、指数関数的な成長を上回る成長をしているとき、どれだけの利益を出せるかは重要ではありません。重要なのは市場での足がかりを得て、存在感を示すことです。
ジョナサン、パリでのこの対談に応じていただき、ありがとうございます。ところで、あなたは素晴らしい格好をしていますね。私は場違いな感じがしますが、あなたは素敵です。
ありがとうございます。もしよければネクタイを外すこともできますが、また結べなくなってしまいますね。実は私はネクタイの結び方を知らないんです。文字通り、チーフ・オブ・スタッフが結んでくれないといけないんです。彼が自分で結んでから私に付けてくれるので、大変なんです。このスーツも最近買ったばかりなんです。
あなたは素晴らしく見えますよ。私にはスーツがないので、あなたの方が一枚上手ですね。
このショーを2つのパートに分けたいと思います。まず業界の現状について話し、それからグロックの具体的な状況について掘り下げたいと思います。先ほど話していた、誤解されている大規模な新規契約について触れたいと思います。
まず、スケーリング則の観点から現状をお聞きしたいのですが、誰もがスケーリング則の限界に達していると言う一方で、DeepSeekなどが指数関数的なイノベーションを見せているようです。スケーリング則の限界についてどうお考えですか？
スケーリング則というのは、OpenAIが発表した論文で、基本的にはモデルのパラメータが多いほど、より多くの情報を吸収できるということを示しています。彼らが描いた曲線は素晴らしいものです。可能であれば示していただきたいのですが、本質的には、トークンを線形に入力しても対数的な改善しか得られない漸近的な減少が見られます。これが、15兆トークンのトレーニングなどが行われている理由です。
しかし、これは誤解されています。なぜなら、全てのデータが同じ品質であるという前提があるからです。今あなたには子供がいますよね。そのうち子供を教育することになりますが、ここで一緒に考えてみましょう。「1+1は？」「2」「2×3は？」「6」「双曲線正接の2次導関数は？」というように。
でも、これが私たちがこれらのモデルを訓練する方法なんです。とても簡単な問題を解かせ、その後で非常に難しい問題を与えます。私たちは本当の意味で段階的な訓練をしていないんです。賢く行っていないんです。ある人々は、インターネットの底辺で訓練を行い、最後に高品質なデータを残して改善を図ります。しかし、皆が混乱しているのは、AlphaGo Zeroのように、自分でデータを生成して訓練できるということです。LLMは合成データを生成でき、その合成データの方が優れているのです。その合成データで訓練を行います。
なぜ合成データが実データより優れているのでしょうか？それはモデルがより賢いからです。Redditは素晴らしいですが、必ずしもある分野の博士号保持者と話すような高品質なものではありません。より知識があり能力の高い専門家と同様に、より優れたモデルはより良いデータを生成します。
モデルを訓練すると改善し、より良いデータを生成し、様々なデータを生成します。そして間違っている部分を全て除去します。オフラインで行えるので、モデルよりも少し良くなります。そしてモデルを訓練し、モデルがここまで来て、これを繰り返し、より良いデータを保持し、再び訓練する。このように進化し続けます。
このように行うと、実際のスケーリング則は漸近的なものではなくなります。でも効率性に上限があるはずですよね？
必ずしもそうではありません。数学的な限界はあります。コンピュータサイエンスを学んだことがある人なら、ビッグO計算量という概念を聞いたことがあるでしょう。これは問題を解く際に、あるアルゴリズムと別のアルゴリズムで必要なステップ数が異なることを示します。
例えば、クイックソートとバブルソートを比較すると、1000個の数字をソートする場合、クイックソートはnlogn、つまり1万ステップ必要です。一方バブルソートはn²で、100万ステップ必要になります。なぜなら10×1000か1000×1000のどちらかになるからです。
これらのLLMが大きな数の掛け算に苦労する理由の1つは、掛け算が線形ではないからです。LLMは線形的なことなら考えずにできますが、紙の上で中間ステップを書き出す必要があるように、LLMもこれらの計算を行うために中間的なステップが必要なのです。これは数学的な要件であり、どんなに訓練しても、任意の大きな数字を見て即座に掛け算できるようにはなりません。
ただし、より大きな数字のグループを記憶することで、より少ないステップで計算できるようになります。効果的に、より多くのデータで訓練することで、より多くの例を見ることになり、より具体的な状況に対する答えを持つようになります。そのため、それほど多くの推論を必要としなくなりますが、一部の問題に対しては依然として推論が必要です。
では、効率性の上限がないとすると、次のステップについてはどうなるのでしょうか？実際にはどういう意味を持つのでしょうか？
両方が必要です。モデルの訓練により、より直感的になり、より意識の流れのように答えを出せるようになります。推論の部分は異なり、それは上に乗るアルゴリズムです。ビッグO計算量の部分です。
これはダニエル・カーネマンの本にあるシステム1とシステム2の思考、あるいは速い思考と遅い思考のようなものです。これらを組み合わせると、より直感的になることでこのように改善し、システム2の部分を加えることでこのように改善します。音量は非常に小さいですが、これを行うと、ポリリニアという用語がありますが、幾何学的に増加する改善が得られます。改善されたトレーニングと、彼らがテスト時計算あるいはランタイム計算と呼ぶものを組み合わせた場合です。
完全に理解できました。つまり、ボトルネックについて考えると、トレーニングを強化する合成データがあれば、より直感的になり、チェスのグランドマスターのように正しい手を即座に見つけられるようになるということですね。しかし、合成データは供給側の制約がないとすると、他のボトルネックについて考えると、ハードウェア、エネルギー効率、アルゴリズムの限界があります。
しかし、掛け算が上手くなるように訓練していて、より少ないステップでより直感的に行えるようにしたいと言われた場合、3桁の数字の掛け算ができるようになるには、2桁の数字の場合の10倍のデータと10倍の例が必要になります。そして直感的な部分が向上するにつれて、より多くの例で訓練する必要があります。
理解できました。では、ボトルネックは何でしょうか？ハードウェアの品質でしょうか？計算能力でしょうか？アルゴリズムでしょうか？データではないということですね。
計算能力、データ、アルゴリズムの全てです。しかし、ボトルネックという概念は誤解されています。計算能力はボトルネックというよりも、ソフトネックのようなものです。より多くの計算能力を提供すると、データの不足やアルゴリズムの改善の不足を克服できます。
つまり、厳密なボトルネックではなく、ソフトなボトルネックなのです。理想的には全ての3つを改善すべきです。より良いデータを得て、より良いアルゴリズムを得ることになりますが、計算能力は常に最も簡単なレバーでした。なぜなら非常に代替可能だからです。より多くの計算能力を与えれば、より良く機能します。
DeepSeekは、実際には計算能力が必要ないことを示していないのでしょうか？より少ないリソースでより多くのことができることを？
必ずしもそうではありません。そこにはアルゴリズムの改善がありました。先ほど説明したように、アルゴリズムの改善は、一見些細なことのように見えますが、答えを箱の中に書き、それを探すようにしただけで、人間がチェックする必要がなくなったようなものです。非常にシンプルでしたが、それはアルゴリズムの改善であり、訓練されるデータの生成を容易にしました。
AIについて、特にインファレンスに関して人々が持っている誤解について聞かせていただけますか？
最初の誤解は、もはや人々が持っていませんが、トレーニングがインファレンスよりも高コストだと考えられていたことです。Googleでは、新しいモデルを訓練するたびに、トレーニングの10〜20倍の計算能力をインファレンスで使用することになりました。インファレンスは常に私たちが必要とする重要なインフラ部分でした。
しかし、その後、誰もがインファレンスが重要だと理解するようになりました。私は、人々が完全に理解していると思いますか？なぜなら、DeepSeek後のNVIDIAの株価を見ると15%下落しています。インファレンスの価値を理解していれば、15%も下落するはずはありません。
私はNVIDIAの株価が下がるべきだとは思いません。それは多くの人々の誤解だったと思います。しかし、それはむしろ、誰もがNVIDIAの株価はこれ以上上がらないと言い続けていて、なぜ間違っていたのか、なぜ今売る必要があるのかという言い訳を探していたことを示していると思います。それは市場の人気投票的な側面であり、市場の実質的な価値評価とは関係ありません。
スタートアップを立ち上げる段階で、スケーリング則は継続すると仮定して構築すべきでしょうか？それとも今日の状況に基づいて構築すべきでしょうか？どのようにアドバイスしますか？
私は、物事が改善することを前提に構築することをお勧めしますが、より大きな量子的なステップにも少し焦点を当てることをお勧めします。私が好む例えは、情報時代を振り返ってみることです。印刷機、電話、電報、インターネット、スマートフォンがありました。
もしUberをインターネットの時代に構築していたら、機能しなかったでしょう。なぜなら、乗車を予約して目的地に行っても、どうやって帰るのかという問題があったからです。私たちは今も同じような状況にいます。モデルは幻覚を見るので、医療診断会社や法律会社を作るのは難しいでしょう。
しかし、もしそれを行っていて、幻覚の割合を下げるアルゴリズムの改善が起こった場合、完璧なポジションにいることになります。グロックのように、私たちは製品市場フィットを得る前に7年間存在していました。スケールドインファレンスがボトルネックになり、大規模で重いモデルを実行する必要があるだろうという賭けをしていました。
皆、トレーニングが複雑な部分だと考え、単一のPCIeカードでインファレンスを実行できると想定していました。実際には、私たちは前もって正しい賭けをし、完璧なポジションにいました。あなたの仕事は波に乗ることではなく、波に備えて態勢を整えることです。これが最も難しい部分です。なぜなら、誰もが岸に戻るように説得しようとするからです。
ほとんど全ての人が、LLMsは私たちにとって terrible になるだろうから、やめるべきだと言っていました。私たちは、これこそが私たちが構築したものだと言い続けました。
7年間は信じられないほど長い待ち時間ですが、自分を疑ったことはありましたか？
確かに疑いはありましたが、立ち止まることはありませんでした。その理由は、TPUを始める前から、AIは一部の人々に過度の支配力や影響力を与える技術になる可能性があることを懸念していたからです。
それが必ずしも最善の手に渡らないままにしておくと、どれだけ裕福であっても、何も重要ではなくなります。これは最も重要な技術なのです。そのため、どれだけ困難になっても、成功する以外の選択肢はありませんでした。私たちの目標は、AI時代における人間のエージェンシーを保持することです。もしそれができなければ、私たちは失敗したことになります。
だから、疑いがあったかどうかは重要ではありませんでした。そして、はい、多くの疑いはありました。資金が底をつきそうになった時期があり、私たちは「グロックボンド」と呼ぶものを作りました。
第二次世界大戦の戦時国債をご存知ですか？もちろんですが、知らない人のために説明すると、第二次世界大戦は国債で資金調達されました。米国政府はポスターを作り、「軍隊に資金を」などと呼びかけ、人々はそれを購入し、見返りとして利回りを得ました。それが戦争の資金となりました。
ある時点で私たちは資金が底をつきそうでした。強さを装うのではなく、従業員に対して脆弱性を見せ、「資金が底をつきそうです。給与を株式と交換する必要があります」と伝えました。文字通り戦時国債の写真を撮り、そこに「グロックボンド」と書き換えました。
全体ミーティングでこれを説明した時、皆が辞めてしまうのではないかと心配しました。しかし、辞める代わりに、約80%の従業員が参加し、50%は法定最低給与まで下げることに同意しました。
最終的に3億ドルのラウンドの最初の部分を調達した時、銀行に残っていた資金は、グロックボンドで節約した額よりも少なかったのです。もしグロックボンドを行っていなければ、文字通り資金が底をつきていたでしょう。
本当に厳しい時期がありました。全ての創業者がこのような経験をしていますが、外から見るのは難しいものです。テレビ番組を見ているようなものです。あなたはその中にいないのです。しかし、そこにいる時は、全てが10倍から100倍も強烈です。
なぜなら、人々は仕事を辞め、キャリアを捨て、家族がこれに賭けているからです。そして、外に出て「グロックボンド」を全員に依頼し、全員が辞めてしまったらどうなっていたでしょう？株主は「これだけの人々があなたに依存しているのに」と言うでしょう。しかし、その脆弱性に向かって傾いていくと、人々はしばしばあなたと共に歩んでくれるのです。
インファレンスが非常に重要で、トレーニングの20倍も重要な世界とは、どのような世界なのでしょうか？
最も簡単な理解の方法は、LPUやGPUを従業員と同等に考えることです。十分な数のLPUやGPUがあれば、従業員と同じように仕事ができます。しかし、従業員とは少し異なります。
彼らは辞めて他の仕事に就くことはありません。一度モデルが特定の能力に達すれば、常にその能力以上を維持します。後退することはありません。一貫性が得られます。
しかし、今あなたがスタートアップで、100人を雇う代わりに10人を雇い、90人分の従業員に相当する計算能力を購入するとしたら、それは世界の見方が大きく異なります。なぜなら、従業員の代わりに、設備投資や場合によっては異なる種類の運営費用を使用できるからです。
インファレンスの規模について感覚をつかんでいただくために言うと、私たちは2024年を生産中の640チップでスタートし、40,000以上で終えました。今年は200万以上を目指しており、来年の数字ははるかに、はるかに、はるかに大きくなります。
チップの供給に制約はあるのでしょうか？それは信じられないようなスケーリングストーリーですね。
来年の目標を達成するために（具体的な数字は公表していませんが）、使用している製造工場の能力のほぼ全てを必要とするでしょう。最大の問題は、ハミルトン・ヘルマーの「7つのパワー」についてです。
通常、テクノロジー企業は囲い込まれたリソースを持っているとは考えません。しかし、NVIDIAは囲い込まれたリソースを持っています。彼らはHBMとインターポーザー、COOsの独占的購入者（モノプソニー）なのです。これは独占（モノポリー）の反対です。
HBMとは何ですか？申し訳ありません、初歩的な質問で。
HBMは高帯域幅メモリーです。GPUsは...HBMを生産しているのは誰ですか？
世界で3社だけです。SK Hynix、Samsung、Micronです。これは特殊なメモリーで、高性能サーバーでのみ使用されます。そのため、生産量は限られています。非常に高価で、生産量を増やすのは大変です。他のメモリーよりも技術的に非常に難しいタイプのメモリーを作ることになります。
そのため、供給は非常に限られています。GPUは計算能力が非常に高いため、通常のメモリーを使用すると、マティーニのストローで飲むようなものになってしまいます。永遠にかかってしまいます。
これが、特にトレーニングですが、インファレンスでもCPUよりもGPUで行うことを好む理由です。メモリー帯域幅が限られているからです。CPUはめったにHBMを使用せず、ほとんどが通常のメモリーです。
私たちのアーキテクチャについて、グロックを始めた時の観察があります。誰もがムーアの法則を知っています。18〜24ヶ月ごとに、時計のように正確にトランジスタが2倍になり、計算能力が2倍になります。
しかし、私たちはAIがより速く改善されていることに気づきました。アルゴリズムではないことは明らかでした。なぜならアルゴリズムは不連続な飛躍をするからです。また、データもそれほど増えているわけではなく、トランジスタは18〜24ヶ月ごとに2倍になるだけでした。
では、この能力はどこから来ているのでしょうか？実は、チップの数も18〜24ヶ月ごとに2倍になっていたのです。つまり、2倍ではなく4倍だったのです。
そこで私たちが問いかけたのは、事実上無制限のチップを持つことになるなら、アーキテクチャ的に何か異なることをするべきかということでした。答えは絶対にイエスでした。
外部メモリーを使用する代わりに、多数のチップを使用し、モデルのパラメータを全てチップ内にライブで保持し、組立ラインのように計算が流れるようなパイプラインを持つようにしました。
工場を建設しようとしていて、工場が組立ラインに必要なサイズの1/100しかないと想像してみてください。多くの車を1/100の組立ラインに通し、それを解体して次の1/100の組立ラインを設置し、これを何度も繰り返すことになります。これがGPUの動作方法です。
LPUは全く異なります。実際に計算を多数のチップに流すようにしています。8チップを使用する代わりに、モデルに600や3,000のチップを使用します。
それはエネルギー効率にどのような影響を与えますか？
約3倍改善します。その理由は...より多くを使用することで、どのように改善するのですか？トークンあたりの使用量が少なくなるからです。フットプリントは大きくなります。
工場と裏庭のガレージの違いのように考えてください。裏庭のガレージは効率が良くありませんが、エネルギーフットプリントは低くなります。または、街の一方から他方へ1トンの石炭を運ぶ場合に、原付バイクで運ぶか貨物列車で運ぶかの違いのようなものです。
どちらが効率的でしょうか？原付バイクは1回の移動でのエネルギー使用量は少なくなりますが、より多くの移動が必要になり、結果として全体のエネルギー使用量は多くなります。
実際、これは多くの人々が誤解している点の1つです。エッジコンピューティングの方がエネルギーが少ないと考えていますが、実際にはエッジコンピューティングの方がデータセンターでのコンピューティングよりもエネルギー効率が悪いのです。
なぜでしょうか？データセンターでコンピューティングを行う場合、それは貨物列車のようなものです。実際に多くの仕事を同時に行うことができます。外部メモリーから読み取る必要がないということは、そのためのエネルギーを使用する必要がないということです。
GPUでもバッチ処理はできますが、なぜそれほどエネルギー効率が良いのかに話を戻すと、チップで使用されるエネルギーには物理的な配線があり、その配線には幅があります。
幅と長さを見ると、1を設定するために配線を充電し、0を設定するために放電します。これはコンデンサーを充電して放電するようなものです。エネルギーを使用しています。配線が長ければ長いほど、より多くの充電が必要です。
HBMがここにあり、別のチップがここにある場合、ビットを送信するたびに、チップ間の配線を充電して放電する必要があります。それは長い距離を移動する必要があるだけでなく、配線もチップ内の配線よりも太くなっています。そのため、多くのエネルギーを使用します。
メモリーをチップ内に保持する場合、短い距離しか移動せず、より細い配線を使用するため、はるかに少ないエネルギーで済みます。
では、LPUとGPUの使用を組み合わせた世界を見ることになるのでしょうか？LPUとGPUの使用分布はどのようになるのでしょうか？
いくつかの点があります。まず、トレーニングはGPUで行うべきです。実際、NVIDIAはトレーニング用に製造する全てのGPUを販売できると思います。現在、彼らの市場の約40%がインファレンスです。
もし私たちがはるかに低コストのインファレンスチップを大量に展開した場合、同じ数のGPUが販売されますが、トレーニングの需要は増加するでしょう。なぜなら、より多くのインファレンスがあればより多くのトレーニングが必要になり、その逆も同様だからです。
もう1つのユースケースは、私たちのLPUがGPUと比べて非常に高速なため、モデルの一部を私たちのLPUで実行し、残りをGPUで実行する実験も行っています。これにより速度が向上し、GPUがより経済的になります。
人々は既に多くのGPUを展開しているため、私たちが検討している1つのユースケースは、それらのGPUをニトロブーストするために私たちのLPUの一部を販売することです。
これが私の質問です。人々は前もってGPUを購入しているため、受け取って展開する頃には既に時代遅れになっていることがありますよね。
実際、1年以上前に注文し、前払いをしたにもかかわらず、まだ受け取っていない顧客と話をしています。最近のサウジアラビアでの展開では、契約から51日で最初のトークンが国内の本番環境で提供されました。
どうしてそんなに早くできるのですか？51日は驚異的ですね。
その一部は、アーキテクチャ的に私たちの方がはるかにシンプルだからです。他のハードウェアコンポーネントをたくさん使用しません。実際、チップ間の通信にスイッチを使用しません。チップを直接チップに接続します。私たちのチップがスイッチとなり、ネットワークチューニングも全て必要ありません。
フランスで街を横断するのにどれくらい時間がかかるか考えてみてください。かなり時間がかかりますよね。しかも時間は変動します。深夜なら早いかもしれませんが、今のようなAIサミットのイベントがある日中だと遅くなります。非常に不安定です。
しかし、列車のような特定の交通手段は予測可能です。私たちが行っていることは100%予測可能です。
エネルギー効率と予測可能性を考えると、なぜNVIDIAはLPUにもっと積極的ではないのでしょうか？
彼らが積極的になりたくないと思う理由は何ですか？彼らはそれについて話しませんね。
なぜ話すでしょうか？それは、強さではなく脆弱性を見せようとする時に、持っていないものについて話すようなものです。
しかし、株主価値を守り、支配力と先進性についてのウォール街のイメージを守りたいなら、少なくとも「もちろん私たちもLPUに取り組んでいます」と言うでしょう。
しかし、その能力を持つまで、LPUを持つまでは、実質的に何かが欠けていることを露呈することになります。最近のGTCを見ると、最新のGPUが前世代より30倍速いという発表がありました。
その方法を見ると、このような曲線があり、ここで終わり、別の曲線がこのようになっていました。その30倍というのは、この曲線の終わりからこの曲線までの比較でした。これをここに移動させると30倍未満になり、ここに移動させると無限大になります。
つまり、彼らのチップは前のものより無限倍速いということですが、それは合理的には聞こえないでしょう。このマーケットには仕様競争の歴史があります。チップへのアクセスが非常に難しいからです。
これはエンタープライズセールスについての教訓だと思います。エンタープライズセールスでは、仕様で優れているということに頼ります。私のチップはあなたのチップより速い、私は1秒あたりのテラフロップスが多いなど。でも誰が気にするでしょうか？
トークンあたりのドル、トークンあたりのワットを教えてください。他は本当に重要ではありません。しかし、人々は優れているかもしれない他の奇妙な測定方法を見つけます。
車を高いRPMで売るようなものです。RPMは重要ではありません。重要なのは1ガロンあたりのマイル数、そして運転できる速度です。ただし、速度制限があるのでそれも意味がありませんが。
エンタープライズセールスの場合、かつて石鹸を売る、あるいはマーケティングする方法として、「私たちの石鹸は他のブランドより泡が多い」というような看板を出していた時期がありました。誰が気にするでしょうか？
そして彼らが発見したのは、石鹸を使用した後の幸せそうな人々を看板に載せ、その幸せさを連想させることでした。ライフスタイルマーケティングですね。
なぜかエンタープライズはまだこの教訓を学んでいません。まだ「私たちは泡が多い、テラオプスが多い、何かが多い」といった、人々が本当に気にしないことを言い続けています。
では、NVIDIAの「30倍速い」というのは良いマーケティングではないと思いますか？
人々が慣れているものだからうまくいったと思います。しかし、私たちの対抗は、「グロックはまだ速い」というプレスリリースを出しただけでした。それだけです。そして人々は熱狂しました。なぜなら、私たちはまだ速いからです。だから誰が気にするでしょうか。
完全に理解できます。ウォール街はそのように見ていると思いますか？
彼らは理解し始めていると思います。でも繰り返しますが、私は本当の競争があるとは思いません。競争しているなら、何か深刻な間違いを犯しているということです。競争しているということは、未解決の顧客の問題を見つけていないということです。なぜなら、競争しているなら、他の誰かが既にその問題を解決しているからです。
ではNVIDIAを競合とは見ていないのですか？
彼らは高速なトークンも低コストのトークンも提供していません。非常に異なる製品です。しかし、彼らがとても上手くやっているのはトレーニングです。他の誰よりも優れており、その差は非常に大きいです。それは解決された問題なので、なぜ既に解決された問題を解決しようとするのでしょうか。
つまり、トレーニング市場を彼らに譲り、インファレンス市場を支配するということですね？
はい、そして彼らはインファレンス市場も欲しいと言っています。もちろん、それは常にそうです。では、今何をすべきでしょうか？
今、私たちはインファレンス市場で競争しているのでしょうか？本当にそうでしょうか？
私たちのところに「GPUの代わりにあなたたちを選ぶ」という人はあまりいません。「両方買います」という人はいますが、気にしません。なぜなら、ある人にデモを見せた時、その人が「もうGPUを買うのをやめるべきですか？」と聞いてきたので、私は「いいえ、手に入れられるGPUは全て買うべきです」と答えました。
彼は非常に困惑した様子で私を見ていましたが、私は「トレーニングはどうするんですか？私たちはトレーニングはやっていません。GPUを買ってください。できるだけ多く手に入れてください。なぜなら、私たちで実行するあなたのモデルが本当に良いものになってほしいからです」と説明しました。
インファレンスのためにもはやNVIDIAを買う必要はありません。インファレンスのためにGPUを買う必要はありません。しかし、手に入れられるなら、少し高価ですが、慣れているなら、なぜ買わないのでしょうか？
まだメインフレームを売っている人はたくさんいますが、より低コストで高速なものが欲しいならLPUが必要です。
どれくらい低コストなのですか？
5倍以上低コストです。最新のGPUのメモリーだけでも、私たちの完全装備されたチップの設備投資コスト以上かかります。そして、その上に、エネルギー効率について話しましたが、私たちはトークンあたり約3分の1のエネルギーを使用します。
コストの約3分の1が運営費用で、主にエネルギーとデータセンターの賃料です。3分の2が設備投資です。つまり、私たちはエネルギーの3分の1を使用するので、同じ数のトークンを生成するためのGPUの運営費用は、私たちの総コスト（設備投資プラス運営費用）と同じになります。
GPUの運営費用だけで、私たちの設備投資と運営費用を合わせたものと同じになるのです。では、なぜ彼らの収益の40%がインファレンスなのでしょうか？なぜあなたたちはそれをもっと奪っていないのですか？
2024年の初めには640チップしかありませんでした。年末には40,000になりました。まだそのスケールには達していません。品質を提供し、低コストを提供し、速度を提供する必要がありますが、容量も提供する必要があります。
これが、HBMを使用しないという最も重要な部分が効いてくる理由です。実質的にスケールの制限がないということです。GPU自体は実際に、あなたのモバイルフォンと同じプロセスで製造されています。
あなたのモバイルフォンに入っているシリコンと、GPUのシリコンは同じです。実際、モバイルフォンが最初に作られます。モバイルフォンのチップは小さいので、より良いものができます。つまり、NVIDIAはAppleの後に手に入れるのです。
違いはそのメモリーだけです。しかし、そのメモリーが製造の難しい部分です。それがスケールを制限しています。私たちはそれを避けることで、実質的にスケールアップの制限がほとんどありません。これはインファレンスにとって重要です。
NVIDIAのマージンはどれくらいですか？
70〜80%です。
70〜80%。つまり、彼らは70〜80%オフにして、あなたと比べてコスト効率を劇的に改善できるということですね。あなたは彼らのマージンを破壊できますが、なぜそうするのでしょうか？
その意味で、私たちはNVIDIAにとって最高の出来事の一つと言えるかもしれません。なぜなら、彼らは生産予定のGPUを全て製造でき、トレーニング用に高マージンで販売できるからです。展開全体で償却され、私たちは低マージンで大量のインファレンスビジネスを引き受け、彼らはどちらのマージンも失う必要がありません。
低マージンとは、どれくらいですか？
取引によって異なりますが、後で得られるものもありますが、当初は約20%です。
約20%ですか。では、彼らは80%、あなたたちは20%ですが、20倍のスケールを見込んでいるということですね。しかし、後で得られるものがあるとのことでした。どういう意味ですか？申し訳ありません。
私たちが行う取引では、私たちは自身の設備投資のためにお金を使わないので、パートナーが展開のためのお金を出します。私たちは適切なIRRで返済しますが、ほとんどはパートナーに行き、IRRに達すると反対に切り替わります。
つまり、他者が設備投資を出しているということですね。最終的にはどうなるのですか？
他のビジネスモデルとは少し異なります。私たちはチップだけでなく、ビジネスモデルでもイノベーションを起こしました。私たちが稼げる金額は、お金がどれだけあるかではなく、どれだけ展開できるかによって制限されます。なぜなら、パートナーがそのお金を出しているからです。
私が何ができるかを見る時、それは全てスケールアップできる量に関係します。
あなたたちの展開の限界は何ですか？純粋にチップの制約ですか？
主にそうです。AIについての誤解について聞いていましたが、その1つはパワーについてだと思います。市場にチップを持つ人々と電力を持つ人々の間にミスマッチがあるのは事実です。しかし、それは部分的に、その間にデータセンターが必要だからです。十分なデータセンターがありません。
データセンターを建設するのは世界で最も難しいことではありません。簡単ではありませんが、最も難しいことでもありません。電力を構築する方が難しいです。
しかし、そのミスマッチのために、大手ハイパースケーラーが「1ギガワットの電力が必要です」と言って回り、それを60の異なるデータセンター建設業者に言います。すると突然、エコーが聞こえてきます。「ここに1ギガワット、ここに1ギガワット、ここに1ギガワット」という具合に。突然、60ギガワットの需要があるように聞こえます。それは最初の1ギガワットからのエコーなのです。
私が知っているところでは、データセンター用に提供したいと考えている電力が約20ギガワットあります。現在、世界中のデータセンターは約15ギガワットです。つまり、現在の容量の2倍以上です。
私が懸念しているのは、人々が今より多くの電力を構築し始め、3〜4年後に「これだけの電力を構築したのに誰も使っていない、これは完全な無駄だった、二度とこんなことはしない」ということになるのではないかということです。
その後どうなるか覚えていますか？18〜24ヶ月ごとにチップが2倍になるということを。3〜4年で15ギガワットを2回2倍にすると、今120ギガワットについて話していることになります。そんなに多くの電力は利用できません。
そしてその後さらに1回で240になります。つまり、今起きている不一致やミスコミュニケーションのために、現在は少し過剰に構築することになりますが、その後建設を抑制し、それを抑えることになります。
そして、3〜4年後に本当の電力の必要性が出てくるでしょう。これが私の大きな懸念です。なぜならその電力が3〜4年後には厳しいボトルネックになるからです。
理解のために確認させてください。なぜトレーニングの20倍大きくなるインファレンスの世界に移行しているのに、データセンターの供給過剰になるのでしょうか？
データセンターの問題は、誰もがデータセンターを不動産だと考えていることです。多くの人が不動産のデータセンターを行っています。データセンターは不動産ではありません。
業界での一般的な冗談は、誰かが「3ヶ月以内に100メガワットの容量を用意できます。契約しませんか？」と言い、そして「稼働率はどれくらいですか？」と質問すると、「知りません。電力グリッドと同じくらいです」と答えます。
「待ってください、発電機はどこにありますか？」「まだ注文していません。今注文します」「発電機の納期が現在90ヶ月かかることを知っていますか？」「本当ですか？」という具合です。そして次の90、90、90と続きます。
次の質問は「水はどこから取得するのですか？」「データセンターに水が必要なんですか？チップの集まりだと思っていましたが、水とはどういうことですか？」となります。
不動産だと思って、何をしているのか全く分かっていない人々が多く参入しているのです。そして今、それらの人々がデータセンターの供給過剰を作り出していますが、実際には本当には建設していません。実在しないデータセンターを人々が実在すると思っているのです。
それらのデータセンターはどうなるのでしょうか？利用されないからですが、Amazonはそのようなデータセンターに支払いはしないでしょう。
Amazonはこの罠には陥りません。Amazonには本当に優れた人材がいます。買い手が水も電力もないデータセンターに支払うことはありません。
では、それは無駄なのでしょうか？これらのプロジェクトは開発されることはないのでしょうか？十分な速さで建設できるのでしょうか？
データセンターの供給過剰についてお話ししましたが、データセンターを建設するには時間がかかります。つまり、モデルを訓練する場合、約6ヶ月で償却したいと考えます。チップを展開する場合は3〜5年を考えます。私たちはより3年側で、他は5年側です。
データセンターを建設する場合は、おそらく10〜15年を考え、発電所の場合は15〜20年を考えます。業界の問題は、これらの資金調達とニーズの間のミスマッチにあります。
モデルを訓練したい人は6ヶ月でこれを行い、なぜチップに3〜5年のコミットメントが必要なのか理解できません。そしてチップを展開する人々は、なぜデータセンターに15〜20年のコミットメントが必要なのか理解できません。
今はデータセンターで7年になっていますね。
はい、そのような要求をしています。エコシステム全体を通じて完全なミスマッチがありますが、面白いのは、彼らが全くリスクを取りたくないにもかかわらず、他方では長期のコミットメントで主権基金レベルの信用格付けを求めていることです。
支払期間が長いほど、インフラはより汎用的になります。モデルはかなり特定の用途を持ちますが、LPUやGPUのような加速器は、生成AIやLLM以外のことにも使用できます。データセンターは加速器以外のことにも使用でき、電力は何にでも使用できます。
こちらでは最小のリスクを求めているのに、リスクが最も少ない場所なのです。なぜなら、AIに使用しないなら、全ての電気自動車に電力を供給するために使用できるからです。
これは、データセンタープロバイダーが要求する期間に対応できる唯一の存在として、既存企業が有利な立場にある事例ですか？
そしてこれが、私たちがアラムコやサウジアラビアの新しい事業体とパートナーシップを組んだ理由です。彼らは長期的な視点を持ち、素晴らしい信用格付を持っています。つまり、聞いてください。
そして、資金を提供できると言う時、彼らは...これが誤解の理由です。人々は15億ドルの資金調達ラウンドだと思っていますが、そうではありません。
いいえ、私たちは15億ドルを調達したわけではありません。それは収益です。それは実際にはOpenAIの収益の約30%に相当します。その取引の構造について説明していただけますか？
はい、昨年から始まり、19,000のチップを展開しました。それを約51日で行い、今年は何ができるかという質問がありました。彼らは国内で多くの電力を集め、取引は彼らが私たちのチップをそのデータセンターまたはそれらのデータセンターに展開するための設備投資を提供し、私たちは稼いだお金に基づいて返済するという構造です。
これは債務とは少し異なり、彼らは上振れにも参加しますが、性質は似ています。しかし、私たちは前もって利益を出すので、これは収益となります。
それは、あなたたちができることをどのように変えますか？
もはや資本によって制限されることはありません。私たちがこれを行える独自の理由の1つがあります。グロックについてのある誤解があります。私たちが最低価格で収益を上げられないという論文が書かれましたが、実際には現在、非常にポジティブな貢献マージンを持っています。
私たちが知る限り、オープンソースモデルを実行して実際にお金を稼いでいる唯一の存在です。なぜなら、オープンソースモデルでは、誰もがUberのようにVC資金で市場シェアを獲得しようと競争しているからです。
一方、私たちはお金を稼いでいるので、これを一日中続けられると考えています。IRRも支払い、パートナーにもお金を稼がせることができます。
ここには別の部分もあります。私たちは独自のモデルプロバイダーとも協力しています。日曜日にLeapで最初のものを披露しました。Play AIとの音声モデルで、これもレベニューシェアですが、彼らはそこからお金を稼ぐことができます。一方、業界の他の多くは、モデルのコモディティ化により損失を出しています。
時間とともに、独占力が低下するにつれて価格を下げていくのか、それとも独占が増加するにつれて価格を上げていくのでしょうか？
私たちはマージンを同じくらいに保ちたいと思いますが、価格は下げたいと考えています。なぜならジーヴォンズのパラドックスに入り、人生が素晴らしくなるからです。私たちはスケールを目指しているからです。
AI時代における人間のエージェンシーを保持するために、私たちは世界で最も重要な計算プロバイダーの1つになる必要があります。2027年末までの目標は、世界のAIインファレンス計算の少なくとも半分を提供することです。
制約が全てないことを考えると、2倍以上になる可能性があると考えています。しかし、そこに到達するためには、非常に積極的に構築を進める必要があり、人々が私たちのモデルを実行し、私たちで実行されているモデルを使用しない言い訳を与えないようにする必要があります。
そして、私が何度もチームに繰り返し伝えていること、時々思い出させる必要があることは、私たちは指数関数的な成長を上回るペースで成長しており、指数関数的な成長を上回る成長をしているとき、どれだけの利益を出せるかは重要ではないということです。重要なのは市場での足がかりを得て、存在感を示すことです。
何がそれを妨げるでしょうか？
私たちは以前、誰かが私たちより低い価格を付けようとするのではないかと心配していました。しかし、これが懸念ではないことに気づきました。なぜなら、これほど多くのお金が投入されているので、人々は私たちで実行することでより少ない損失を望むでしょう。それは早い段階での大きな懸念でしたが、それに気づくまでは。
ザックが650億ドルをデータセンターに投資すると聞いた時、それは実際には何を意味するのでしょうか？
それは、以前言及したプロバイダーとのデータセンターで支払わなければならなかったマージンを全て内部化しているということです。フェイスブックはフルスタックを行っています。それはどういう意味でしょうか？
MetaはMetaは年間650億ドル、Googleは700〜750億ドルと言い、サティアはMicrosoftが800億ドルを使っていると言いました。そしてStargateもあります。
これは信じられないような金額ですね。
はい、このようなものは今まで見たことがありません。しかし、最終的な価値がこれほど明確な事例もありませんでした。
もし検索がどれほど成功するか分かっていたなら...覚えていますか？Googleは、Microsoftが検索でどれだけお金を稼いでいるかを理解し、それを複製しようとすることを恐れて、できるだけ長く非公開を維持しました。
彼らは公開した瞬間にBingが来ることを完璧に予測していました。今は誰もがAIにどれだけお金があるか知っているので、皆がそれを追いかけています。
あなたの言う「明確な価値」については完全に同意します。しかし、その価値は多くのプレイヤーの間で分散されているのか、それとも1〜2社に集中しているのでしょうか？
それはべき乗則に従います。経済の価値が大きければ大きいほど、1つの事業体が一方の端でとても大きくなり、支配してしまうリスクが高まります。MAGAで見られるようにです。予測可能で、経済が大きくなればなるほど、経済的結果の大きな変動が見られます。
現在、ハイパースケーラーの時価総額は全て同じくらいなのは奇妙です。1社が抜きん出て、さらに遠くに行くことを期待するところですが、なぜこれほど近い集団になっているのか理解できません。
では、その分布について考える時、それをどのように変えると考えていますか？
明らかにGroqは、MAG7の一員になりたい、世界で最も重要な企業の一つになりたいと考えているわけですが、そこに至る道筋をどのように見ていますか。
そこに到達する方法と、そこに留まる方法は全く異なります。スタートアップには、ライフサイクルの循環があります。最初のステージは、未解決の問題を解決することです。それがバイラルになり、成功する方法です。
二番目のステージはマーケティングのステージです。他の人々が自分たちの成果を真似しようとする段階です。彼らは自分で何か考えることができないので、広告やマーケティングで戦わなければなりません。消費財企業はしばしばそこで行き詰まり、棚のどこに置くかということの方が重要になってしまいます。
最後のステージは7つのパワーです。それらのいくつかを見つけ、本当に改善を始め、体系的な優位性を持つようになった段階です。そして次に何が起こるかというと、誰かが未解決の顧客の問題を解決し、このライフサイクルが続いていくのです。
今、GoogleはLLMが検索よりも優れているため、これをやり直さなければなりません。MAG7になる方法は、その未解決の問題を解決することから始まります。そこに留まる方法は、まず7つのパワーのうちの1つ、あるいは複数を見つけることですが、その後は破壊的イノベーションが起きたときに継続して戦い、顧客の問題を解決し続ける準備ができていなければなりません。
ここで使われている巨額の資金について触れましょう。これは良いバブルでしょうか。端的に言えば、紙面上では生産的に見えないかもしれませんが、実際には資本が生産的である今後10年から20年の信じられないような基盤を築くものなのでしょうか。それとも、単に巨額の資金が減価償却資産に焼却されているだけなのでしょうか。
巨額の資金が焼却されることは間違いありませんが、全体としては投資された金額以上のリターンが得られると私は賭けています。これが問題です。市場全体として見るか、個別の賭けとして見るかということです。
誰もが投資をしているとき、すべての企業が成功するわけではないので、必ず損失を出す人がいます。常に見られるのは、本当の技術の進歩や変化が起きているとき、早期に大規模な投資を受けて大成功を収める企業があり、そして他の全ての人々もそこに参入したがるということです。
AIチップやAIモデルから始まって、今ではAIのTシャツがあり、次にはAIのサーマルグリスができるでしょう。人々はただAIをあらゆるものに適用し始めるのです。次に知るところでは、AIのコンドミニアムができているでしょう。
トリックは、何が本物で何がそうでないかを見分けることです。本物のものがあるときには、必ず非常に迷惑な詐欺師たちが入ってきます。それは残念なことですが、人々が技術を理解し、何が本物で何がそうでないかを理解し始めると、最終的に彼らは一掃されます。そのため、教育を始めることが重要で、人々が教育されればされるほど、AIサーマルグリスのような物に投資することは少なくなります。
個別の賭けの中で、最も大きな資金の焼却につながるものは何でしょうか。
特定の誰かを名指しすることはしませんが、実際にはあらゆる分野で起こると思います。ケインズとビーのコンテストをご存知ですか。
いいえ。
ジョン・メイナード・ケインズという経済学者がいて、面白い例を出しています。これを説明すれば、VCについて知る必要のあることすべてが分かるでしょう。
雑誌に人間のモデル、つまり魅力的なモデルの写真がたくさん載っていて、部屋にVCがたくさんいます。彼らは最も美しいモデルが誰かに賭けることができます。最終的に、最も多くの金額が賭けられたモデルが勝者となります。そして、特定のモデルの顔に賭けた金額の割合に応じて、すべての金額のシェアを得ることができます。
もし、ドル建てで最も美しくないモデルに賭けた場合、その賭け金は勝者に賭けた人々に渡ることになります。これがソフトバンクが行っていた賭けのようなものでした。彼らはケインズの美人コンテストに勝てると考えていました。より多くの資金を投入すれば勝てると。
これは、マーケティングではなく、本当の技術的優位性がある場合、顧客の問題を解決している場合には問題があります。顧客の問題が解決されると、その後はマーケティングの人気コンテストのような状態になります。
今回は、VCで今まで起きたことのない異常な事態が起きています。競合他社も数十億ドルを調達している中で、数十億ドルを調達している人々を見かけます。通常、ケインズの美人コンテストには明確な勝者がいます。このような戦いはありません。「もう少し資金を入れなければ」「もう少し」「100億ドル入れなければ」「200億ドル入れよう」「5000億ドル入れよう」というような状況です。
ケインズの美人コンテストが完全におかしくなってしまい、これは今まで起きたことがありません。そのため、人々は今や対応の仕方が分からなくなっています。以前なら、誰かが10億ドルを調達したら「ああ、彼らが勝者だ」となっていましたが、今は10億ドルを持つ競合が3、4社いるので、誰が勝ち負けするのか分からない状況です。
孫正義が史上最大の資金を焼却することになるでしょうか。
ケインズの美人コンテストはもはや当てはまりません。利用可能な資金があまりにも広く分散しているためです。最高の製品を持つ人々が実際に勝者になると思います。なぜなら、誰もが資金を得ることができるからです。
しかし、勝者にとっても問題があるでしょう。雇おうとしていた従業員に、誰かが途方もない金額を提示するような問題です。今ではこれをよく目にします。彼らは勝者に貢献できたかもしれませんが、今は存在するはずのない、あるいは同じように勝つ可能性のある競合他社に貢献することになり、人材が分散してしまいます。
また、給与が非常に高い場合、どうすればよいでしょうか。これらの企業の一部では、ジュニアからミドルレベルで年間100万から200万ドルを見かけます。彼らは実際に素晴らしい生活を送っています。
広東省でDeepSeekや他の中国の代替企業で働いている人々も同じような素晴らしい生活を送っていると思いますか。
そうは思いません。彼らはずっと低い給与で、1日20時間働き、コンブチャも飲めていないと思います。
その通りです。我々には、最高額を提示しないというポリシーがあります。なぜなら、私たちは人々に給与ではなく、私たちを選んでほしいからです。入札戦で勝っても、次に誰かがより高い給与を提示してきたら、それだけで他の仕事に行ってしまいます。忠誠心もなく、ミッションを信じていないということです。
代わりに、私たちは「これを作り上げよう、これがあなたのチャンスです。素晴らしい人々と働けます」というところに焦点を当てています。チームと時間を過ごし、これらが一緒に働きたい人々かどうかを見てもらいます。正直に言えば、とにかく大金を稼げるので、それは問題ではありません。エクイティに賭けてください。成果に賭けてください。私たちと一緒にこれを価値あるものにしましょう。
このような考え方に賛同する人々は、はるかに管理しやすいです。なぜなら、彼らはミッション志向で、全員が同じことを望んでいるからです。コンブチャが欲しいからいるわけではなく、カプチーノマシンが壊れたからといって文句を言うこともありません。隣でコーヒーを買えばいいだけです。
あなたとNVIDIAはモデル提供者になりますか。誰もがモデル提供者がアプリケーション提供者になると話していますが、インフラ提供者はモデル提供者になるのでしょうか。
私たちは自社のモデルをトレーニングしないことを決めました。特定のケースについて少しファインチューニングすることはありますが、競合はしたくありません。これは非常に重要です。なぜなら、人々は重みを含むモデルを私たちのプラットフォームに置いているからです。彼らは私たちがそれを学習して自分たちの利益のために使うことを望んでいません。
これは、ハイパースケーラーと協力する際の問題です。彼らはあなたがやっていることすべてを自分たちもやっているからです。そのため、私たちはモデル提供者がモデルを作り、私たちはそれはしないと決めました。
また、ユーザーのクエリに関するデータの側面もあります。私たちができるけれどもしていないもう一つのことは、クエリをログに記録し、トレーニングのためのデータを得ることです。私たちはトレーニングをしません。データを保持する理由がないのです。
私たちは一時的にDAMにのみ物事を保存します。永続的なストレージはありません。電源が切れれば、すべてが消えます。DAMには制限があるので、長期間物事を保持することはできません。つまり、私たちはあなたのデータを持っていないということです。
私たちのプラットフォーム上でビジネスを構築している人々は、もちろん顧客からのデータを保持することができます。それは私たちにはコントロールできませんし、それで構いません。しかし、私たちはデータを取得しません。
NVIDIAがモデル提供に進出すると思いますか。
可能性はありますが、私が彼らならば避けると思います。なぜなら、自分の顧客と直接競合したくないからです。
NVIDIAはトレーニングで素晴らしい成果を上げています。それは素晴らしいことです。それは、自動車会社が自社のタクシーサービスを作るようなものです。顧客と直接競合することになります。
テクノロジー企業はこれを好みます。私たちには経営哲学があり、それはビッグO複雑性に基づいています。私たちは従業員数が線形以下でできることだけを行います。
つまり、誰かが「これをするために10人必要です」と言ってきた場合、多くの人は「なぜ5人でできないのか」と言うでしょう。私は「顧客をサポートするのに、顧客数が2倍になったら20人必要なのか、それとも11人で済むのか」と尋ねます。なぜなら、その成長率を知りたいからです。彼らはすべてを自動化しているのでしょうか。
私たちは完全にコンパイラを自動化しました。クラウドの大部分など、すべてを自動化しました。つまり、小さなチームでスケールできるということです。
私たちには300人の従業員がいます。300人で、自社のチップを作り、ネットワークのハードウェアとソフトウェアを作り、ランタイムを作り、オーケストレーションレイヤーを作り、コンパイラを作り、クラウドを作りました。このすべてを300人で作り上げました。
これを少人数でしかできない理由は、コミュニケーションのオーバーヘッドがないからです。しかし、定数と変数を決める必要があります。何を保持したいのかということです。定数の一つは人材密度です。私たちは小規模でアジャイルでいたいと考えています。
もう一つの側面は、成長が問題だということです。私たちは成長を「問題単位」で測定しています。問題単位とは、何かが3倍になるたびに、前回3倍になったときと同じ数の問題が発生するということです。
従業員が100人から300人に、300人から1000人に、1000人から3000人に増えるとき、それぞれに同じ数の問題が発生します。
私たちは昨年初めの620または640のLPUから40,000に拡大しました。これは4つの問題単位、つまり4回のチップ数の3倍化です。もし従業員数も3倍にしていたら、それはさらに別の問題単位になっていたでしょう。
経営陣のキャパシティには限界があります。解決できる問題の数には限りがあるので、どこに配分するかを決める必要があります。最初から物事を本当にうまく構築し、現在の従業員数でスケールアップできれば、ここでスケールできます。顧客数を3倍にしたい場合、それは解決しなければならない別の問題単位です。
そのような速度でスケールしているとき、チームが同時にスケールしていない場合の最大の課題は何ですか。
初期の人材が仕事に適していて、後から来た人材は企業的な環境により適しているという一般的な考え方があります。私はそうは思いません。常にジェネラリストを採用するよう努めるべきです。
そうしないと、特定の人が知っている方法でしか物事ができないため、行き詰まってしまいます。しかし、スタートアップで燃え尽きる人もいます。スタートアップにいることは大変で、文字通り燃え尽きてしまう人もいます。
また、その時点で得られる最高の人材もいますし、管理不能な野生児のような人もいます。彼らは別のスタートアップを始めるべきで、あなたと一緒にスケールすべきではありません。そういうことは起こりますが、それは稀なケースです。
十分な規模になったので、能力の劣る人材を雇うというのは、怠慢で言い訳です。それはビジネスモデルとスケールする方法のアルゴリズムにおける創造性の欠如です。
このように考えてみてください。ウォルマート対アマゾンです。ウォルマートが顧客数を2倍にしたい場合、店舗数と従業員数を2倍にする必要があります。アマゾンはウェブサイトの数を2倍にする必要はありません。これは根本的な優位性です。
しかし、アマゾンでもロジスティクスを2倍に改善する必要があります。線形にスケールしなければならない問題がすべてあるわけではありませんが、いくつかはあります。
アマゾンを破壊したいなら、完全にロボット化されたロジスティクスシステムを構築し、そのオーバーヘッドと複雑さを下げることで、彼らを出し抜くことができます。このように考える必要があります。ただ「より多くの人が必要だ」と言うのではなく、ビジネスのアルゴリズムに焦点を当てるべきです。
前回の対話で、DeepSeekについて話しました。この数週間で、彼らのイノベーション、使用した蒸留技術などについて、より多くのことが明らかになってきました。中国は今日、私たちより優れている分野はどこですか。
私たちが議論したように、彼らは使うべきではないものを使うことにより寛容です。OpenAIのモデルを蒸留したという意見があります。多くの人が「OpenAIもインターネットをスクレイピングしていたのだから、DeepSeekは正しい」と考えています。
しかし、それが正しいか間違いかに関わらず、ほとんどのモデル提供者はそれを越えたくない一線と考えていました。それが変わるかどうかは分かりませんが、変わるかもしれません。
しかし、オープンソースの性質を持つDeepSeekは、彼らが行ったイノベーションからOpenAIも恩恵を受けることになりますよね。
ええ、そしておそらく彼らはDeepSeekが支払って生成したすべてのデータも持っているでしょう。でも、彼らは賢かったです。イノベーションを起こしました。最も重要なことは、これが中国のモラルを高める刺激剤となったことです。
しかし、これは先ほど言ったように「スプートニク2.0」です。アメリカも完全に目覚めました。
中国が約束した1280億ドルと比べて、Stargateをどのように評価しますか。
中国はより複雑な状況にありますが、同時にシンプルでもあります。問題は、彼らは私たちが持っているような効率的なチップ技術を持っていないことです。
一方で、彼らには規模があります。150基の原子力発電所を配備したいと思えば、それは計画の一部だと思いますが、大したことではありません。彼らはただそれを実行するだけです。
チップの効率が良くなければ、より多くのチップを配備すればいいのです。しかし、ファーウェイがネットワーク機器で行ったように、世界中にチップを配備したい場合は複雑になります。なぜなら、世界中の人々は、より電力を消費する加速器を動かすための電力を持っていないからです。
国内では問題ないと思いますが、拡大しようとする際に問題になると思います。
中国はすべてにおいて不透明です。中国について私たちが知らないが、知りたいことは何でしょうか。
最も重要なことは、これらのモデルの検閲とプライバシーについて、彼らがどこに落ち着くかを理解することです。私たちは民主主義国から来ていて、企業が何でも言えるものを作れるという期待があります。
彼らはモデルが間違いを犯したり幻覚を見たりすることを許容するのでしょうか、それとも抑制するのでしょうか。なぜなら、これが分かれば、中国にチャンスがあるかどうかが分かると思います。
彼らの最大の悪夢の一つは言論の自由です。これは私たちが先ほど話した脆弱性とまさに正反対です。習近平が出てきて「私たちはAIの優位性を失った。皆さんの助けが必要です」と言うことを想像できますか。
決してそんなことはありません。常に「私たちは最高で最強だ」と言うでしょう。誰もが違うことを知っているでしょうが、党の路線に従わなければなりません。
そのため、これらのモデルに何でも言わせることは、彼らにとって本当に難しいと思います。「アメリカは素晴らしく、この点で優れている」というようなことは、彼らにとって悪いことです。
これが、中国のAIストーリーについて多くを語ることになります。もし彼らがより開放的で真実を語るモデルを許容しないなら、本質的に不利な立場にあるということです。
あなたは「見てください」と言っていますが、CCPと問題を起こしたのは馬雲でしたよね。
もし彼らがより許容的でないなら、中国のテクノロジー企業を経営している人は、馬雲のようになることを恐れることになります。これは本当にイノベーションを妨げることになります。
もし今、中国にいたら、出口を探すでしょう。もしAIが自分の専門分野なら、それをサポートしてくれる場所でやりたいと思います。
彼らがBlackwellにアクセスできないというのを本当に信じていますか。これは中国ですよ。習近平が「ごめんなさい、Blackwellはありません」と言うとは思えません。
物理的にそれを持っているかどうかは重要ではないと思います。なぜなら、今はほとんどのクラウドプロバイダーがクレジットカードを使えば喜んでレンタルしてくれるからです。
しかし、レンタルには制限があります。
いいえ、私は...今の懸念の一つは、マレーシアやシンガポール、その地域が、「中国にはレンタルしない」というウインクつきでGPUを配備している場所になっているということです。
多くの人々がそうしているという考えがあります。そうでなければ、その地域にはかなり多くのGPUがあることになります。
これは、ハイパースケーラーで急にタップが閉じられた場合の、さらなるセーフティネットのように感じます。なぜなら今は、どのハイパースケーラーにもチェックを書いて「これらのチップが必要です」と言えば、それらを配備してくれて、どこから来ているかは本当に問題ではないからです。
制裁対象国でなければ。中国は制裁対象ではありません。
では、中国はイノベーションと実際に競争に参加していることを証明する点で明らかに存在感があり、アメリカがあり、そして衰退しているように見えるヨーロッパがあります。これはヨーロッパの棺桶に最後の釘を打つことになるのでしょうか。
私たちはGrockがほとんど死にかけたけれど、正しい技術は常にあった、ただLLMが到来するのを待っていただけだという話をしました。ヨーロッパも非常によく似ていると思います。
ヨーロッパには素晴らしい人材、本当に素晴らしい人材がいます。しかし、その人材はアメリカや他の場所に流出してしまいます。そこで問題は、ヨーロッパのLLMの瞬間をどのように作り出すか、どのように自分たちを位置づけるかということです。
それはそれほど複雑ではありません。問題は、あなたは周りの5人の親しい友人の平均になるということです。もしあなたの5人の親しい友人が「それは絶対に成功しない」「仕事を続けるべきだ」「スタートアップは最悪だ」と言うなら、リスク回避的になります。
しかし、もしあなたの5人の親しい友人が「やるべきだ」「素晴らしい」「私はあなたをサポートする」と言えば、スタートアップを始める可能性が高くなります。
シリコンバレーでさえ、大手テクノロジー企業からスタートアップへの移行は難しいものです。彼らは快適で、あの途方もない給与をもらっていて、大企業は彼らの面倒を見てくれます。家族に対する受託者責任もあります。
どうやってそのジャンプができるのでしょうか。それは、多くの起業家が彼らを雇おうとしていて、常にピッチを聞いていて、それに慣れているからです。また、周りの成功も目にしています。
そして、VCも初期段階で候補者を説得しようとしています。ヨーロッパにも同じものが必要です。起業家精神を持つ人々、リスクを取る人々に囲まれた場所が必要です。スタートアップに参加することを人々に思いとどまらせようとする人々ではありません。
規制の観点から見ると、ヨーロッパは規制のマスターとして信じられないほど効率的です。先日、EUがAIの安全性と監視のために1500人を雇用したという話を聞きました。
ヨーロッパのAI規制の責任者になったら、何をしますか。
存在しないものを規制することに時間を無駄にしないでしょう。規制する代わりに、何を促進するのか。リスクテイクを促進したい、リスクを取る人々の飛び地を促進したいと思います。
昨日、Station Fを訪問しました。素晴らしかったです。マクロンもいて、人でいっぱいでした。活気がありました。Station Fを運営しているロクサンヌと、また、グザビエ・ニールと話をしていました。
ロクサンヌとは、City F、つまり中心部に最初から1万人くらいの人々がいる場所について話しました。それが一杯になったら拡大し、また一杯になったら拡大する。そうして、ヨーロッパでリスクを取る100万人の人々に到達するまで。小さなシリコンバレーをここに作るのです。
特別な経済的な優遇措置を与え、雇用者が必要とするすべてを許可し、シンプルにします。そして「もしそれを受け入れたくないなら、それはそれでいい。フランスの他の地域やヨーロッパの他の地域に行けばいい。しかし、人類史上最大の技術革命に参加したいなら、これがその都市だ」と言うでしょう。
つまり、本質的に既存企業を罰することになりますね。例として、AIの保険引受人のスタートアップがたくさんあって、彼らにそのような恩恵を与えることは、その地域の最大の保険提供者の一部を本質的に罰することになります。20万人を雇用している人々を本質的に罰することになります。それは不公平に感じます。
特に怠惰な既存企業、破壊的イノベーションに反応していない企業には、既得権はありません。破壊を奨励したいのです。これはシリコンバレーの特徴の一つです。ある場所から別の場所に移動できます。
私が始めたときは非競争契約がありましたが、それさえもなくなりました。人材の自由な移動は非常に重要です。その地域では、文字通り翌日から仕事を始めることができると言いたいと思います。
それは素晴らしいですね。我々は6ヶ月待たなければなりません。
企業にとって良くありません。ポーチングが難しくなるので良いように見えるかもしれませんが、何が起こるでしょうか。賃金が抑制され、誰かを雇うのが難しくなり、移動する可能性が低くなり、競争が少なくなります。賃金が抑制されます。
そして、いずれにせよ企業は6ヶ月分の給与を支払わなければなりません。まったく意味がありません。
私は完全に理解できます。あなたが「リスクを取る」ということについて触れましたが、ヨーロッパ人として、最初に「安全性と規制」を考えてしまいました。
特に安全性について、ダリオは最近、安全性のことばかり話しています。正直に言って、彼の競合他社が製品について話している中で、安全性に焦点を当てすぎることで、一歩後退してしまっているのではないでしょうか。
AIにおいて安全性は重要です。原子力発電のようなもので、多くの長所と短所があります。私はダリオが心配していることとは異なることを心配しています。
私は、人々が意思決定の権限を自発的に放棄することをより心配しています。なぜならそれが非常に簡単だからです。これは、AIの時代における人間の主体性を保持することについての意味です。
良い例えは、おそらく裕福な人々を知っていて、彼らが子供を育てる際の苦労を知っているでしょう。私はそれを「金銭的な糖尿病」と呼んでいます。成功するために努力する意欲のない子供たちです。
私は成長する過程で非常に恵まれていました。今日、初めてこの話をしたので、誰も聞いたことがない話ですが、私は父が何度も全財産を失ったことで幸運でした。
彼は10億ドルの生命保険契約を売り、そこからすべての手数料を得て、大金を手にしました。そしてそれをすべて使い果たしていました。2000万ドルの豪邸に住んでいたときがありました。
何度か、彼は配達の人と話をして、後で支払うから食べ物を渡してくれるように説得しなければなりませんでした。なぜなら、後でお金が入ってくるからです。
しかし、この時は彼があまりにも落ち込んで、オフィスに閉じこもって出てこなかったので、弟が私のところに来て、中華料理の配達の人と話をして、食べ物を渡してもらうように説得しなければならないと言いました。
私は精神的に準備をして、全力で説得しようと思っていましたが、配達の人のところに行くと、彼は私に食べ物を渡し、私が「今はお金がないんです」と言うと、「ああ、後で支払ってください」と言いました。
2000万ドルの豪邸に住んでいたので、何も説得する必要がありませんでした。しかし、これは何度も起こりました。
ホームレスを経験した友人がいます。数週間ホームレスだったのですが、彼は人生で最高の出来事だったと言っています。なぜなら、それを乗り越えたからです。
「これが世界で最悪のことだと常に考えていたけど、実際に経験してみると、乗り越えられることが分かった。もう心配していない」と言っています。
私たちは非常に快適な生活を送っています。あまりにも快適すぎます。ほとんどの人がそのような経験をする必要がありません。そのため、社会として一種の金銭的な糖尿病を抱えており、AIによってさらに悪化すると思います。
私たちは本当に豊かな時代に入っています。今や、食料の安全保障について心配する必要がある人はほとんどいません。しかし、住宅の安全保障について心配する必要がなくなったら、生計を立てる必要がなくなったらどうなるでしょうか。それはあなたの心理にどのような影響を与えるでしょうか。
豊かな時代に入るにつれて、人々がどのように自分で決定を下し、充実した人生を送るようにするかが問題です。
より良くなるのか、それとも「十分良い」で満足するようになるのでしょうか。つまり、今では大多数のスケジュールで、OpenAIから始めてDeepResearchを行い、そして異なるゲストに応じて異なるプロンプトを使用し、ChatとScooterやその他の人々との会話から得た大量の研究で補完します。
最初は「十分良い」レベルを目指し、その後で素晴らしいものにしていきます。参考文献もすべて付けています。ほとんどの人は実際に「十分良い」で満足し、それで済ませてしまうでしょう。人類社会として、「十分良い」で満足するようになるのでしょうか。
採用の際、私たちは「早期の勝利を確保する」と呼ぶものを重視しています。人々にとって最も重要な原動力の一つは損失バイアスです。何かを持っているとき、それを失いたくないと思います。
人々は、すでに持っていたものを追い求めることには消極的です。あなたは裕福な家庭で育ち、それを失ったかもしれません。それが原動力の一部かもしれません。なぜなら、そこに戻りたいと思うからです。
エンジニアを採用するとき、部屋に「これをすれば2倍速くなる」と言う人々がいたら、そのエンジニアには「これをしないと、できたはずの速度の半分になってしまう」という損失バイアスを聞いてほしいのです。
早期に勝利を確保してください。なぜなら、それは可能だからです。それはやらなければならないことです。これは人口の中でも小さなセグメントです。他の誰もができないような素晴らしいものを届ける人々です。なぜなら、他の人々は「それで十分だ」と思うからです。
しかし、AIでは、プロトタイプを作成して目立つことが非常に簡単です。それが必要になるでしょう。20年前のレストランの体験と今を比べてみてください。コミュニケーションがより自由になり、他の人々が何をしているかを見ることができるようになったことで、何が起こったでしょうか。
今の平均的なレストランは、20年前の高級レストランよりも優れています。なぜなら、人々は他者の最高のものを見て、それを期待し始めるからです。ローカライゼーションが少なくなり、グローバリゼーションが進むと、最高レベルで競争しなければなりません。AIも例外ではありません。
そのアプリを作る人が40人いるでしょう。際立つためには磨き上げる必要があります。
聞いて、私は一日中あなたと話せますが、クイックファイブをやりたいと思います。周りの人々が信じていないことで、あなたが信じていることは何ですか。
創業者モードに反対する立場を取りたいと思います。私は委任を信じています。人々に仕事の仕方を指示することは、必ずしもあなたの問題ではなく、その人がその仕事に適していないことを示している可能性があります。
その人を指示する方が、他の有能な人を見つけるよりも簡単ですが、それはまたあなたが彼らを適切に整列させていないことも意味します。
私たちはこのチャレンジコインを通じて人々を整列させています。Groqの全員がこの「毎秒2500万トークン」チャレンジコインを持っています。これは私たちが何をしているのかを全員に伝えるものです。整列のためのものです。
これを見せた多くの人々が「すごい」と言っていますが、誰も作っていません。重いコインです。
重いですが、人生で最も素晴らしいものは...
金ではないということですね。
そうです。周到な決定でした。なぜなら、私たちがやっていることすべてを、毎秒2500万トークンを達成するという非常にシンプルなメッセージに凝縮し、このわずかなスペースに刻印して、Groqの全員に渡さなければならなかったからです。
今では会議で何かがこれに役立たないとき、彼らはコインをテーブルに置いて「いや、それは違う方向だ」と言うことができます。
では、創業者モードについて、皆が間違っているのでしょうか。
それは、一緒に働く人材の質が不足しているときにすることだと思います。あなたと直属の部下との間に適切なギア比が必要です。
非常に不公平な質問ですが、聞かざるを得ません。イーロンのOpenAI買収の試みをどのように分析しますか。
私はエリゼ宮殿で、マクロンとの夕食会に出席していました。マクロン、JDヴァンス、サム・アルトマンがいました。正直に言って、イーロンはJDヴァンスの隣にサム・アルトマンが座っていることを少し妬ましく思ったのだと思います。
サム・アルトマンが話していた頃に発表があり、正直なところ、サムのツイートでの90億ドルについての返答は良かったと思います。私なら「ええ、Twitterを1株420ドルで公開しますよ」と言ったかもしれません。
注目を集めるためだったのです。一部の人々は注目を集められないと耐えられません。私の復讐は、できるだけ注目を与えないことです。次に進みましょう。
失敗することがないと分かっていたら、何をしますか。
私たちが製造できるすべてのチップの注文を100%入れるでしょう。今は需要が無限にありますが、3倍になるたびに同じ数の問題が見つかるので、慎重にやる必要があります。
しかし、どんな問題が発生しても、まったく安全である必要がないと分かっていれば、「よし、2000万個のチップを作ろう」とやるでしょう。
10年後、NVIDIAは3倍、10倍、それとも50倍になっているでしょうか。
彼らは大きくなると思います。数字は言えませんが。トレーニングはより重要になるでしょう。3倍になっても驚きませんし、同じくらいの規模のままでも驚きません。
物事がどこに向かっているのか予測するのは非常に難しいです。NVIDIAへの投資の多くの前提は、推論市場を含む市場全体を支配するだろうということでした。しかし、推論に適したものを作っていないのです。
ウェイトマシンとして、価値は上がるはずです。しかし、人気コンテストがあまりにも大きく影響するので、収益を成長させて現在の位置に到達する必要があるかもしれません。しかし、すべてを考慮すると、かなり公正な倍率だと思います。人気コンテストがすべてを歪めてしまいます。
他の人々が科学フィクションだと思うような、あなたのクレイジーなAI予測は何ですか。
今後10年で、これはクレイジーだと分かっていますが、私の体重減少の写真を見ましたよね。
信じられないですね。70ポンド？
70ポンドです。でも、モンジャロを使っていました。健康を害するほど太っている人を知っているなら、できるだけ早くモンジャロを使わせてください。効果があります。
モンジャロとは何ですか。
GLP阻害剤の一つです。最近人気になっている減量薬の一つです。効果があります。
しかし、私のクレイジーなAIの信念は、もし可能であれば、つまり加齢を大幅に遅らせるか止めることが可能であれば、おそらく今後10年でモンジャロの瞬間が来ると思います。
それは突然現れました。突然、体重を減らすことができるようになり、ついに何かが効果を発揮し、多くの人々にとって効果がありました。おそらく体重を減らした人をたくさん知っているでしょう。
その通りです。加齢を遅らせるか止めることが可能かどうかは分かりません。摩耗は現実のものであり、単に不可能かもしれません。しかし、もし加齢を遅らせるか止めることが可能であれば、今後10年でそれを実現すると思います。それはモンジャロのような瞬間になるでしょう。
医学研究の進歩を見ると、少なくとも寿命を60年延ばすことは可能だと思います。ダリオが150歳まで生きることは、不可能とは思えません。
私もそう思います。しかし、それが可能かどうかも分かりません。分かるまでは、その条件付きの言い方を続けて、「もし可能なら」と言い続けるつもりです。
過去12ヶ月で、あなたが考えを変えたことは何ですか。
これはメンタルな面というよりも感情的な面ですが、私たちは7年間プロダクトマーケットフィットを得られませんでした。それは本当に厳しいことでした。モラルという面で。プロダクトマーケットフィットを見つけると、世界はより明るく見え、鳥のさえずりが聞こえ、人々を抱きしめたくなります。
眠れるようになりました。人生は良くなります。タイプ1とタイプ2の幸福について話していたのがあなたか誰かは忘れましたが、創業者として得られる第3のタイプの幸福があると思います。それは未来の幸福です。
他の2つの一般的なものは、現在が幸せであることと、本当に大変なことを経験したけれど、その記憶が幸せをもたらすということです。つまり、過去、現在、そして未来です。
創業者として、あなたは100%未来の幸福の中で生きています。プロダクトマーケットフィットを得ると、過去の幸福を得始めます。そして収益などが入ってくると、現在の幸福も得られるようになります。それはすべてを変えます。
それは素晴らしいですね。Groq以外で、AI時代を定義する一社に賭けるとしたら、どの企業を選びますか。
おそらく、まだ聞いたことのない企業に注目するでしょう。具体的な企業は分かりませんが、彼らが何をするかは言えます。それぞれが何になるかも分かります。
最初の企業は幻覚の問題を解決する企業です。2番目は、エージェントAIのサブゴールを最もうまく分解できる企業です。幻覚の問題を解決した後にエージェントが来ると思います。なぜなら、そうでなければ幻覚を導入できる長いチェーンができてしまうからです。
ある程度は機能しますが、幻覚の問題を解決した後の方がずっとうまく機能するでしょう。次は私が「発明」段階と呼ぶものです。現在のLLMの仕組みは、最も確率の高い予測をすることです。
実際にはかなり驚くべきことです。小説全体を取り、あなたを削除して、探偵が「そして殺人者は」と言うところまで来た探偵ミステリーがあるとします。それを予測できるのです。すべてを理解しなければなりませんでした。
しかし、最も確率の高い答えを出すことは、発明やアート、文章には適していません。LLMの文章が酷いのは、予測可能だからです。
どうやって非明白だけれど、見れば明白なことを言うのでしょうか。私たちには適切な言葉さえありません。非明白だけれど明白なこと。それが発明を解き放ちます。
そして最後は、私が「プロキシ」段階と呼ぶものです。モデルがあなたの代わりに決定を下すことができるようになったときです。決定をプロキシできるようになります。
このインタビューを行うという決定のように。他のことをキャンセルし、フライトを予約し、ライドを手配する必要がありました。あなたはEAやチーフ・オブ・スタッフにその決定を任せることはできますが、LLMには任せられません。
これが汎用AIに到達する前の最後の段階だと思います。しかし、それを実現する各企業が、時代を定義する企業になるでしょう。
質問してもいいですか。幻覚を修正してから効率的なエージェントが来ると言いましたが、それはAGIに投資されるお金が無駄になるということですか。
いいえ、例を挙げましょう。幻覚の例として、医療診断と法律の2つの分野を挙げました。これらは幻覚がなくなった後に解放される分野です。
しかし、Perplexityのようなスタートアップは、幻覚があっても今でもうまくやっています。なぜなら、リスクが低く、エンターテインメント目的だからです。リンクをクリックして確認することができ、それなりに機能します。
あなたがいる業界のリスクの高さによって、早期に波に乗るためのポジショニングを始められるかどうかが決まります。私たちは7年間適切なポジションにいて、波が来ました。そのお金は無駄にはなっていません。
実際、最近発表した契約は、私たちが調達した金額以上の収益になります。
その資金はどのように入ってくるのですか。今年中に分割して入ってくるのですか。
今年中です。来年はもっと増える可能性があります。
3年後、その契約はどうなっているでしょうか。
今年可能な限りすべてを売れば、数十億ドルになります。来年のハードウェアの容量だけでも、このような契約で数百億ドルの容量があります。
しかし、私たちは高ボリューム低マージンでやっています。GPUの販売とGPUの価格について話すなら、数千億ドルになるでしょう。私たちはそれほどの価格を請求していません。
最後の質問です。私が最も期待していることは、実は病気の発見、つまり薬の発見です。私の母はMSを患っていて、それは治らないと言われていました。しかし今では、実はそうではないかもしれないと。あなたが最も期待していることは何ですか。
私たちはハードウェアエンジニアから、ソフトウェアエンジニアの時代に移行しました。ハードウェアエンジニアになることは信じられないほど難しいことです。必要なトレーニング、物事を正しく行う必要性、間違えた場合の本当のコストがあります。
ソフトウェアエンジニアになることは、はるかに簡単になりました。マシンで少し時間を過ごすだけで、自分で学ぶことができます。今では、インターネットからマニュアルやチュートリアルをダウンロードできます。
プロンプトエンジニアリングは、人類社会の大きな変化を解き放つと思います。アフリカには13億から14億の人々がいて、彼らは話すことができます。もし彼らに、話すだけでアプリケーションを作れるツールへのアクセスを与えたら、それは新たな13億から14億人の潜在的な起業家になります。
世界には80億人の人々がいて、その違いは、ハードウェアが信じられないほど難しく、得るのが難しい秘伝の知識だったということです。ソフトウェアは豊富にあり、言語は既に知っています。何も学ぶ必要はありません。
これはベンチャーに何をもたらすでしょうか。起業家精神に何をもたらすでしょうか。
ジョナサン、あなたと話すのは本当に楽しいです。いつも幅広い話題について議論できます。直接お会いできて、本当にありがとうございます。
素晴らしかったです。ここに来られて嬉しいです。