NVIDIA Q3 2024 Earnings Conference Callスケーリングの問題解説

解説：

C.J.ミューズ -- アナリストはスケーリングが停滞しているかと質問しました。
Jensen Huangはトレーニングばかりか推論にスケーリングが有効であることが証明されていると述べました。

以下Q&A

回線は開いています。

C.J.ミューズ -- アナリスト

はい。こんにちは。質問にお答えいただきありがとうございます。大規模な言語モデルのスケーリングが停滞しているのではないかという議論についてお聞きしたいのですが。

もちろん、まだ始まったばかりですが、この点についてのご意見をお聞かせください。
このような問題に取り組んでいる顧客をどのようにサポートしていますか？
また、Blackwellの恩恵をまだ受けていないクラスタについて議論しているのも、この文脈の一部です。
Blackwellの需要がさらに高まっているのでしょうか？ありがとうございました。

ジェンセン・ファン -- プレジデント兼最高経営責任者

私たちの基盤モデルであるプレトレーニング・スケーリングはそのまま継続されています。ご存知のように、これは経験則であって、基本的な物理法則ではありません。
しかし、その証拠にスケーリングは続いています。しかし私たちが学んでいるのは、それだけでは不十分だということです。

ひとつはトレーニング後のスケーリングだ。
もちろん、最初の世代のポストトレーニングは強化学習による人間のフィードバックでしたが、

今では強化学習によるAIのフィードバックや、ポストトレーニングのスケーリングを補助するあらゆる形態の合成データ生成データがあります。

そして最も大きな出来事であり、最もエキサイティングな開発のひとつが、Strawberry、ChatGPT o1、OpenAIのo1です。

これは推論時間のスケーリング、いわゆるテスト時間のスケーリングを行います。思考時間が長ければ長いほど、より優れた、より質の高い答えが得られます。

そして、思考の連鎖やマルチパスプランニングのようなアプローチや、反射に必要なあらゆる種類のテクニックなどを考慮する。

そしてそれは......直感的には、私たちがあなたの質問に答える前に頭の中で考えるのと少し似ている。

そして、私たちは今、スケーリングの3つの方法を持っていて、3つの方法すべてを見ています。その結果、私たちのインフラに対する需要は本当に大きくなっています。

現在、前世代の基盤モデルは10万台ホッパーでした。
次の世代は10万台のブラックウェルズから始まります。

これは、業界が学習前のスケーリング、学習後のスケーリング、そして現在非常に重要な推論時間のスケーリングに関して、どのように動いているかを示しています。このような理由から、需要は非常に大きいのです。

しかし同時に、推論が本当にスケールアップし始めていることを私たちは目の当たりにしています。

インストールベースが非常に大きいため、現在、当社は世界最大の推論プラットフォームとなっています。AmperesとHoppersでトレーニングされ、すべての推論は、信じられないほどAmperesとHoppersで行われています。

そして、基礎モデルのトレーニングのためにBlackwellsに移行すると、その背後には、推論のための並外れたインフラの大規模なインストール・ベースがあります。

そのため、推論需要が増加しています。推論時間のスケーリングも増加しています。
AIネイティブ企業の数は増え続けている。そしてもちろん、エージェント型AIの企業への採用も始まっています。

このように、さまざまなところから多くの需要が寄せられています。