BG2 nvidia ジェンスン・フアン　インタビュー記事

キラ

2024年10月14日 10:51

【要約】

AIの進化と影響:
• AIの能力は急速に進化しており、個人アシスタントのような形で近い将来実現される可能性がある。
• AIは様々な産業や科学分野ですでに革命を起こしている。
• AIの影響は広範囲に及び、仕事の在り方や生産性を大きく変える可能性がある。
NVIDIAの技術と戦略:
• NVIDIAは単にGPUを作るだけでなく、AIインフラ全体を構築している。
• 彼らは毎年新しいアーキテクチャを開発し、パフォーマンスを2-3倍向上させている。
• NVIDIAのアプローチは市場シェアの獲得ではなく、新しい市場の創造に焦点を当てている。
コンピューティングの再発明:
• NVIDIAは並列処理とアクセラレーテッドコンピューティングを通じてコンピューティングを再発明した。
• これにより、10年間で計算コストを10万分の1に削減することができた。
オープンソースvsクローズドソース:
• Jensen Huangは、オープンソースとクローズドソースの両方が重要だと考えている。
• オープンソースは多くの産業でAIの活用を可能にし、クローズドソースはイノベーションを維持するための経済モデルを提供する。
推論とトレーニング:
• 推論の重要性が増しており、将来的にはトレーニングよりも大きな成長が見込まれる。
• NVIDIAは推論の効率を高めるための新しいアーキテクチャを開発している。
AI安全性と規制:
• AI安全性に関する取り組みは過小評価されている。
• 規制は重要だが、主にアプリケーションレベルで行われるべきだと考えている。
NVIDIAの企業文化と未来:
• NVIDIAは効率性と創造性のバランスを重視している。
• 将来的には人間の従業員とAIアシスタントが協力して働く環境を想像している。
生産性と経済成長:
• AIは生産性を大幅に向上させ、経済成長を加速させる可能性がある。
• これは過去200年間の技術革新による繁栄の延長線上にあると考えられている。
これらのテーマは互いに関連し合っており、NVIDIAのビジョンとAIの未来に対する洞察を提供しています。

【本編】

Jensen、素敵な眼鏡ですね。
やあ、そうですね、あなたも。
お会いできて嬉しいです。
ええ、私も醜い眼鏡をかけていますよ、あなたと同じように。
いやいや、それは醜くありませんよ。

これらはかなり良いですよ。

赤いほうが好きですか?

あなたの家族しか愛せないようなものですね。

(笑い)

さて、10月4日の金曜日です。

私たちはNVIDIAの本社にいます、Altimeterのすぐ近くです。

ようこそ。
ありがとうございます、ありがとうございます。

そして月曜日に我々の投資家ミーティングがあります。

年次の投資家ミーティングで、AIの影響について議論し、

どれほど速く知能がスケールアップしているかについて話し合います。

そして、これを始めるのに、あなた以上に適任な人はいないと思いました。

ありがとうございます。
株主として、また思考のパートナーとして、

アイデアを交換し合うことで、私たちはより賢くなります。

そして、この友情に感謝しています。

ここに来ていただき、ありがとうございます。

ここに来られて嬉しいです。
ご存知の通り、今年のテーマは

AGIに向けた知能のスケーリングです。

2年前に我々がこれを行ったとき、

AIの時代をテーマにしました。

それはChatGPTの2ヶ月前でした。

そしてこの変化のすべてについて考えると、本当に驚くべきことです。

そこで、思考実験と予測から始めたいと思います。

私がAGIを口語的に考えるとき、

それはポケットの中の個人アシスタントのようなものです。

(笑い)

AGIを、ポケットの中のそのような口語的なアシスタントとして考えるとき。

そうですね。

はい。
私のことをすべて知っているアシスタント。

私についての完璧な記憶を持ち、

私とコミュニケーションを取り、

ホテルを予約したり、

あるいは医者の予約をしたりできるものです。

今日の世界の変化のスピードを見たとき、

いつ我々はそのような個人アシスタントをポケットに入れることができると思いますか?

すぐに、何らかの形で。
はい。
はい、すぐに何らかの形で実現するでしょう。

そしてそのアシスタントは時間とともに改善されていくでしょう。

それが我々が知っているテクノロジーの素晴らしさです。

そして、私は最初のうちはかなり有用ですが、完璧ではないと思います。

そして、時間とともにより完璧になっていくでしょう。

すべてのテクノロジーがそうであるように。

変化の速度を見ると、

イーロンが言ったように、

本当に重要なのは変化の速度だけだと思います。

まさにその通りです。
確かに我々には、変化の速度が劇的に加速し、

これまでに見たことのない最速の変化の速度であるように感じられます。

なぜなら、我々はあなたのように10年以上AIの周辺にいたからです。

あなたはさらに長くいました。

これはあなたのキャリアの中で見た中で最速の変化の速度ですか?

そうですね。なぜなら、我々はコンピューティングを再発明したからです。

ご存知の通り、これらの多くのことが起こっているのは、

我々が10年間で計算の限界コストを100,000分の1に下げたからです。

ムーアの法則であれば約100倍でした。

そして我々はいくつかの方法でそれを行いました。

1つは、加速コンピューティングを導入し、

CPUでは非常に効果的ではない作業を

GPUの上に載せることでした。

我々は新しい数値精度を発明しました。

新しいアーキテクチャを作り、テンソルコアを発明しました。

システムの構成方法、NVLink、

非常に高速なメモリであるHBMを追加し、

NVLinkとInfiniBandでスケールアップし、

スタック全体にわたって作業を行いました。

基本的に、NVIDIAがどのようにことを行うかについて私が説明したすべてのことが、

スーパームーアの法則のイノベーション率につながりました。

さて、本当に驚くべきことは、

その結果として、

我々は人間のプログラミングから機械学習に移行したことです。

そして機械学習の驚くべき点は、

機械学習が非常に速く学習できることがわかったことです。

そして、我々がコンピューティングの分配方法を再構成したように、

我々はあらゆる種類の並列処理を大量に行いました。

テンソル並列処理、パイプライン並列処理、

あらゆる種類の並列処理です。

そして我々はその上に新しいアルゴリズムを発明することに長けるようになりました。

新しいトレーニング方法も開発しました。

そしてこれらすべての発明が互いに積み重なっていきました。

その結果として、ご理解いただけますか?

そして昔は、

ムーアの法則がどのように機能していたかを見ると、

ソフトウェアは静的でした。

そうですね。
それは事前にコンパイルされ、パッケージ化され、

店頭に置かれ、静的なものでした。

そして下にあるハードウェアはムーアの法則のペースで成長していました。

今では、スタック全体が成長しています。

スタック全体にわたってイノベーションが起こっています。

そして、私はそれが、

突然我々がスケーリングを目にしている理由だと思います。

もちろん、それは非常に素晴らしいことです。

しかし、以前は事前にトレーニングされたモデルについて話し、

そのレベルでのスケーリングについて話していました。

そして、モデルサイズを2倍にし、

したがって適切にデータサイズを2倍にしていました。

その結果、必要な計算能力は

毎年4倍のペースで増加していました。

そうですね。
それは大きな出来事でした。
そうですね。
しかし今、我々はトレーニング後のスケーリングを目にしています。

そして推論時のスケーリングも目にしています。

そうですよね?

そうですね。
そして、人々は以前、事前トレーニングは難しく、

推論は簡単だと考えていました。

今では、すべてが難しくなっています。

そうですね、そうですね。
それは理にかなっています。

人間の思考のすべてが一発勝負であるという考えは

少し馬鹿げています。

したがって、速い思考と遅い思考、推論と省察、

反復とシミュレーションなどの概念が必要に違いありません。

そして今、それが入ってきています。

はい。

私はその点について、

NVIDIAの本当の堀の深さが

最も誤解されていることの1つだと思います。

人々の間には、誰かが新しいチップ、より良いチップを発明すれば、

彼らが勝利したという考えがあります。

しかし真実は、あなたは過去10年間、

GPUからCPU、ネットワーキング、特にソフトウェアや

アプリケーションがNVIDIA上で動作することを可能にするライブラリまで、

フルスタックの構築に取り組んできました。

はい。
だから、私はあなたがそのことについて話したと思います。

しかし、今日のNVIDIAの堀について考えるとき。

はい。
今日のNVIDIAの堀は、3〜4年前と比べて

大きくなったのか、小さくなったのかどうか考えていますか?

まず、コンピューティングがどのように変化したかを

認識していただいてありがとうございます。

実際、人々が考えていた理由、そして多くの人々がまだそう考えている理由は、

より良いチップを設計すれば、

より多くのフロップス、より多くのフリップとフロップ、

ビットとバイトを持つということです。わかりますよね?

はい。
彼らのキーノートスライドを見ると、

これらすべてのフリップとフロップ、

棒グラフなどが載っています。

そしてそれはすべて良いことです。

つまり、見てください、馬力は確かに重要です。

はい。
したがって、これらのことは根本的に重要です。

しかし、残念ながら、それは古い考え方です。

ソフトウェアがWindowsで動作する

何らかのアプリケーションであり、

ソフトウェアが静的であるという意味で古い考え方なのです。

そうですね。
つまり、システムを改善する最良の方法は、

単により速く、より速いチップを作ることだけだということです。

しかし我々は、機械学習は人間のプログラミングではないことに気づきました。

機械学習は単にソフトウェアについてのものではありません。

それは全体的なデータパイプラインに関するものです。

実際、機械学習のフライホイールが最も重要なものなのです。

では、一方でこのフライホイールを可能にし、

他方でデータサイエンティストや研究者が

このフライホイールで生産的になれるようにすることについて、

どのように考えるべきでしょうか?

そしてそのフライホイールは最初の最初から始まります。

多くの人々は、AIを教育するためのデータをキュレートするのに

AIが必要だということさえ認識していません。

そしてそのAI自体がかなり複雑です。

はい。

そしてそのAI自体も改善されているのでしょうか?

それもまた加速しているのでしょうか?

再び、競争優位性について考えるとき、

これらすべてのシステムの組み合わせですよね?

その通りです、その通りです。

そしてそれはまさにそこにつながろうとしていました。

より賢いAIがデータをキュレートするおかげで、

我々は今や合成データ生成さえ持っています。

そしてデータをキュレートし、

提示するためのさまざまな方法があります。

そして、トレーニングに入る前に、

大量のデータ処理が関与しています。

そして人々は、ああ、PyTorch、

それが世界の始まりと終わりだと考えています。

そしてそれは非常に重要でした。

しかしPyTorchの前にも作業量があることを忘れないでください。

PyTorchの後にも作業量があります。

そしてフライホイールについて本当に考えるべき点は、

このフライホイール全体についてどのように考えるべきかということです。

そして、このフライホイールをできるだけ効果的にするために、

コンピューティングシステム、

コンピューティングアーキテクチャをどのように設計するかについてです。

それはアプリケーションの1つのスライス、トレーニングではありません。

理解できますか?

それはただ1つのステップに過ぎません、わかりますか?

そのフライホイールの各ステップが難しいのです。

そして最初にすべきことは、

Excelをどうやってより速くするか、

Doomをどうやってより速くするかを考えるのではなく、

それが昔のやり方でしたよね?

今はこのフライホイールをどうやってより速くするかを考える必要があります。

そしてこのフライホイールにはたくさんの異なるステップがあります。

そして機械学習について簡単なことは何もありません。

ご存知の通り、OpenAIやXが行っていること、

あるいはGeminiやDeepMindのチームが行っていることについて

簡単なことは何もありません。

彼らが行っていることについて簡単なことは何もありません。

そこで我々は決断しました。そうですね、
これこそが考えるべきことなのです。
これがプロセス全体です。
その全てを加速させたいのです。
Amdahlの法則を尊重したいのです。
Amdahlの法則は次のように示唆するでしょう。
もしこれが30%の時間を占めていて、それを3倍加速させたとしても、
プロセス全体をそれほど加速させたわけではありません。
理解できますか?
そして本当に、プロセスの各ステップを加速させるシステムを作りたいのです。
なぜなら、全体を行うことでのみ、
そのサイクルタイムを本当に大幅に改善できるからです。
そしてそのフライホイール、その学習の速度が
最終的に指数関数的な上昇を引き起こすのです。

つまり、私が言おうとしているのは、
会社の視点、何を本当に行っているかについての会社の視点が、
製品に表れるということです。
そして、私がこのフライホイールについて話してきたことに注目してください。

サイクル全体についてですね。
その通りです。
そして我々は全てを加速させています。
現在、主な焦点はビデオです。
多くの人々が物理的AIとビデオ処理に焦点を当てています。
そのフロントエンドを想像してみてください。
そうですね。
システムに入ってくる1秒あたりのテラバイトのデータ。
まず、そのすべてのデータを取り込み、
トレーニングの準備をするパイプラインの例を挙げてください。
そのすべてがCUDA加速されています。
そして人々は今日、テキストモデルについてのみ考えています。
はい。
しかし将来はこのビデオモデル、
そしてO1のようなこれらのテキストモデルの一部を使用して、
そこに到達する前に多くのそのデータを本当に処理することです。
はい、はい。
言語モデルはあらゆるものに関与することになるでしょう。
業界は言語モデル、
これらの大規模言語モデルをトレーニングするのに
膨大な技術と努力を費やしました。
今では、我々はあらゆるステップで大規模言語モデルを使用しています。
それはかなり驚くべきことです。
私はこれについて過度に単純化したくありませんが、
再び、我々は投資家からよく聞きます。
はい、しかしカスタムASICについてはどうですか?
はい、しかし彼らの競争的優位性は
これによって突破されるでしょう。
私があなたから聞いているのは、
組み合わせシステムにおいて、
優位性は時間とともに増大するということです。
つまり、あなたが3〜4年前と比べて今日の優位性が大きいと言ったのを聞きました。
なぜなら我々はあらゆるコンポーネントを改善しており、
それは組み合わせ的だからです。
これは、例えばビジネスケーススタディとして、Intelを考えると、
スタックにおいて支配的な優位性、支配的な地位を持っていた
あなたの今日の地位と比較して。
もう一度、単純化して言えば。
あなたの競争優位性を、
彼らのサイクルのピーク時の競争優位性と
比較してみてください。
そうですね、Intelは素晴らしいです。
Intelが素晴らしいのは、おそらく
製造、プロセスエンジニアリング、製造、
そして製造のワンクリック上の
チップの構築に非常に長けた
最初の会社だったからです。
そしてx86アーキテクチャでチップを設計し、アーキテクチングし、
より速く、より速いx86チップを構築しました。
それが彼らの素晴らしさでした。
そして彼らはそれを製造と融合させました。
我々の会社は少し異なります。
そして我々はこれを認識しています。
実際、並列処理はすべてのトランジスタが
優秀である必要はありません。
直列処理はすべてのトランジスタが優秀である必要があります。
並列処理は多くのトランジスタがより費用対効果が高い必要があります。
私は20%遅い10倍のトランジスタの方が、
20%速い10分の1のトランジスタよりも良いと思います。
理解できますか?
彼らはその反対でした。
そして単一スレッドのパフォーマンス、
単一スレッドの処理と並列処理は
非常に異なっていました。
そこで我々はそれを観察し、実際、
我々の世界はより良く下に行くことではないと気づきました。
我々はできる限り良くなりたいです。
しかし我々の世界は本当に上に行くことが
はるかに良いのです。
並列コンピューティング、並列処理は難しいです。
なぜなら、すべてのアルゴリズムが
アーキテクチャに合わせて
アルゴリズムを再構成し、再アーキテクトする
異なる方法を必要とするからです。
人々が認識していないのは、
3つの異なるISA、CPU ISAを持つことができることです。
それらはすべて独自のCコンパイラを持っています。
ソフトウェアを取って、ISAにコンパイルすることができます。
それは加速コンピューティングでは不可能です。
それは並列コンピューティングでは不可能です。
アーキテクチャを考案した会社が
独自のOpenGLを考案しなければなりません。
そこで我々は、CUDNNと呼ばれる
ドメイン固有のライブラリのおかげで
ディープラーニングを革新しました。
CUDNNがなければ、誰もCUDNNについて話しません。
なぜならそれはPyTorchとTensorFlowの
1層下にあるからです。
そして昔はCAFEとTheano、そして今はTritonがありました。
たくさんの異なるフレームワークがあります。
そのドメイン固有のライブラリ、CUDNN、
Opticsと呼ばれるドメイン固有のライブラリ。
我々にはQQuantum、
Rapids、空中のリストがあります--

PyTorchの層の下にある業界固有のアルゴリズムについてです。
皆が注目しているPyTorchの層の下にあるものです。
私はよく聞きました。もしLLMsが--
我々がそれを発明しなければ、その上のアプリケーションは機能しなかったでしょう。
ご理解いただけますか?
だから、数学は本当に、
NVIDIAが本当に得意なのはアルゴリズムです。
上の科学と下のアーキテクチャの間の融合、
それが我々が本当に得意とするところです。

今、推論に注目が集まっていますね。ようやくです。
しかし2年前、BradとIがあなたと夕食を共にしたとき、
我々はこんな質問をしました。
「トレーニングと同じくらい推論でも強い優位性を持つと思いますか?」
はい。
そして私はきっと、それ以上になると言ったはずです。
はい、そうでした。
そして今、あなたはこれらの要素の多くに触れましたね。
ある時点では全体の組み合わせがわからないということ、
そして顧客にとっては、柔軟性を持つことが非常に重要だということです。
その通りです。
しかし、今我々が推論の時代にいるという事実について
少し触れていただけますか。
推論は、大規模なトレーニングでの推論でした。
つまり、あなたの言う通りです。
そしてトレーニングがうまくいけば、
推論もうまくいく可能性が非常に高いです。
このアーキテクチャ上に何の考慮もなく構築されたなら、
このアーキテクチャ上で動作するでしょう。
他のアーキテクチャ用に最適化することはできますが、
少なくとも、すでにNVIDIA上に構築されているので、
NVIDIA上で動作するでしょう。
もちろん、もう一つの側面は
資本投資の側面です。
新しいモデルをトレーニングするとき、
トレーニングには最新の新しい機器を使いたいと思います。
そうすると、昨日使用した機器が後に残ります。
その機器は推論に最適です。
そして無料の機器の軌跡があります。
新しいインフラストラクチャの背後にある
無料のインフラストラクチャの軌跡があり、それはCUDA互換です。
そして我々は、すべてが互換性を持つように
非常に規律正しく取り組んでいます。
そのため、我々が後に残すすべてのものが
引き続き優れたものになります。
さて、我々はまた多くのエネルギーを注いで
新しいアルゴリズムを継続的に再発明しています。
そのため、時が来れば、
Hopperアーキテクチャは購入時の2倍、3倍、4倍優れたものになり、
そのインフラストラクチャは引き続き非常に効果的になります。
そして我々が行うすべての作業、
新しいアルゴリズム、新しいフレームワークの改善、
注目してください、それは我々が持つすべてのインストールベースを助けます。
Hopperはそれによってより良くなり、Ampereはより良くなり、
Voltaさえもより良くなります。
そしてSamがつい先ほど私に言っていたのは、
OpenAIが持っていたVoltaインフラストラクチャを
最近廃止したということでした。
そして私は、我々がこのインストールベースの軌跡を残していると思います。
すべてのコンピューティングと同様に、インストールベースが重要です。
そしてNVIDIAはすべてのクラウドにあり、
オンプレミスにもあり、エッジまで至るところにあります。
そしてVela、クラウドで作成された視覚言語モデルは、
修正なしにロボット上のエッジで完璧に動作します。
すべてがCUDA互換です。
そして私は、このアーキテクチャの互換性の考え方が
大規模なものにとって重要だったと思います。
iPhoneでも他のものでも同じです。
私はインストールベースが推論にとって本当に重要だと思います。
しかし、我々が本当に、本当に恩恵を受けているのは、
これらの大規模言語モデルのトレーニングと
その新しいアーキテクチャに取り組んでいるからです。
我々は、いつか時が来たときに推論に優れたアーキテクチャを
どのように作るかについて考えることができます。
そして我々は、反復モデル、
推論モデルについて考え、あなたの個人的なエージェントのために
非常にインタラクティブな推論体験をどのように作るかについて考えてきました。
何かを言って、しばらく考えさせる必要はありません。
かなり速くあなたとやり取りしてほしいですよね。
では、そのようなものをどのように作るのでしょうか?
そこから生まれたのがMVLinkでした。
MVLinkを使えば、トレーニングに優れたこれらのシステムを取り、
それが終わったら、推論性能が例外的になります。
そして最初のトークンまでの時間を最適化したいですよね。
そして最初のトークンまでの時間を実現するのは
信じられないほど難しいのです。
なぜなら、最初のトークンまでの時間には
多くの帯域幅が必要ですが、コンテキストも豊富な場合、
多くのフロップスも必要になります。
そのため、数ミリ秒の応答時間を達成するには、
無限の帯域幅と無限のフロップスが同時に必要です。
そしてそのアーキテクチャは本当に難しいのです。
そこで我々はGrace BlackwellとMVLinkを発明しました。
そうですね。
時間の関係で、それについてもっと質問したいのですが-
時間のことは気にしないでください。
ねえ皆さん、ねえ、ねえ、ねえ、Janine。
はい。
正しくなるまでやりましょう。
そうしましょう、そこまでやりましょう、その通りです。
素晴らしい、素晴らしい。
さて、私は今週初めにAndy Jassyと夕食を共にしました。
これで時間のことを気にする必要がなくなりましたね。
今週初めにAndy Jassyと夕食を共にしました。
そしてAndyは言いました。「我々はTrainiumを持っています。
Inferentiaが来ています。」
そして私は、ほとんどの人々が再び、
これらをNVIDIAにとっての問題だと見ていると思います。
しかし次の言葉で彼は言いました。
「NVIDIAは我々にとって巨大で重要なパートナーであり、
将来も巨大で重要なパートナーであり続けるでしょう。
私が見通せる限り、世界はNVIDIAで動いています。」
そうですよね?
そこで、カスタムASICについて考えるとき、
それらは特定のアプリケーションを狙っているものです。
おそらくMetaの推論アクセラレータ、
あるいはAmazonのTrainium、あるいはGoogleのTPUなどです。
そして今日あなたが持っている供給不足について考えるとき。
これらのことがその力学を変えるのでしょうか?
それとも、彼らがあなたから購入しているシステムを
補完するものなのでしょうか?
我々は単に異なることをしているのです。
はい。
我々は異なることを達成しようとしています。
ご存知の通り、NVIDIAが試みているのは
この新しい世界、この機械学習の世界、この生成AIの世界、
このエージェントAIの世界のためのコンピューティングプラットフォームを構築することです。
我々は、ご存知の通り、そして深く重要なことは、
60年のコンピューティングの後、
我々はコンピューティングスタック全体を再発明したのです。
ソフトウェアの書き方をプログラミングから
機械学習に変えました。
ソフトウェアの処理方法をCPUからGPUに変えました。
アプリケーションをソフトウェアから
人工知能に変えました。そうですよね?
そしてソフトウェアツールから人工知能へと。
コンピューティングスタックとテクノロジースタックの
あらゆる側面が変更されました。
ご存知の通り、我々がしたいのは
どこでも利用可能なコンピューティングプラットフォームを作ることです。
そしてこれが本当に我々がしていることの複雑さです。
我々がしていることの複雑さは、
我々が完全なAIインフラストラクチャを構築していると考えると、
我々はそれを1つのコンピューターとして考えています。
以前に言ったように、データセンターが
今やコンピューティングの単位になっています。
私にとって、コンピューターについて考えるとき、
私はそのチップについて考えているのではありません。
私はこのものについて考えています。
それが私の精神モデルです。
そしてその中にあるすべてのソフトウェアとすべてのオーケストレーション、
すべての機械、それが私のコンピューターです。
そして我々は毎年新しいものを構築しようとしています。
はい。
それは狂気です。
狂気ですね。
誰も以前にそのようなことをしたことがありません。
我々は毎年真新しいものを構築しようとしています。
そして毎年、
我々は2倍か3倍のパフォーマンスを提供します。
その結果、毎年、
我々はコストを2倍か3倍削減します。
毎年、エネルギー効率を
2倍か3倍改善します。そうですよね?
そこで我々は顧客に、
一度にすべてを購入せず、
毎年少しずつ購入するよう求めます。
わかりますか。その理由は、
我々は彼らに将来に向けてコスト平均化してほしいからです。
すべてがアーキテクチャ的に互換性があります。わかりますか?
さて、それだけを構築することは、
我々が行っているペースで非常に難しいです。
さて、二重に難しい部分は、
我々がそのすべてを取り、
インフラストラクチャとして販売したり、
サービスとして販売したりする代わりに、
すべてを分解し、
GCPに統合します。
AWSに統合します。
Azureに統合します。
Xに統合します。
理解できますか?
そして、すべての人の統合は異なります。
我々はすべてのアーキテクチャライブラリと
すべてのアルゴリズムとすべてのフレームワークを取得し、
彼らのものに統合しなければなりません。
我々のセキュリティシステムを彼らのものに統合します。
我々のネットワーキングを彼らのものに統合します。
そうですよね?
そして我々は基本的に10の統合を行い、
これを毎年行います。
さて、それが奇跡です。
それが奇跡なのです。
なぜあなたは、私の意味は、それは狂気です。
毎年これをしようとするのは狂気です。
私はそれについて考えると狂気になります。
では、何があなたをそうさせたのでしょうか?
そして、それに関連して、
Clarkはちょうど台北と韓国と日本から戻ってきました。
すべてのサプライパートナーと会って、
あなたは彼らと10年にわたる関係を持っています。
再び、その競争的な堀を構築する
組み合わせ数学にとって、
これらの関係はどれほど重要ですか?
はい、それを体系的に分解すると、
あなたがたがそれを分解すればするほど、
皆がそれを分解すればするほど、
彼らはより驚くのです。
はい。
そして、今日の電子機器のエコシステム全体が
我々と協力して働き、
最終的にこのコンピューターのキューブを構築し、
これらすべての異なるエコシステムに統合され、
その調整がとても円滑であることが
どのようにして可能なのでしょうか?
明らかに、APIと方法論と
ビジネスプロセスと設計ルールがあり、
我々はそれらを後方に伝播し、
前方に伝播した方法論とアーキテクチャ、
APIがあります。

それらは何十年にもわたって強化されてきました。
何十年にもわたって強化され、
また進化し続けています。
しかし、これらのAPIは一緒に機能する必要があります。

そうですね。

時が来れば、台湾中、
世界中で製造されているこれらのものが、
どこかのAzureのデータセンターに到着し、
一緒に組み立てられ、
カチッ、カチッ、カチッ、カチッ、カチッと音を立てるのです。

(笑い)

誰かがOpenAI APIを呼び出すだけで、それが機能するのです。

その通りです。

そうです、その通りです。
ちょっと狂気じみていますよね?
そこには全体のチェーンがあるのです。

そして、それが我々が発明したものです。
それが我々が発明したもの、
この巨大なコンピューティングインフラストラクチャです。
地球全体が我々と協力して取り組んでいます。
それはどこにでも統合されています。
Dellを通じて販売することもできます。
HPEを通じて販売することもできます。
クラウドでホストされています。
エッジまで至るところにあります。
人々は今、ロボットシステムで使用しています。
そして人型ロボットにも。
自動運転車にも搭載されています。
すべてがアーキテクチャ的に互換性があります。
かなり狂気じみていますね。

狂気じみていますね。

Clark、私が質問に答えていないという印象を与えたくありません。
実際、答えました。
私が言おうとしたのは、
あなたのASICに関連して、
考えるべき方法は、
我々は単に異なることをしているということです。

はい。

会社として、
我々は状況を認識したいと思います。
そして私は我々の会社とエコシステムの周りのすべてについて
非常に状況を認識しています。
私は代替的なことをしているすべての人々と
彼らが何をしているかについて認識しています。
時には我々に敵対的であり、時にはそうではありません。
私はそれについて非常に認識しています。
しかし、それは会社の目的を変えるものではありません。
会社の唯一の目的は、
どこにでもあるプラットフォームになり得るアーキテクチャを構築することです。

そうですね。

それが我々の目標です。
我々は誰からもシェアを奪おうとしているわけではありません。
NVIDIAは市場を作る者であり、シェアを奪う者ではありません。
我々の会社のスライドを見ると、
我々は市場シェアについて一度も話していません。
内部でも。
我々が話しているのは、次のものをどのように作るかということだけです。
そのフライホイールで次に解決できる問題は何でしょうか?
人々のためにどうすればより良い仕事ができるでしょうか?
かつて約1年かかっていたそのフライホイールを
どうすれば約1ヶ月に短縮できるでしょうか?

はい。

その光速はどのくらいでしょうか?
そうですよね?
そして我々はこれらすべての異なることについて考えています。
しかし、我々が唯一していないのは、
我々はすべてについて状況を認識していますが、
我々のミッションが何であるかについては確信を持っています。
それは非常に単一のものです。
唯一の質問は、そのミッションが必要かどうかです。
理解できますか?
ご存知の通り、すべての会社、すべての素晴らしい会社は、
その核心にそれを持つべきです。
あなたは何をしているのかということについてです。
唯一の質問は、それが必要かどうかです。
それは価値があるでしょうか?
それは影響力がありますか?
それは人々を助けますか?
そして私は確信しています。あなたは開発者です。
あなたは生成AI のスタートアップで、
どのように会社になるかを決めようとしています。
あなたが持たない唯一の選択肢は、
どのASICをサポートするかということです。
CUDAをサポートするだけで、
どこにでも行けることがわかります。
後で考えを変えることもできます。
しかし我々はAIの世界への入り口なのです。
そうですよね?
一度我々のプラットフォームに乗ることを決めたら、
他の決定は後回しにできます。
後で自分のASICを作ることもできます。
我々はそれに反対しません。
我々はそれに気分を害されません。
私がGCPやAzureなどと仕事をするとき、
我々は何年も前から彼らにロードマップを提示しています。
彼らは自分たちのASICのロードマップを我々に提示しません。
そしてそれは我々を決して怒らせません。
理解できますか?
我々は、唯一の目的を持ち、
その目的が有意義であり、
そのミッションがあなたにとって大切であり、
他の誰にとっても大切であれば、
透明性を持つことができます。
私のロードマップがGTCで透明であることに注目してください。
私のロードマップはAzureやAWS、その他の友人たちにはもっと深く入り込んでいます。
我々は彼らが自分たちのASICを構築している間でも、
そのようなことを全く問題なく行うことができます。

私は、アナリストが常に
現在のアーキテクチャの賭けに焦点を当てていると思います。
しかし、この会話から得られる最大の教訓の1つは、
あなたがエコシステム全体と
何年も先のことを考えているということです。
つまり、NVIDIAがただスケールアップしたりスケールアウトしたりしているという考えは、
未来に向けてのものであり、
あなたが500,000や100万のGPUクラスターの世界にのみ依存しているわけではありません。
分散トレーニングがある頃には、
あなたがそれを可能にするソフトウェアを書いているでしょう。

その通りです。
7年ほど前に開発したMegatronがなければ、
これらの大規模なトレーニングジョブのスケーリングは
起こらなかったことを覚えておいてください。
そこで我々はMegatronを発明し、Nickelを発明し、
GPU directを発明しました。そうですよね?
RDMAで行ったすべての作業が、
パイプライン並列性を簡単に行うことを可能にしました。
ご存知の通り。そうですよね?
そして、行われているすべてのモデル並列性、
分散トレーニングの分割、
すべてのバッチングなど、
それらすべては我々が初期の作業を行ったからです。
そして今、我々は次世代のための初期作業を行っています。

では、StrawberryとO1について話しましょう。
あなたの時間を尊重したいと思います。
そのため、我々は-
私には世界中の時間がありますよ、皆さん。
まあ、あなたは非常に寛大ですね。
はい、私には世界中の時間があります。
しかし、まず、彼らがO1をO1ビザにちなんで名付けたのは
クールだと思います。そうですよね?
これは世界中から最高で最も優秀な人材を
募集し、アメリカに連れてくることについてです。
これは私たち両方が深く情熱を注いでいることだと知っています。
だから、思考し、知能のスケーリングを
次のレベルに引き上げるモデルを構築するという考えが、
移民を通じてアメリカに来た人々が
我々を今の姿にしたという事実へのオマージュであることが大好きです。
彼らの集団的知性をアメリカにもたらしたのです。
確かに異質な知性ですね。
そうですね。
ご存知の通り、これは我々の友人であるNoam Brownが
先導したものです。もちろん。
彼はMetaにいたときにPluribusとCiceroに取り組んでいました。
推論時の推論が、より大きなモデルを構築することとは
別個の、まったく新しい知能のスケーリングのベクトルとして、
どれほど大きな出来事だと思いますか?
それは非常に大きな出来事です。
非常に大きな出来事です。
私は、多くの知能が事前に行うことができないと思います。
そうですね。
ご存知の通り、多くのコンピューティングでさえ、
順序を変更することはできません。
つまり、ご存知の通り、順序外実行でさえ
事前に行うことはできません。ご存知ですよね?
そして多くのことはランタイムでのみ行うことができます。
そうですね。
そしてコンピューターサイエンスの観点から考えるか、
知能の観点から考えるかにかかわらず、
その多くはコンテキストを必要とします。
そうですね。
状況、そうですよね?
あなたが求めている答えの種類。
時には、素早い答えで十分なこともあります。
そうですね。
答えの結果としての影響によって異なります。
そうですね。
ご存知の通り、その答えの使用の性質によって異なります。
そしてある答えは、一晩かかってください。
ある答えは1週間かかります。
はい。
そうですよね?
だから、私は完全に想像できます。
私のAIにプロンプトを送り、こう言うことができます。
一晩考えてください。
そうですね。
一晩中考えてください。
すぐに教えないでください。
一晩中考えてほしいのです。
そして明日戻ってきて、最良の答えを教えてください。
そしてそれについて私に理由を説明してください。
そして私は、今からの知能の分割は、
製品の観点から、
ワンショットバージョンがあるだろうと思います。
そうですね、確かに。
はい。
そして5分かかるものもあるでしょう。ご存知の通り。
そして、それらの質問を
適切なモデルに、適切なユースケースに
ルーティングする知能層。
はい。
適切なユースケースのために。
昨晩、我々は高度な音声モードを使用していました。
そして誰もプレビューしていませんでした。
私は息子のAP歴史テストのコーチをしていました。
そして、世界最高のAP歴史の教師が
隣にいて、これらの質問について考えているようでした。
それは本当に素晴らしかったです。
繰り返しになりますが、彼らは-
今日、私のチューターはAIです。
そうですね、そうですね、もちろんです。
彼らは今日ここにいます。
これは、あなたの今日の収益の40%以上が推論であることに戻ります。
しかし推論は、理由の連鎖のために、
今まさに-
はい。
そうですね?
10億倍に増加しようとしています。
そうですね、100万倍、10億倍に。
その通りです。
それは、ほとんどの人々が完全に内面化していない部分です。
これは我々が話していた産業ですが、
これは産業革命です。
それが知能の生産です。
その通りです。
そうですね?
はい。
10億倍に増加するでしょう。
そうですね、そして、ご存知の通り、
誰もがNVIDIAをより大きなモデルでのトレーニングとして
非常に注目していますね。
はい。
そうですね?
あなたの収益が今日50/50だとしたら、
将来はもっと多くの推論を行うことになるのではないでしょうか。
はい。
そして、つまり、トレーニングは常に重要ですが、
推論の成長はトレーニングよりもはるかに大きくなるでしょう。
我々はそう望んでいます。
そうでない可能性を想像するのはほとんど不可能です。
はい、我々はそう望んでいます。
その通りです。
その通りです。
そうですね。
はい、つまり、学校に行くのは良いことです。
はい。
しかし目標は、後で社会で生産的になることです。
そしてこれらのモデルをトレーニングするのは良いことですが、
目標はそれらを推論することです。ご存知の通り?
あなたはすでに理由の連鎖や、
O1のようなツールを自社のビジネスで使用して
自社のビジネスを改善していますか?

はい、今日の我々のサイバーセキュリティシステムは
独自のエージェントなしでは動作しません。
チップの設計を助けるエージェントがあります。
Hopperは不可能でした。
Blackwellは不可能でした。
Rubinについては考えないでください。
我々にはデジタル、AIチップ設計者、
AIソフトウェアエンジニア、AI検証エンジニアがいます。
そして我々はそれらをすべて内部で構築しています。なぜなら、ご存知の通り、
我々にはその能力があり、自分たちでテクノロジーを探求する
機会を利用したいと思っているからです。
ご存知の通り、今日私が建物に入ったとき、
誰かが私に近づいてこう言いました。「文化について聞いてください。
すべては文化についてです。」
私はビジネスを見ています。ご存知の通り、
我々はフィットネスと効率性、迅速に実行できるフラットな組織、小さなチームについてよく話します。
ご存知の通り、NVIDIAは本当に独自のリーグにいます。
従業員1人あたり約400万ドルの収益、
従業員1人あたり約200万ドルの利益またはフリーキャッシュフローがあります。
あなたは創造性とイノベーション、
所有権と責任を解き放つ効率の文化を構築しました。
あなたは機能的管理の型を破りました。
誰もがあなたの直属の部下全員について話したがります。
AIの活用は、超創造的であると同時に
効率的であることを可能にし続けるものですか?

疑問の余地はありません。
私は、いつかNVIDIAが現在32,000人の従業員を持っていることを望んでいます。
そしてイスラエルに4,000の家族がいます。
彼らが元気であることを願っています。私は皆さんのことを考えています。
そして私はいつかNVIDIAが50,000人の従業員を持つ会社になることを望んでいます。
1億のAIアシスタントと共に、ご存知の通り。
そして彼らはあらゆるグループにいるでしょう。
我々は一般的に物事を上手くこなすAIの
全ディレクトリを持つでしょう。
また、我々の受信トレイには、我々が協力して働く
AIのディレクトリがいっぱいになるでしょう。
それらは我々のスキルに特化して本当に優れていると知っています。
そしてAIは他のAIを募集して問題を解決するでしょう。
AIはSlackチャンネルで互いにコミュニケーションを取るでしょう。

そして人間とも。

そうです、人間とも。
そして我々はただ大きな、ご存知の通り、
従業員ベースになるでしょう。
そのうちのいくつかはデジタルでAIで、いくつかは生物学的で、
私はいくつかはメガトロニクスでさえあることを望んでいます。

ビジネスの観点から見ると、
それは大きく誤解されていることだと思います。
あなたは今、150,000人の出力を生み出している会社を説明しました。
しかし50,000人でそれを行っています。
あなたは、すべての従業員を解雇すると言ったわけではありません。
あなたはまだ組織の従業員数を増やしていますが、その組織の出力は、
そうですね、劇的に増加するでしょう。
これはよく誤解されています。
AIはすべての仕事を変えるでしょう。
AIは人々が仕事をどのように考えるかに
大きな影響を与えるでしょう。
それを認めましょう。

そうですね。

AIには信じられないほど良いことをする可能性があります。
害を及ぼす可能性もあります。
我々は安全なAIを構築しなければなりません。

はい。

それを基本的なものとしましょう。
わかりました。
見過ごされている部分は、
人工知能を使用して会社がより生産的になるとき、
それはより良い収益やより良い成長、またはその両方として
現れる可能性が高いということです。

そうですね。

そしてそれが起こるとき、
CEOからの次のメールは
おそらく解雇の発表ではありません。

もちろん、成長しているからですね。

はい、その理由は、我々には探求できるアイデアが
自動化できるよりも多くあるからです。
そして我々はそれを考え抜くのを助けてくれる人々が必要です。
そして自動化の部分は、AIが我々を助けてくれることは明らかです。
明らかにそれを考え抜くのも助けてくれるでしょうが、
それでも我々が解決したい問題は何かを理解する必要があります。
我々が解決できる問題は1兆個あります。
この会社が解決しなければならない問題は何でしょうか?
そしてそれらのアイデアを選択し、
自動化とスケールアップの方法を見つけ出します。
その結果、我々はより生産的になるにつれて
より多くの人々を雇用するでしょう。
人々はそれを忘れています。
そして過去を振り返ってみると、
明らかに我々は200年前よりも今日の方がより多くのアイデアを持っています。
それがGDPがより大きく、
より多くの人々が雇用されている理由です。
そして下で狂ったように自動化しているにもかかわらずです。

それは我々が入りつつある
この期間の非常に重要な点です。
1つ、ほとんどすべての人間の生産性、
ほとんどすべての人間の繁栄は、過去200年間の
自動化とテクノロジーの副産物です。
つまり、アダム・スミスやシュンペーターの創造的破壊から、
過去200年間の1人当たりのGDP成長のグラフを見ることができます。
そしてそれは加速し続けています。
これは次の質問につながります。
90年代を見ると、
アメリカの生産性成長は年間約2.5〜3%でした。
わかりました。そして2000年代には約1.8%に減速しました。
そして過去10年間は
最も遅い生産性成長でした。
つまり、一定量の労働力と資本に対して
我々が持つ生産量の量です。
実際に、記録上最も遅いものでした。
そして多くの人々がその理由について議論してきました。
しかし、世界があなたが今説明したようであり、
我々が知能を活用し製造しようとしているなら、
我々は人間の生産性の劇的な拡大の
瀬戸際にいるのではないでしょうか?

それが我々の希望です。

そうですね。それが我々の希望です。

そしてもちろん、我々はこの世界に生きているので、
我々にはそれについての直接的な証拠があります。

そうですね。

我々にはそれについての直接的な証拠があります。
個々の研究者の孤立したケースであれ-

確かに。

AIを使って、
今まで想像もできなかったような
非常に素晴らしいスケールで科学を探求できるようになりました。
それが生産性です。

そうですね、100%。

生産性の尺度です。

または、我々が非常に信じられないチップを
非常に高いペースで設計していること、
そして我々が構築しているチップの複雑さと
コンピューターの複雑さが
指数関数的に上昇している一方で、
会社の従業員ベースは
生産性の尺度としてほとんど線形にしか成長していないことです。

正解です。

我々が開発しているソフトウェアが
AIとスーパーコンピューターを使って
より良く、より良く、より良くなっていますが、
従業員数はほとんど線形にしか成長していません。
わかりました。
わかりました。
わかりました。
これも生産性のもう一つの実証です。
つまり、私はさまざまな業界でスポットチェックできます。

はい。

私は自分自身で直感的にチェックできます。

はい。

あなたはビジネスをしています。

その通りです。

そして私は、
もちろん、我々は過適合している可能性がありますが、
その芸術性は、もちろん、
我々が観察していることを一般化し、
それが他の業界で現れる可能性があるかどうかを判断することです。
そして、知能が
世界が今まで知っている中で最も価値のある商品であることに
疑問の余地はありません。

そうですね。

そして今、我々はそれを大規模に製造しようとしています。
そして我々全員が、これらのAIに囲まれ、
彼らが物事を信じられないほどうまくこなし、
あなたよりもはるかに優れている状況で
何が起こるかについて上手くなる必要があります。

そうですね。

そして私がそれについて考えるとき、それが私の人生です。

そうですね。

私には60人の直属の部下がいます。

そうですね。

彼らがe-staffにいる理由は、
彼らが自分の仕事で世界クラスだからです。
そして彼らは私よりもそれを上手くこなします。

そうですね。

はるかに上手くこなします。

そうですね。

私は彼らとやり取りするのに何の問題もありません。
そして私は彼らをプロンプトエンジニアリングするのに何の問題もありません。

そうですね。

(笑い)

私は彼らをプログラミングするのに何の問題もありません。

そうですね、そうですね。

そして私は、人々が学ぶことになるのは
彼らがみなCEOになるということだと思います。

そうですね。

彼らはみなAIエージェントのCEOになるでしょう。

そうですね。

そして彼らの創造性、
意志、そして知識と
推論する方法、問題を分解する方法を持つ能力、
これらのAIをプログラムして
私がするように何かを達成するのを助けることができる能力。

そうですね。

それが会社を経営することと呼ばれるものです。

そうですね。

さて、あなたは何か、このアライメント、
安全なAIについて言及しました。
中東で起こっている悲劇について言及しました。
世界の異なる部分で使用されている
多くの自律性と多くのAIがあります。
では、少し悪意のある行為者について、
安全なAIについて、ワシントンとの調整について話しましょう。
今日、あなたはどのように感じていますか?
我々は正しい道を歩んでいますか?
我々は十分なレベルの調整を持っていますか?
ご存知の通り、Mark Zuckerbergは
「悪いAIを打ち負かす方法は、
良いAIをより良くすることだ」と言っています。
これが人類にとって積極的な利益となるように
どのように確実にするかについて、
あなたの見解をどのように特徴づけますか?
目的のない、この反ユートピア的な世界に
我々を置き去りにするのではなく。

安全性についての会話は本当に重要で良いことです。

はい。

AIが大きな巨大なニューラルネットワークであるという
この抽象化された、概念的な見方は、あまり良くありません。

そうですね、そうですね。

わかりました。
その理由は、ご存知の通り、人工知能と
大規模言語モデルは関連していますが、同じではないからです。
行われている多くのことがあると思います
それらは優れています。
1つは、モデルをオープンソース化することで、
研究者の全コミュニティと
あらゆる業界とあらゆる会社が
AIに取り組み、この能力を
彼らのアプリケーションのために活用する方法を学ぶことができます。素晴らしいことです。
2つ目は、AIを安全に保つために
AIを発明することに専念している
テクノロジーの量が過小評価されていることです。

はい。

AIを訓練するためのデータ、情報をキュレートするAI、
AIを調整するために作成されたAI、
合成データ生成、AIの知識を拡大するAI、
幻覚を減らすためのAI。
ベクトル化やグラフ化などのために
作成されているすべてのAI、
AIに情報を提供し、AIを制御し、
他のAIを監視するAI、
安全なAIを作るためのAIシステム
が過小評価されています。

そうですね。

我々がすでに構築したもの。

我々が構築しているもの、業界全体で、

方法論、レッドチーミング、プロセス、
モデルカード、評価システム、
ベンチマーキングシステム、これらすべて、
構築されているすべてのハーネス、
構築されているスピードは信じられないほどです。
私は--

過小評価されています。皆さん、理解できますか?

はい。

そして、「これをしなければならない」という
政府の規制はありません。

そうですね。

これは今日、これらのAIを構築している
この分野の関係者たちが、
これらの重要な問題に関するベストプラクティスを
真剣に受け止め、調整しているのです。

その通りです、まさにそうです。

そしてそれは過小評価され、理解されていません。

はい。

誰かが、まあ、皆がAIについて
AIのシステムとエンジニアリングされたシステムのシステムとして
話し始める必要があります。
最初の原則から構築され、十分にテストされた
よく設計されたエンジニアリングシステムとしてです。

規制について、AIは適用できる能力であることを覚えておいてください。
そして、重要なテクノロジーには規制が必要ですが、
一部の規制がアプリケーションレベルで行われるべきであり、
ほとんどの規制がアプリケーションレベルで行われるべきであるという点を
過度に規制しないでください。

そうですね。

FAA、NHTSA、FDA、名前を挙げればきりがありません。そうですよね?
すでにテクノロジーの応用を規制している
さまざまなエコシステムすべてが、
今やAIを組み込んだテクノロジーの応用を
規制しなければなりません。

そうですね。

そして、そして私は思います。私は思います。誤解しないでください。見過ごしないでください。
世界中にある圧倒的な量の規制が
AIのために活性化されなければならないことを。
そしてただ1つの普遍的な銀河系規模の、
ご存知の通り、AIカウンシルがこれを可能にできると
頼らないでください。なぜなら、
これらのさまざまな機関が作られた理由があるからです。
これらのさまざまな規制機関が作られた理由があったのです。

もう一度原則に戻りましょう。
私のパートナーのBill Gurleyに怒られそうですが、
オープンソースの点に戻らないと。
皆さんは最近、非常に重要で、非常に大規模で、
非常に能力の高いオープンソースモデルを発表しました。

はい、Neutronです。

BG2 nvidia ジェンスン・フアン インタビュー記事

【要約】

【本編】

いいなと思ったら応援しよう！

BG2 nvidia ジェンスン・フアン　インタビュー記事