AIが未来を加速的に変える - ムーアの法則の終焉 - AIがAIを創造する - NVIDIAのリーダーが未来のトレンドを明かす

9,968 文字

私たちは多くの重要な産業を加速させています。CUDAは半導体製造における計算リソグラフィーシミュレーション、コンピュータ支援工学、さらには最近発表した5Gラジオのパートナーシップにおいて基本的な要素となっています。5Gソフトウェアスタックを加速できるようになり、量子コンピューティングでは古典的な量子ハイブリッドコンピューティングで未来のコンピューティングを発明できます。
ParaBricksは遺伝子シーケンシングのソフトウェアスタックです。CVはすべての企業が取り組んでいる最も重要なものの1つで、データベースからナレッジベースへの移行を可能にします。CVSを使用してAIデータベースを作成し、すべてのデータをベクトル化できます。QDFデータフレームは、本質的に構造化データの別の呼び方です。QDFによってSQLの高速化が可能です。
これらの各ライブラリで、アプリケーションを20倍、30倍、50倍に加速することができます。もちろん、ソフトウェアの書き換えが必要になりますが、それぞれの領域で業界やエコシステム、ソフトウェア開発者、顧客と協力してアプリケーションを加速させてきました。
KOPTは私のお気に入りの1つで、組み合わせ最適化のコンピューティングアプリケーションです。たとえば巡回セールスマン問題など、すべてのサプライチェーンや配送ドライバーの組み合わせなどのアプリケーションをCoopで加速できます。驚異的なスピードアップが可能です。
Modulusは、AIに物理法則を教えることができます。単に次の単語を予測するだけでなく、流体力学や粒子物理学における次の瞬間を予測することができます。そして、もちろん私たちが作成した最も有名なアプリケーションライブラリの1つであるCNNは、私たちが知る人工知能の民主化を可能にしました。
これらの加速ライブラリは現在、非常に多くの異なる領域をカバーしているため、加速コンピューティングがあらゆる場所で使用されているように見えます。しかし、これは単に私たちがこのアーキテクチャを1つの領域から次の領域へと適用してきた結果であり、今ではほぼすべての産業をカバーしています。
加速コンピューティングまたはCUDAは数年前に転換点に達し、約10年前に非常に重要なことが起こりました。多くの方々が同じことを目にしたと思いますが、AlexNetがコンピュータビジョンの性能で大きな飛躍を遂げたのです。コンピュータビジョンは人工知能の非常に重要な分野です。AlexNetはその生み出した飛躍の大きさで世界を驚かせました。
私たちは一歩下がって、自問自答しました。私たちは何を目撃しているのか、なぜAlexNetはこれほど効果的なのか、どこまでスケールできるのか、このディープラーニングというアプローチで他に何ができるのか。そして、もし他の問題にディープラーニングを適用する方法を見つけるとすれば、それはコンピュータ産業にどのような影響を与えるのか。もしその未来を信じ、ディープラーニングができることに興奮するなら、コンピューティング全体を再発明するためにコンピューティングスタックのあらゆる層をどのように変更すべきなのか。
12年前、私たちは会社全体をこのビジョンの追求に捧げることを決意しました。それから12年が経ちました。インドに来るたびに、私はディープラーニングについて、機械学習について皆さんとお話しする機会を得ました。そして今や、世界が完全に変わったことは非常に明確になっています。
では、何が起こったのか考えてみましょう。まず最初に起こったのは、もちろんソフトウェアの作り方の変化です。私たちの業界は、ソフトウェアの開発方法によって支えられています。ソフトウェアの開発方法は、ソフトウェア1.0と呼ばれていました。
プログラマーがアルゴリズムをコード化し、それをコンピュータ上で実行する関数として作成し、入力情報を適用して出力を予測していました。誰かがPythonやC、FORTRAN、Pascal、C++でコードを書き、コンピュータ上で実行するアルゴリズムを作成し、入力を適用して出力を生成する。これは私たちがよく理解していた古典的なコンピュータモデルであり、もちろんインドでも世界最大の産業の1つを生み出しました。ソフトウェアのコーディング、プログラミングが1つの産業となったのです。これはすべて私たちの世代で起こりました。
しかし、このソフトウェア開発のアプローチは破壊的な変化を遂げました。今はコーディングではなく、機械学習を使用しています。コンピュータを使用して、大量の観測データのパターンと関係性を研究し、本質的にそれから予測する関数を学習させるのです。つまり、私たちは機械を使って期待される出力を生成する普遍的な関数近似器を設計しているのです。
これがソフトウェア1.0の人間によるコーディングから、現在のソフトウェア2.0の機械学習への移行です。誰がソフトウェアを書いているのかに注目してください。ソフトウェアは今やコンピュータによって書かれています。モデルのトレーニングが終わると、モデルを推論し、その関数を入力として適用します。その大規模言語モデル、ディープラーニングモデル、コンピュータビジョンモデル、音声理解モデルは今やGPU上で動作する入力ニューラルネットワークとなり、新しい未観測の入力に対して予測を行うことができます。
このソフトウェアの方法は、基本的に機械学習に基づいており、私たちはコーディングから機械学習へ、ソフトウェア開発から人工知能の創造へ、そしてCPU上で実行することを好むソフトウェアから、今やGPU上で最も効果的に実行されるニューラルネットワークへと移行しました。これが過去10年間で私たちの業界に起こったことの本質です。
私たちは今、コンピューティングスタックの完全な再発明を目の当たりにしています。テクノロジースタック全体が再発明され、ハードウェア、ソフトウェアの開発方法、そしてソフトウェアができることが根本的に異なるものとなりました。私たちはこの分野を進歩させることに専念してきました。
これが私たちが今構築しているものです。最初にインドで出会った頃、私たちはPCIエクスプレスカードに収まるGPUを構築していました。これが今日のGPUの姿です。これがBlackwellです。データを巨大なスケールで研究できるように設計された信じられないようなシステムです。はい、ありがとうございます。データのパターンと関係性を発見し、データの意味を学習するために設計された巨大なシステムです。
これが過去数年間のギリシャの大きな breakthrough（ブレークスルー）です。私たちは今や、言葉と数字、画像とピクセル、ビデオ、化学物質、タンパク質、アミノ酸、流体パターン、粒子物理学など、非常に多くの異なる種類のデータの表現、つまり意味を学習しました。私たちは多くの異なるモダリティで情報を表現する方法を学びました。
データの意味を学習しただけでなく、それを別のモダリティに変換することもできます。たとえば、英語からヒンディー語への翻訳、大量の英語テキストから他の英語へのまとめ、ピクセルから画像への画像認識、言葉からピクセルへの画像生成、画像やビデオから言葉へのキャプション付け、言葉からタンパク質への創薬への応用、言葉から化学物質への新しい化合物の発見、アミノ酸からタンパク質へのタンパク質構造の理解などです。
これらの基本的なアイデア、本質的にあらゆるモダリティから別のモダリティへの普遍的な情報の翻訳者は、世界中のスタートアップの数のカンブリア爆発につながりました。私が説明した基本的な方法を適用しているのです。もしこれとあれができるなら、他に何ができるだろうか？もしあれとこれができるなら、他に何ができるだろうか？アプリケーションの数は明らかに過去2、3年で爆発的に増加しました。
世界中で生成AIの企業は数万社に上り、この分野には数百億ドルが投資されています。これはすべて、私たちが巨大なスケールでデータを研究することを可能にしたこの1つの機器のおかげです。
Blackwellシステムを構築するために、もちろんBlackwell GPUが関与していますが、他に7つのチップが必要です。TSMCがこれらすべてのチップを製造しており、Blackwellシステムの立ち上げで素晴らしい仕事をしています。すべてのBlackwellは本格的な生産に入っており、第4四半期には量産での出荷を予定しています。これが基本的にBlackwellです。
このシステムについて本当に素晴らしいことの1つをお見せしましょう。これはMV-Linkで、ラックのGPUの背面全体を通っています。これらのGPUは上から下までMV-Linkで接続されており、世界最長の銅のCESを駆動しています。これは72個のデュアルGPUパッケージのBlackwell、144個のGPUを相互に接続しています。つまり、1つの巨大なGPUです。
もし私がすべてのチップを広げて、これが接続するものを見せるとすれば、本質的にこれくらいの大きさのGPUになりますが、もちろんそのような大きなGPUを作ることは不可能です。そこで、私たちはそれをレチクルの制限と最先端のテクノロジーで可能な最小のチャンクに分割し、MV-Linkで接続しています。これがMV-Linkのバックスパインで、すべてのGPUが接続されているのが見えます。それが上部のQuantum Switchで、これらすべてのGPUを接続しています。
もしイーサネットが必要な場合はSpectrum Xがあり、これらを接続します。これは約50ポンドあります。私は単に自分の力の強さを示しているだけです。これはこのスイッチに接続されており、これは世界で最も高度なスイッチの1つです。
これらすべてを合わせてBlackwellとなり、その上でソフトウェアが実行されます。CUDAソフトウェア、CNNソフトウェア、大規模言語モデルのトレーニング用のMegatron、推論用のTensorRT、大規模言語モデルの分散マルチGPU推論用のTensorRT LLMなどです。その上に2つのソフトウェアスタックがあります。1つはAI Enterpriseで、もう1つはOmniverseです。両方について後で説明します。
この仕事は驚くほど厳密です。これがBlackwellシステムです。これが今日のNVIDIAが構築しているものです。長年私たちを知っている方々にとって、会社がどのように変貌を遂げたかは本当に驚くべきことですが、文字通り私たちは第一原理から、将来のコンピューティングがどのように行われるかを推論し、これがBlackwellとなりました。
Blackwellシステムはもちろん素晴らしいものです。計算能力は信じられないほどで、各ラックは3,000ポンド、120キロワットです。世界が知る中で最高の計算密度であり、私たちが目指しているのは、より大きく、よりスマートなモデルを学習させることです。これはスケーリング則と呼ばれています。
スケーリング則は、大規模言語モデルのトレーニングに使用するデータが多ければ多いほど、それに応じてモデルサイズも大きくなる必要があるという経験的な観察と測定に基づいています。より多くの情報を学習したい場合、モデルはより大きくなければならず、より大きなモデルをトレーニングしたい場合は、より多くのデータが必要になります。毎年、データ量とモデルサイズの両方を約2倍に増やしています。これは、それらの積である計算量が毎年4倍増加する必要があることを意味します。
かつてムーアの法則は1年半で2倍、5年で10倍、10年で100倍でしたが、私たちは今や毎年4倍のペースで技術を進歩させています。10年間で信じられないスケーリングを続けており、トレーニングサイズを拡大するにつれて、AIはよりスマートになり続けています。
最近発見された2つ目の重要な点は、モデルのトレーニング後、ChatGPTのように、プロンプトを与えて1回の応答を得るのではなく、インテリジェンスには思考が必要だということです。思考は推論であり、パス計画やシミュレーションを行い、自分の答えを振り返ることもあります。
その結果、思考はより質の高い回答につながります。そして今、私たちは2つ目のスケーリング則を発見しました。これは推論時のスケーリング則で、思考時間が長くなるほど、より質の高い回答を生成できるというものです。これは非論理的ではなく、私たちにとって非常に直感的なことです。
たとえば、私のお気に入りのインド料理は何かと聞かれれば、チキンビリヤニだと即答できます。それについてあまり考える必要はなく、推論する必要もありません。それは単に知っていることです。NVIDIAは何が得意かと聞かれれば、NVIDIAはAIスーパーコンピュータの構築が得意で、GPUの構築が素晴らしいというように、知識として encoded（エンコード）されていることがたくさんあります。
しかし、推論が必要なことも多くあります。たとえば、ムンバイからカリフォルニアまで、途中で4つの都市を楽しみながら旅行したいと考える場合です。今日私は午前3時にここに到着しました。デンマークを経由して、その前はフロリダのオーランド、その前はカリフォルニアにいました。それは2日前のことで、今が何日目なのかまだ把握できていませんが、とにかくここにいられて嬉しいです。
もし私がカリフォルニアからムンバイまで3日以内に行きたいと言い、出発可能な時間、好みのホテル、会う必要のある人々などの制約を与えた場合、その組み合わせの数はもちろん非常に多くなります。そこで思考、推論、計画が重要になってきます。計算時間が長くなるほど、より質の高い回答を提供できます。
そして今、私たちには2つの基本的なスケーリング則があります。1つはトレーニング用、もう1つは推論用です。Hopper以降、基盤モデルの開発者の数は2倍以上に増加しました。より多くの企業が、基本的なインテリジェンスが自社にとって重要であり、基盤モデル技術を構築する必要があることを認識しています。
第二に、モデルのサイズは20倍、30倍、40倍に増加しています。これらのモデルをトレーニングするために必要な計算量は、モデルのサイズだけでなく、マルチモーダル機能、強化学習機能、合成データ生成機能のために、非常に大きく増加しています。これらのモデルをトレーニングするために使用するデータ量は本当に膨大になっています。
そしてもう1つの理由は、もちろんBlackwellが信じられないスピードでトークンを生成するためにも使用されることです。これらすべての要因が重なって、Blackwellへの需要は非常に高くなっています。
以前お話しした加速ライブラリはすべてありますが、その上に2つの非常に重要なプラットフォームがあります。1つはNVIDIA AI Enterprise、もう1つはNVIDIA Omniverseと呼ばれています。それぞれについて手短に説明させていただきます。
まずNVIDIA AI Enterpriseですが、これは大規模言語モデルと基本的なAI機能が、エージェントと呼ばれるものを作成できるレベルに達した時代です。ストリーミングデータ、ビデオデータ、言語モデルデータなど、あらゆる種類のデータを理解できる大規模言語モデルです。
最初の段階は認識、2番目は与えられた観察に基づく推論で、ミッションは何か、そのタスクを実行するために何をする必要があるかを考えます。エージェントはそのタスクを他のタスクのステップに分解し、必要なことを推論し、他のAIモデルと接続します。
たとえば、PDFを理解するモデル、画像を生成できるモデル、独自のデータベースからAI情報やセマンティックデータを取得できるモデルなどです。これらの大規模言語モデルは、エージェントと呼ばれる中央の推論大規模言語モデルに接続されています。
これらのエージェントはあらゆる種類のタスクを実行できます。マーケティングエージェント、カスタマーサービスエージェント、チップ設計エージェントなどです。NVIDIAにはチップ設計を支援するエージェントが会社中にいます。ソフトウェアエンジニアリングエージェント、マーケティングキャンペーン、サプライチェーン管理などもあります。
私たちは従業員をスーパー従業員にする支援エージェントを持つことになります。これらのエージェントつまりエージェント型AIモデルは、すべての従業員を強化し、より生産的にします。
これらのエージェントを会社に導入する方法は、新入社員を受け入れる方法と変わりません。トレーニングカリキュラムを与え、スキルの使い方や会社の語彙を理解させるようにファインチューニングし、評価システムで評価します。また、ガードレールを設定することもできます。
たとえば、会計エージェントにはマーケティングをさせない、マーケティングエージェントには四半期末の収益報告をさせないなどです。これらのエージェントにはそれぞれガードレールが設定されています。このプロセス全体を本質的にエージェントのライフサイクルスイートのライブラリにまとめ、それをNemoと呼んでいます。
私たちのパートナーは、これらのライブラリを自社のプラットフォームに統合して、エージェントの作成、導入、改善をライフサイクルとして可能にするために私たちと協力しています。これが私たちの言うNVIDIA Nemoです。一方でライブラリがあり、もう一方でその出力はNimsと呼ばれるAPI推論マイクロサービスです。
本質的にこれはAIを構築する工場であり、Nemoはエージェントの導入と運用を支援するライブラリスイートです。最終的な目標は多くのエージェントを作ることです。ここインドでは、私たちと協力しているパートナーがいます。MV、エコシステムについて皆さんに説明してもらえますか？
はい、ジェンセン。私が後ろに立っていて印象に残った言葉は「Mystique（神秘）」でした。これはインドの神秘です。ジェンセンは12ヶ月前にもここにいて、インドの豊かなステップをどのようにエンコードするのかという深い質問をしました。
それはすべてインフラストラクチャから始まりました。わずか12ヶ月で、Yotaが最先端のインフラを構築し、Tatasがライブに向かっています。E2E2は長年にわたって優れたコンピューティングインフラを提供してきました。このコンピューティング能力によって、インドの最大の問題の1つであるコミュニケーションを解決することができました。
ジェンセンが言ったように、私たちは多くの言語を話します。彼は1500キロメートルと言いましたが、皆さんご存知の通り、50キロメートルごとに方言が変わります。私たちは英語だけを話すわけではありません。英語を話し、南部出身であればタミル語も少し混ざります。
これをどのように機能させるかは、私たちのパートナーの仕事です。Seramは典型的な例です。Seramは基本的にインドの会話を支援する取り組みを始めました。音声から音声への変換を決意し、その過程でマルチモーダルな言語がどのように機能するか、どのようにしてパフォーマンスを確保するかを理解する必要がありました。
利用可能なインフラストラクチャがあったため、彼らは非常に早く登場することができました。同様に、Bhat GPTからのプロジェクトも見てきました。これは主にアカデミアで行われてきた仕事です。インドのアカデミアはアイデアが豊富で、アイデアを現実に変えたいと思うたびにインフラが必要でした。
今日、IITや他の組織で行っている仕事は、すべてが結集してインドが抱える重要な課題を解決した結果です。言語の問題が解決されただけでなく、インドには多くのメガチャレンジがあることも素早く認識しました。
ミシェルほどインドを愛している人はいません。よく話すインド人と健康的なインド人は常に違いを生みます。そのため、健康に取り組んでいる企業があります。多くの人が知っているように、健康管理は課題でしたが、SCK TupleCureからの診断は本当にこれらの課題の解決を支援しています。
その約束とともに、ジェンセン。それは素晴らしい、健康で、そうです、健康でよく話せる。重要なことは、AIを適用して従業員の生産性を向上させるために、パートナーの完全なエコシステムが必要だということです。
インドがITのバックオフィス業務、ソフトウェアの提供、ソフトウェアの生産に焦点を当てていた時代から、次世代はAIの生産と提供に関するものになります。ご存知の通り、ソフトウェアのコーディングとAIの提供は根本的に異なりますが、劇的にインパクトが大きく、信じられないほど刺激的です。
この産業がインドの、世界中のすべての企業がエージェントの恩恵を享受し、すべての異なる機能にわたってAIの恩恵を享受し、それを大規模に展開できるようにする能力。他に誰にできるでしょうか？これは本当に素晴らしい機会です。
私たちの仕事はあなたがたがAIを構築し、展開するのを支援することです。あなたがたの仕事は、これらのライブラリと私たちが持つ能力を、あなたがたの信じられないIT能力、ソフトウェア能力と組み合わせて、エージェントを作成し、すべての企業がその恩恵を受けられるようにすることです。
これが第一の部分です。第二の部分は、エージェントの後に何が起こるかです。すべての企業には従業員がいますが、ほとんどの企業の目標は何かを構築し、何かを生産し、何かを作ることです。
人々が作るものには、工場、倉庫、車、飛行機、電車、船などがあります。コンピュータやサーバー、NVIDIAが構築するサーバー、電話など、あらゆるものです。最大の産業の企業の多くは、最終的に何かを生産します。ITのようなサービスの生産もありますが、多くの顧客は何かを生産することに関わっています。
次世代のAIは物理的な世界を理解する必要があります。私たちはそれを物理的AIと呼んでいます。物理的AIを作るために、私たちは3つのコンピュータが必要で、そのために3つのコンピュータを作りました。
たとえばBlackwellはDGXコンピュータのリファレンスデザインとアーキテクチャで、モデルのトレーニング用です。そのモデルは洗練される場所、学習する場所、物理的能力やロボット能力を適用する場所が必要です。私たちはそれをOmniverseと呼びます。物理法則に従う仮想世界で、ロボットがロボットとしての学習を行うことができます。
トレーニングが終わると、そのAIモデルは実際のロボットシステムで動作することができます。そのロボットシステムは、車、ロボット、自動運転車、自律移動ロボット、ピッキングアーム、ロボット化された工場全体や倉庫全体などかもしれません。そのコンピュータをAGX Jetson AGXと呼びます。
トレーニング用のDGX、そしてデジタルデジタルツインで、そしてトレーニング後のモデルは実際のロボットシステムで動作します。
ここインドでは、この基盤、この能力のエコシステムを活用して世界中の物理的AIシステムの構築を支援する素晴らしいエコシステムがあります。Adverbは最大のロボティクス企業の1つで、ロボティクスを構築し、より重要なことに、最適化が行われるデジタルツインに組み込んでいます。物理世界からのすべての入力をロボットに教えています。
この取り組みが行われているだけでなく、私たちのシステムインテグレーターであるAsenta、TCS、Tech Mahindraがその知識をインドだけでなく、インドの外へも広げています。インドのために、そしてインドからグローバルに向けて。ローカルで始めてグローバルに成長するということですね。その通りです。素晴らしい。ミシェル、ありがとうございます。
私が今話したことすべてをまとめるために短いビデオを作りました。皆様、どうぞお座りください。始めようとしています。特別なゲストがいます。