NVIDIA CES基調講演：NVIDIA Cosmos: 世界初の「世界基盤モデル」を開発：AGIは完成し「物理」に進む

NVIDIAがCESで発表した「Cosmos」は、従来のLLM（大規模言語モデル）が扱う言語データとは異なり、物理現象や映像データを理解しシミュレーションする「世界基盤モデル」としています。即ちこの世界をモデルで表現する手法でそのために莫大な学習をしてあります。
ユーザーはテキストや音声で、物理量を含んだシミュレーションとそのバリエーションをを簡単に呼び出し、作成できます。私は、OpenAIがLLMでセンセーションを起こしましたが、２０１５年はNVIDIAの「世界基盤モデル」がロボット、工場で注目されると思います。２０１５年既にAGIはエージェントして完成しました。次の目玉は「世界基盤モデル」です。Cosmosは、20万時間のビデオデータを使ってトレーニングされています。このデータには、動的な自然現象や人間の動作、速いカメラワークなど、物理世界のダイナミクスに焦点を当てたものが含まれています。これにより、AIは物理世界を理解する能力を獲得します。

これが「物理AI」の時代の幕開けです。NVIDIAは、世界中の開発者エコシステムと協力して、この次なるAI革命を推進していきます。

Cosmosの基本原理

世界基盤モデルとは？

LLM（大規模言語モデル）は単語や文章を予測する仕組みですが、Cosmosは物理現象を理解し再現する「世界モデル（World Foundation Model）」として設計されています。次のような能力が特徴です：

• 物理法則の理解：重力、摩擦、慣性、反射といった現実世界の法則を学習。

• 因果関係の認識：物理的なアクションが引き起こす結果を理解。

• オブジェクトの持続性の理解：見えなくなった物体が依然として存在していることを認識。

• 空間的関係の把握：幾何学的および空間的な構造を正確に理解。

これにより、Cosmosは物理的世界をリアルタイムでシミュレーションし、アクションのトークンを生成することで、ロボティクスやその他の分野に応用できます。

シミュレーションと合成データ生成

CosmosはNVIDIA Omniverseと密接に連携しており、フォトリアルで物理的に忠実な合成データを生成します。これにより次のような用途が可能になります：

• AIモデルのトレーニング：自動運転やロボティクスの動作学習に使用。

• 性能のテストと検証：複数のシナリオでAIの動作を検証。

• ポリシーモデルの強化学習：動的システムの性能最適化に寄与。

Cosmosは20万時間以上のビデオデータを用いて学習されており、人間の動作や自然現象を高精度で再現可能です。

リアルタイムトークン生成

Cosmosの重要な機能の一つが、リアルタイムでトークンを生成し、複数の未来のシナリオをシミュレーションする能力です。これにより、AIは「先見性」を得て最適な行動パスを選択できます。
このプロセスは、特に自動運転や複雑なロボティクスタスクにおいて重要です。

CosmosとOmniverseの連携

Cosmosの真価は、NVIDIA Omniverseとの統合によってさらに拡張されます。Omniverseは物理シミュレーションに基づくプラットフォームで、以下のような機能を提供します：

• 物理的真実（Ground Truth）に基づくデータ生成：AIモデルの信頼性を高めるデータ提供。

• 複雑なシミュレーション環境の構築：交通、工場、自動運転車などの現実世界を模倣。

• データパイプラインの高速化：合成データ生成から検証までの全プロセスを効率化。

この連携により、AIは現実世界に近い環境で訓練され、より実用的な応用が可能になります。

各要素の役割

Omniverse: 3D、シミュレーション、コラボプラットフォームです。異なるデータを連携させることができます。OmniMap: Omniverseの中で、地図で運転可能な3D環境（DVE）を構築する機能です。
Edify 3DS: Omniverseの中で、シミュレーションシーンを作成する。アセットの検索、生成、配置を行う

Cosmos

Omniverseで作成されたシーンを活用して、大量のフォトリアリスティックなデータを生成するAIベースのツールです。主に、自律走行車のAIモデルを訓練するためのデータを生成する。

連携の仕組み
環境構築 (Omniverse + OmniMap & Edify 3DS): まず、OmniMapで作成された地図データや、Edify 3DSで作成された3Dシーンが、Omniverseプラットフォームに集められます。これにより、シミュレーションの基礎となる環境が作られます。
データ生成 (Cosmos): Omniverseで作られた環境が、Cosmosに渡されます。Cosmosは、この環境を元に、AIを用いて大量のフォトリアリスティックな運転シミュレーションデータを生成します。様々な天候、時間帯、交通状況など、多様な状況を再現できます。

CosmosとMap/Edifyの関係

Cosmosは、Omniverse上で作られた3D環境データを利用して、AIによるデータ生成を行うツールです。Cosmosは、OmniMapで作成された地図データを活用して、様々な運転シナリオを作成できます。
Cosmosは、Edify 3DSで作成されたシーンデータを活用して、よりリアルなシミュレーションデータを生成できます。

物理AIの未来

次に物理AIについてお話しします。これを理解するために、まずは大規模言語モデルの仕組みを簡単に振り返ります。通常、言語モデルは、左側に与えられたコンテキストやプロンプト（質問など）をもとにトークンを1つずつ生成し、最終的な出力を作り上げます。このモデルの中核は非常に大規模で、数十億ものパラメータを持っています。モデルはトークン間の関係性を計算し、それをすべての層で処理して次のトークンを生成します。このプロセスが非常に計算集約的であり、Blackwellのような高性能なハードウェアが必要になる理由です。

では、プロンプトが質問ではなく「指示」だった場合はどうでしょう？たとえば、「あそこに行って、その箱を取って戻ってきて」というようなリクエストです。そして、トークンとして生成されるのがテキストではなく、アクション（行動）トークンだった場合を考えてみてください。このような仕組みは、ロボティクスの未来にとって非常に現実的で、間近に迫った技術革新です。

しかし、そのためには、言語モデル（GPT）のようなものではなく、「世界モデル」を作成する必要があります。この「世界モデル」は物理的な世界の言語を理解する必要があります。たとえば、重力、摩擦、慣性といった物理法則や、幾何学的および空間的な関係、因果関係などを理解しなければなりません。また、オブジェクトの永続性（Object Permanence）も理解する必要があります。たとえば、ボールがキッチンのカウンターを転がって反対側に落ちたとしても、それが「消えた」のではなく、まだそこに存在することを認識しなければなりません。

NVIDIA Cosmos: 世界初の「世界モデル」で物理現象表現

これを実現するために、本日、私たちは大きな発表を行います。それが「NVIDIA Cosmos」です。Cosmosは、物理的な世界を理解するために設計された「世界基盤モデル」（World Foundation Model）です。以下に、Cosmosの特徴を紹介します：

• 物理AIのための新たなフロンティア

Cosmosは、動的な自然現象や人間の動き、手の操作など、物理的な世界のデータを学習しています。このモデルは、クリエイティブなコンテンツを生成するためではなく、物理世界を理解するために設計されています。

• シミュレーションと合成データ生成

NVIDIA Omniverseと連携することで、物理ベースで地理的に正確なシナリオを作成し、それをCosmosに入力してフォトリアルで物理的に忠実な合成データを生成します。これにより、AIモデルのトレーニング、ポリシーモデルの強化学習、モデル性能のテストと検証が可能になります。

• リアルタイムトークン生成

Cosmosはリアルタイムでトークンを生成し、マルチバースシミュレーションの力を活用してAIモデルに「先見性」を提供します。これにより、あらゆる未来の可能性をシミュレーションし、適切な選択を行えるようになります。

Cosmosは、20万時間のビデオデータを使ってトレーニングされています。このデータには、動的な自然現象や人間の動作、速いカメラワークなど、物理世界のダイナミクスに焦点を当てたものが含まれています。これにより、AIは物理世界を理解する能力を獲得します。

これが「物理AI」の時代の幕開けです。NVIDIAは、世界中の開発者エコシステムと協力して、この次なるAI革命を推進していきます。

NVIDIA Cosmosは、物理的な世界を理解するために設計された初の「世界基盤モデル」（World Foundation Model）として、物理AIの新たなフロンティアを切り開いています。このモデルを活用することで、さまざまな分野での応用が可能となります。その一例をご紹介します。

Cosmosによる合成データ生成の可能性

物理AIを活用することで、AIモデルのトレーニング用データを効率的かつ精度高く生成することができます。実際の物理環境を再現するデータを用いることで、現実世界に近いシミュレーションを実現し、AIのパフォーマンスを大幅に向上させることができます。

• 多様なオブジェクトや環境の生成

　Cosmosは、多様なオブジェクト、環境、条件（例：天候、昼夜の違い、エッジケースなど）を生成することができます。このような合成データは、AIモデルのトレーニングに不可欠です。たとえば、自動運転車のAIモデルをトレーニングする際には、曇りの日、雨の日、雪の日など、さまざまな気象条件を再現する必要があります。

• 強化学習のフィードバック

　Cosmosで生成された物理的なシミュレーションデータを使用することで、強化学習（Reinforcement Learning）モデルのポリシーを改善するためのフィードバックを提供できます。これにより、ロボティクスや自動運転車のような動的システムのパフォーマンスを最適化できます。

• モデル性能のテストと検証

　Cosmosは、AIモデルの性能をテストし、検証するための仮想環境を提供します。この環境では、マルチセンサービュー（例：カメラ、LIDAR、音波センサーなど）を活用して、現実世界におけるモデルの挙動をシミュレーションすることが可能です。

Cosmosのリアルタイムトークン生成

Cosmosは、リアルタイムでトークンを生成し、AIモデルに「先見性」（Foresight）を与えます。この機能は特に、複雑な意思決定やマルチタスクを伴うシステムにおいて重要です。

• 未来のシナリオをシミュレーション

　Cosmosは、考えられるすべての未来のシナリオをシミュレーションし、それをAIモデルに提供することで、最適な行動パスを選択できるようにします。この機能は、自動運転車やロボットにとって非常に重要です。たとえば、道路上の障害物を避ける際に、どの方向に進むべきかを判断するのに役立ちます。

• マルチバースシミュレーション

　Cosmosは「マルチバースシミュレーション」とも呼ばれる技術を使用して、複数の可能性を同時に探索します。この技術により、AIモデルは単一のシナリオに限定されることなく、複数の選択肢を考慮に入れることができます。

物理AIの応用例

Cosmosは、幅広い応用分野で利用される可能性があります。以下は、その一部の例です。

1. 自動運転車

　自動運転車のAIモデルは、現実世界で直面するあらゆる状況に対応できるようにトレーニングする必要があります。Cosmosは、リアルな交通状況や天候条件を再現するシミュレーション環境を提供します。

2. ロボティクス

　ロボットのAIモデルは、物体の把握や移動、複雑なタスクの実行など、物理的な世界との相互作用を学習する必要があります。Cosmosを活用することで、これらのタスクをシミュレーション環境でトレーニングできます。

3. 製造業

　工場で使用されるロボットや自動化システムの最適化にCosmosを利用できます。たとえば、ロボットがどのように製品を組み立てるかをシミュレーションし、生産効率を向上させる方法を見つけることができます。

4. 医療分野

　手術支援ロボットやリハビリテーション機器のトレーニングにCosmosを使用することで、患者への影響を最小限に抑えながら、技術を向上させることができます。

5. 教育およびトレーニング

　Cosmosを使用して、学生や専門家が物理的な環境をシミュレーションしながら学習できる教育ツールを作成することができます。たとえば、航空機のパイロットトレーニングや建築設計のシミュレーションに役立ちます。

まとめ

Omniverseは、3D環境を構築するためのプラットフォーム。
OmniMapは、地図データを基に3D環境を作る機能（Omniverse内）。
Edify 3DSは、3Dシーンを作るツール（Omniverse内）。
Cosmosは、Omniverse環境を使い、AIで大量のデータを生成するツール。
Cosmosは、Omniverseとその関連ツール（OmniMap, Edify 3DSなど）と連携して動作することで、効率的に自律走行車のAIを訓練するためのデータを作成する、
例えるなら、
Omniverseは、料理をするための「キッチン」
OmniMapは、料理に必要な「地図（食材の位置を示す）」
Edify 3DSは、料理の「盛り付け」
Cosmosは、作った料理を元に、AIが大量の「レシピ」を生成する

Cosmos Nemo Ron Video Search

また、テキストプロンプトを使用すると、Cosmos Nemo Ron Video Searchによって、ほぼ無限の運転シナリオのバリエーションを生成できます。

Cosmosの応用分野

1. 自動運転車

Cosmosは、自動運転車のAIモデルに必要なリアルな交通状況や天候条件を再現するシミュレーション環境を提供します。以下の活用が想定されます：

• 自動運転システムの安全性テスト。

• 障害物回避やルート最適化の強化学習。

• 合成データ生成によるトレーニングデータの多様化。

2. ロボティクス

ロボットが物理的世界との相互作用を学習するために、Cosmosは次のような支援を行います：

• 物体の把握や操作動作のシミュレーション。

• 複雑なタスク（例：組み立てやピッキング）のトレーニング。

• 効率的な動作ルーチンの最適化。

3. 医療分野

手術支援ロボットやリハビリ機器のトレーニングに活用可能です。シミュレーション環境を用いることで、以下が実現します：

• 技術者のスキル向上。

• 患者へのリスク最小化。

• 手術や治療の精度向上。

4. 製造業

Cosmosは、工場の自動化システムやロボットによる製造プロセスを最適化します。例えば：

• 工場ロボットの動作計画と効率化。

• 製品品質を向上させるプロセスの改良。

• 新しい製造ラインのシミュレーションと評価。

5. 教育およびトレーニング

学生や専門家が仮想環境を通じて学ぶための教育ツールとしてCosmosが利用可能です。例：

• 航空機パイロットのシミュレーショントレーニング。

• 医療従事者の外科手術スキルトレーニング。

未来への影響と展望

Cosmosは、AIが物理世界を深く理解し操作するための基盤を提供します。この技術革新は、以下のような広範な影響を及ぼす可能性があります：

• 完全自律走行車の実現：安全性と効率性の向上に寄与。

• 汎用ロボティクスの進化：ヒューマノイドロボットや産業用ロボットの大幅な改善。

• 産業の完全自動化：生産性向上と持続可能性の実現。

• 科学研究の加速：AIによるシミュレーションが新しい発見を支援。

結論

NVIDIA Cosmosは、物理現象の理解と再現を可能にする世界初の「世界モデル」として、AIの新たな地平を切り開きました。今後、Omniverseとの連携を通じてさらに多くの産業に革命をもたらすことが期待されています。NVIDIAが推進するこの「物理AI」の未来は、私たちの生活をより良く、より効率的にする可能性を秘めています。