NVIDIA NIMはApple Vision Proを用いてロボットテーチングを大幅短縮

世界有数のロボットメーカー、AIモデル開発者、ソフトウェアメーカーに対し、次世代のヒューマノイドロボットを開発、訓練、構築するためのプラットフォームを提供する。

「Boston DynamicsとNVIDIAは、ロボット工学の可能性の限界を押し広げるために緊密に協力してきた長い歴史があります。Apple Vision Proを使うのは、クラス最高のテクノロジーにアクセスできる素晴らしい方法です。」

Apple Vision Proが使える２つの NVIDIA NIMとOSMOを新たにリリース
１）MimicGen NIMは、Apple Vision Proで記録された遠隔操作データから合成モーションデータを生成します。
２）Robocasa NIMはOpenUSDでロボットタスクとシミュレーション環境を生成します。
３）NVIDIA OSMOは、ユーザーは、オンプレミスかクラウドかを問わず、分散コンピューティングリソース間で複雑なロボット開発ワークフローをオーケストレーションし、拡張することができます。OSMOは、ロボットのトレーニングとシミュレーションのワークフローを大幅に簡素化し、デプロイと開発のサイクルタイムを数ヶ月から1週間以内に短縮します。

Apple Vision ProとNVIDIAを使う利点
ユーザーは、ヒューマノイド、自律移動ロボット、産業用マニピュレーターのために、
１）合成データの生成、
２）モデルのトレーニング、
３）強化学習の実施、
４）Software-in-the-Loopテストの実施
など、さまざまなタスクを可視化して管理することができます。

ヒューマノイドロボット開発者のための新旧データキャプチャ
１）遠隔操作法（旧）
ヒューマノイドロボットをトレーニングするには、膨大な量のデータが必要です。
人間の実演データを取得する遠隔操作法は時間のかかるプロセスになってきています。
２）Apple Vision Pro NVIDIA MimicGen法（新）
少数の遠隔キャプチャ人間デモから、大量の合成モーションと知覚データを生成

操作方法
１）開発者は、Apple Vision Proを使って少数の遠隔操作デモを撮影録画します。
２）NVIDIA Isaac Simで録画をシミュレートし、
３）MimicGen NIMマイクロサービスを使って録画から合成データセットを生成する。
４）Robocasa NIMはOpenUSDで、ロボットタスクとシミュレーション環境を生成
５）Project GR00Tヒューマノイド基礎モデルを実データと合成データで訓練する
６）NVIDIA Jetson Thorでヒューマノイドロボットコンピュータを作動させる
７）NVIDIA OSMOはジョブを異なるリソースに割り当てる

Nvidia ロボット開発プラットフォームを採用している会社
１）Fourier
汎用ロボットプラットフォーム企業であるFourier社は、シミュレーション技術を使用して学習データを合成的に生成することの利点を理解しています。
「ヒューマノイドロボットの開発は非常に複雑で、実世界から取り込んだ膨大な量のデータを必要とします。NVIDIAの新しいシミュレーションとジェネレーティブAI開発者ツールは、私たちのモデル開発ワークフローのブートストラップと高速化に役立ちます。」

２）その他の有名ロボット開発会社
1x、Boston Dynamics、ByteDance Research、
Field AI、Figure、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra、Skild AI