NVIDIA解説：ロボティクス・シミュレーションとは
ロボティクス・シミュレーションによって、開発者は現実世界を物理ベースでデジタル表現したロボットを仮想的に訓練、テスト、検証することができる。
ロボットは倉庫で商品を移動させたり、食品を包装したり、自動車の組み立てを手伝ったりしている。
成功の鍵は2つある：
PhysicalAIとロボティクス・シミュレーションだ。
PhysicalAI
物理的な世界を理解し、相互作用できるAIモデルのことである。PhysicalAIは、自動運転車、産業用マニピュレーター、モバイルロボット、ヒューマノイド、さらには工場や倉庫のようなロボットが運営するインフラなど、自律的な機械やロボットの次の波を具現化する。
デジタル世界におけるロボットの仮想試運転では、ロボットはまずロボット・シミュレーション・ソフトウェアを使って訓練されてから、実世界のユースケースに配備される。
ロボットシミュレーション
高度なロボット工学シミュレータは、物理的なロボットを必要とせずに、仮想ロボットのロボット学習とテストを容易にする。物理学の原理を適用し、実世界の状況を再現することで、これらのシミュレータは、物理的なロボットに配備する機械学習モデルを訓練するための合成データセットを生成する。
シミュレーションは、最初のAIモデルのトレーニングに使用され、その後、ソフトウェアスタック全体の検証に使用されるため、テスト時に物理的なロボットの必要性を最小限に抑えることができます。
NVIDIA Omniverseプラットフォーム上に構築されたリファレンスアプリケーションであるNVIDIA Isaac Simは、正確なビジュアライゼーションを提供し、高度なロボットシミュレーションと検証のためのユニバーサルシーン記述（OpenUSD）ベースのワークフローをサポートします。
NVIDIAの3コンピュータフレームワークがロボットシミュレーションを促進
ロボット技術の訓練と展開には3台のコンピュータが必要です。
スーパーコンピュータ
強力な基礎および生成AIモデルを訓練し、微調整するためのスーパーコンピュータ。
ロボットシミュレーションプラットフォーム
ロボットシミュレーションとテストのための開発プラットフォーム
オンボードコンピューター
訓練されたモデルを物理的なロボットに展開するためのオンボード・ランタイム・コンピューター。
シミュレートされた環境で十分なトレーニングが行われた後、初めて物理的なロボットを使用することができます。
NVIDIA DGXプラットフォーム
モデルをトレーニングするための最初のコンピューティングシステムとして機能します。
NVIDIA Omniverse
NVIDIA OVXサーバ上で動作するNVIDIA Omniverseは、第二のコンピュータシステムとして機能し、物理AIのテスト、最適化、デバッグのための開発プラットフォームとシミュレーション環境を提供します。
NVIDIA Jetson Tho
オンボードコンピューティング用に設計されたNVIDIA Jetson Thorロボットコンピュータは、第3のランタイムコンピュータとして機能します。
誰がロボティクスシミュレーションを使うのか？
今日、ロボットテクノロジーとロボットシミュレーションは、さまざまなユースケースにおいてオペレーションを飛躍的に向上させています。
Delta Electronics
電力・熱技術の世界的リーダーであるDelta Electronics社は、生産ラインで製品の欠陥を検出するための光学検査アルゴリズムのテストにシミュレーションを使用しています。
Wandelbots
ディープテックのスタートアップであるWandelbots社は、Isaac Simを自社のアプリケーションに統合することでカスタムシミュレータを構築し、エンドユーザーがシミュレーションでロボットのワークセルを簡単にプログラムし、モデルを実際のロボットにシームレスに転送できるようにしている。
ボストン・ダイナミクス
強化学習研究者キットを通じて研究者や開発者を活性化している。
フーリエ
ロボット工学企業のフーリエは、ロボットと人間の緊密な共同作業に必要な精度と敏捷性を備えたヒューマノイドロボットを訓練するために、実世界の状況をシミュレートしています。
Galbot
NVIDIA Isaac Simを使用して、ロボット企業のGalbotは、5,300以上のオブジェクトに対する100万以上のShadowHand把持を含む、器用なロボット把持のための包括的なシミュレーションデータセットであるDexGraspNetを構築しました。このデータセットは、微細な運動スキルを必要とする複雑なタスクを達成するために、あらゆる器用なロボットハンドに適用することができます。
ロボティクスシミュレーションによるプランニングと制御の成果
複雑でダイナミックな産業環境において、ロボティクスシミュレーションはデジタルツインを統合し、プランニング、制御、学習効果を高めるように進化しています。
シミュレートされたセンサー信号を用いて行動を学習
開発者は、コンピュータ支援設計モデルをロボットシミュレータにインポートして仮想シーンを構築し、アルゴリズムを採用してロボットのオペレーティングシステムを作成し、タスクと動作のプランニングを可能にします。従来の手法では制御信号を規定する必要があったが、機械学習へのシフトにより、ロボットは模倣や強化学習のような手法を通じて、シミュレートされたセンサー信号を用いて行動を学習することができる。
シミュレーションで物理AIを開発
この進化は、製造組立ラインのような複雑な設備におけるデジタル・ツインでも続いており、開発者はリアルタイムAIを完全にシミュレーションでテストし、改良することができる。このアプローチは、ソフトウェア開発の時間とコストを節約し、問題を予測することでダウンタイムを削減します。例えば、NVIDIA Omniverse、Metropolis（物体配置）、およびcuOpt(AMR ルーティング）を使用することで、開発者は産業インフラに導入する前に、デジタルツインを使用してシミュレーションで物理AIを開発、テスト、改良することができます。
高忠実度物理ベースシミュレーションのブレークスルー
高忠実度の物理ベースのシミュレーションは、仮想環境での実世界の実験を通じて、産業用ロボット工学を飛躍的に発展させました。
NVIDIA PhysXでアクチュエータの正確な制御
OmniverseとIsaac Simに統合されたNVIDIA PhysXは、ロボットマニピュレータ、剛体および軟体のダイナミクス、ビークルダイナミクス、およびロボットが物理法則に従うことを保証するその他の重要な機能のための微細運動および粗大運動のスキルを開発するロボット技術者を支援します。これには、アクチュエータの正確な制御や、正確なロボットの動作に不可欠なキネマティクスのモデリングも含まれます。
IsaacLabはシミュレートから物理ロボットへのシームレスな方針移行
シミュレートからリアルへのギャップを埋めるために、IsaacLabは強化学習と模倣学習のための高忠実度のオープンソース・フレームワークを提供し、シミュレート環境から物理的ロボットへのシームレスな方針移行を容易にします。GPU並列化により、Isaac Labはトレーニングを加速し、パフォーマンスを向上させ、産業用ロボットの複雑なタスクをより達成しやすく安全なものにします。
Isaac SimとIsaac Labを使った運動強化学習ポリシーの作成については、こちらの開発者ブログをご覧ください。
自律性のための無衝突運動のティーチング
産業用ロボットのトレーニングは、工場やフルフィルメントセンターのような特定の環境で行われることが多く、シミュレーションは様々なタイプのロボットや混沌とした環境に関する課題に対処するのに役立ちます。このようなシミュレーションの重要な側面は、未知の乱雑な環境で衝突のないモーションを生成することです。
カメラ画像を用いて環境の3Dマップを生成する問題点
このような課題に対処しようとする従来のモーションプランニングアプローチは、未知の環境や動的な環境では不十分な場合があります。SLAM（ローカライゼーションとマッピングの同時実行）は、複数の視点からのカメラ画像を用いて環境の3Dマップを生成するために使用できます。しかし、物体が移動したり環境が変化したりすると、これらのマップを修正する必要があります。
Motion Policy Networks（MπNets）で300万のモーションプランニング
NVIDIA Roboticsの研究チームとワシントン大学は、単一の固定カメラのデータストリームを使用して、衝突のないリアルタイムモーションを生成するエンドツーエンドのニューラルポリシーであるMotion Policy Networks（MπNets）を発表しました。MπNetsは、300万以上のモーションプランニング問題と7億のシミュレーション点群に対してトレーニングされ、未知の実環境を効果的にナビゲートします。
CabiNet点群ベースの衝突モデルも使う
MπNetsモデルが軌道の直接学習を適用する一方で、研究チームはCabiNetと呼ばれる点群ベースの衝突モデルも開発し、手続き的に生成された65万以上のシミュレーション・シーンで訓練しました。
CabiNetモデルを使用することで、開発者は、平らな卓上のセットアップを超えて、未知のオブジェクトの汎用的なピックアンドプレースポリシーを展開することができます。大規模な合成データセットでトレーニングすることで、実データを必要とすることなく、実際の厨房環境における分布外のシーンにモデルを一般化することができました。
開発者がロボット・シミュレータの構築を始めるには
物理的に正確なシミュレーション・パイプラインを開発するためのテクニカル・リソース、リファレンス・アプリケーション、その他のソリューションについては、NVIDIA Roboticsシミュレーション使用例ページをご覧ください。
ロボット開発者は、複数のロボットトレーニング技術をサポートするNVIDIA Isaac Simを利用することができます：
知覚AIモデルのトレーニングのための合成データ生成
ロボットスタック全体のSoftware-in-the-Loopテスト
IsaacLabによるロボット・ポリシーのトレーニング
開発者は、ROS2とIsaac Simを組み合わせて、ロボットシステムのトレーニング、シミュレーション、検証を行うこともできます。Isaac SimからROS 2へのワークフローは、Gazeboなどの他のロボットシミュレータで実行されるワークフローに似ています。
ロボットモデルを事前に構築されたIsaac Sim環境に導入することから始まり、ロボットにセンサーを追加し、関連するコンポーネントをROS2アクショングラフに接続し、ROS 2パッケージを通じてロボットを制御してシミュレーションする。
#PhysicalAI #NVIDIAIsaacSim #Omniverse #OpenUSD #NVIDIADGX #NVIDIAJetsonThor #DeltaElectronics #Wandelbots #Galbot #DexGraspNet #模倣学習 #強化学習 #NVIDIAPhysX #IsaacLab #無衝突運動ティーチング #SLAM #MotionPolicyNetworks #CabiNet #NVIDIARobotics #ROS2 #Software -in-the-Loopテスト