NVIDIA Isaac Labを使用したシミュレーションで１級のロボット学習法

2024年8月22日 16:03

この記事はNvidia developer向けのblogを翻訳したものです。

Fast-Track Robot Learning in Simulation Using NVIDIA Isaac Lab
Jul 29, 2024
By Amulya Vishwanath and Khannah Shaltiel

ロボットは、新しいスキルを容易に学び、周囲に適応する適応性があり。しかし、従来のトレーニング方法は、新しい状況で学習したスキルを制限する可能性があります。これは知覚と行動のギャップ、およびさまざまなスキルを移す際の課題です。

NVIDIA Isaac Labは、ロボット学習のオープンソースのモジュラーフレームワークです。

トレーニング向けのIsaac Labは、AI機能の物理シミュレーションを提供します。

Isaac Labは、模倣学習(人間を模倣する)と強化学習(試行錯誤による学習)の両方をサポートし、あらゆるロボットの実施形態のトレーニングアプローチに柔軟性を提供します。
ロボットメーカーが変化するビジネスニーズに合わせてロボットスキルを追加または更新するのに役立つトレーニングのためのユーザーフレンドリーな環境を提供します。

多くの業界は、ヒューマノイドロボットを訓練するためにIsaac Labを使用しています。
GR1ヒューマノイドロボットは人間のような自由度を持つFourier Intelligence製で、
メンティーボットは家庭から倉庫用に構築されメンティーロボティクス製です。

図1。NVIDIA Isaac Labを使用して訓練されたFourier Intelligenceヒューマノイドロボット

ORBIT-Surgicalは、外科医を支援し、精神的な作業負荷を軽減するために、ダヴィンチリサーチキット(dVRK)で訓練するIsaac Labシミュレーションフレームワークです。フレームワークは、NVIDIA RTX GPUで実行される強化学習と模倣学習を使用して、ロボットがリジッドオブジェクトとソフトオブジェクトの両方を操作できるようにします。

さらに、NVIDIA Omniverseは、実際の病院の手術室のビデオで手術ツールをセグメント化する忠実度の高い合成データを生成するのに役立ちます。

Boston Dynamicsは、Isaac LabとNVIDIA Jetson AGX Orinを使用して、シミュレーションされたポリシーを推論のために直接展開でき、展開プロセスを簡素化しています。

詳細については、Sim-to-Real Gapの閉鎖：NVIDIA Isaac Labを使用したトレーニングスポットQuadruped Locomotionを参照してください。

この記事では、NVIDIA Isaac Labの主要な機能の概要と、NVIDIA Humanoid Robot Developer ProgramのIsaac Labエコシステムコラボレーターのプレビューを提供します。

また、NVIDIA OSMOプラットフォームを使用してロボットワークフローを拡張する方法についても説明しています。

加速ロボット学習のためのIsaac Lab機能

Isaac Labで利用可能な主な機能には、
シームレスで効果的なロボットポリシートレーニングのための強化と模倣学習、
PhysXが提供する迅速かつ正確な物理シミュレーション、
ベクトル化されたレンダリングのためのタイルレンダリングAPI、
堅牢性と適応性を向上させるためのドメインランダム化、
クラウドでの実行のサポートが含まれます。

1つのツールで複数のロボットトレーニングテクニック:
Isaac Labは、強化学習と模倣学習するシミュレーションアプリケーションです。

図2。NVIDIA Isaac Labは、複数の訓練ポリシーで複数の実施形態を可能にします

強化学習(RL):

ロボットは試行錯誤して学習し、新しい状況に適応し、いくつかのタスクで人間のパフォーマンスを上回ります。
しかし、RLは時間がかかる傾向がある。
ロボット学習を導く慎重に設計された報酬機能が必要です。
Isaac Labは、環境データを関数引数と戻り値型に変換するさまざまなライブラリへのラッパーを通じてRLのサポートを提供します。

図3。MenteeBotは、NVIDIA Isaac Lab学習フレームワークを使用して訓練を受けました

模倣学習:

ロボットは人間のデモンストレーションを模倣して学習します。
この方法は、特定の動きや行動を持つタスクに最適で、より少ないデータで、人間の専門知識を活用します。
模倣学習は、学習フレームワークRobomimicでHDF5にデータを保存できます。

タスク設計ワークフローの柔軟性：

マネージャーベースとダイレクトの2つの方法でロボットトレーニング環境を構築します。マネージャーベースのワークフローを使用すると、環境のさまざまな部分を簡単に切り替えることができます。複雑なロジックのパフォーマンスを最適化するには、直接ワークフローが推奨されます。

タイルレンダリング:

Isaac Labは現在、ロボット学習のための高忠実度レンダリングを提供する唯一の業界ツールであり、シミュレーションと現実のギャップを減らすのに役立ちます。
タイルレンダリングは、複数のカメラからの入力を1つの大きな画像に統合することで、レンダリング時間を短縮します。これは、レンダリングされた出力がシミュレーション学習のための観察データとして直接機能するビジョンデータを処理するための合理化されたAPIを提供します。

マルチGPUとマルチノードのサポート:

複雑な強化学習環境では、複数のGPU間でトレーニングをスケールアップすることが望ましいかもしれません。これは、PyTorch分散フレームワークを使用してIsaac Labで可能です。

図4。PyTorch分散フレームワークを通じて、Isaac Labで複数のGPUを拡張する

ベクトル化されたAPI:

強化されたビューAPIを利用して、使いやすさを向上させ、バッファを事前に初期化する必要がなくなり、シーン内の複数のビューオブジェクトをサポートするだけでなく、シーン内のさまざまなオブジェクトのインデックスをキャッシュします。

パブリッククラウドへの簡単な展開:

AWS、GCP、Azure、およびAlibaba Cloudでの展開をサポートし、コンテナでの効率的なRLタスク実行のためのDocker統合、およびOSMOを使用したマルチGPUおよびマルチノードジョブのシームレスなスケーリングをサポートします。

正確な物理シミュレーション：

変形可能なサポートを含む、Isaac Labを通じて最新のGPU加速PhysXバージョンを活用し、ドメインランダム化によって増強された迅速かつ正確な物理シミュレーションを保証します。

NVIDIA OSMOでロボットワークフローを拡張する

NVIDIA OSMOは、さまざまなタスクのオーケストレーション、視覚化、管理に役立つクラウドネイティブワークフローオーケストレーションプラットフォームです。
これには、合成データの生成、トレーニング基礎モデル、およびあらゆるロボットの実施形態のソフトウェアインザループシステムの実装が含まれます。

NVIDIA OSMOを使用すると、企業は広範な社内IT専門知識がなくてもロボットを効率的にトレーニングできます。NVIDIA OSMOへの早期アクセスをリクエストしてください。

図5。クラウドネイティブのNVIDIA OSMOプラットフォームでタスクをオーケストレーション、視覚化、管理する

ヒューマノイドロボット学習のためのAI基盤モデル

GR00Tは、ヒューマノイドロボットの汎用基盤モデルを開発するイニシアチブです。
Isaac Labは、1X、The AI Institute、Boston Dynamics、ByteDance Research、Field AI、Fourier、Galbot、LimX Dynamics、Mentee、NEURA Robotics、RobotEra、Skild AIなど、業界の協力者がロボット学習を実行できるようにしています。

ヒューマノイドダイナミクスのモデリングの複雑さは、自由度が追加されるごとに指数関数的に増加します。
RLと模倣学習は、さまざまなタスクや環境で機能するヒューマノイドのポリシーを開発する唯一のスケーラブルな方法です。

ビデオ1。NVIDIA Isaac Sim、Isaac Lab、OSMO、GR00Tを使用して、物理AIのロボットトレーニングを合理化

ヒューマノイドロボットでロボットアプリケーションを構築する企業は、NVIDIAヒューマノイドロボット開発者プログラムに応募するよう招待されています。

始める
NVIDIA Isaac Labは、カスタマイズ可能な環境、センサー、トレーニングシナリオを備えたモジュラー機能と、ロボットの実施形態が迅速なデモンストレーションから学ぶのに役立つ強化学習や模倣学習などの技術を提供します。

ロボットの実施ポリシーのトレーニングをより早く始める準備はできましたか?
Isaac LabはBSD-3ライセンスの下でオープンソース化されており、GitHubのisaac-sim/IsaacLabから入手できます。

既存のNVIDIA Isaac Gym（Isaac Labの前身）ユーザーの場合は、ロボット学習の最新の進歩と、ロボットトレーニングの取り組みを加速するための強力な開発環境にアクセスできるように、Isaac Labに移行することをお勧めします。

SIGGRAPH 2024で、NVIDIAのCEO Jensen Huangは、Metaの創設者兼CEOであるMark ZuckerbergとWIRED Sr.との炉端のチャットに座った。
SIGGRAPH 2024でNVIDIAの炉端のチャットやその他のセッションをオンデマンドでご覧ください。