NVIDIA技術ブログ解説：Grootでロボット開発
GR00T-Gen：ドアを開ける、ボタンを押す、ナビゲーション
GR00T-Mimic：遠隔操作
GR00T-Dexterity：Grip（把持）
GR00T-Mobility：障害物を避けるナビゲーション
GR00T-Control：人間の持つ１９の関節コントロールライブラリー
GR00T-Perception：マルチモーダルセンシング
ReMEmbR：見たものを記憶してそこまでナビゲートする
GR00T-Gen：動作のシナリオライブラリ
OpenUSDはロボットのタスクとシミュレーション環境を生成します。
GR00T-Genは、LLMと3D生成AIモデルで、リアルな動作シナリオを提供します。
150以上のオブジェクトにまたがる2,500以上の3Dアセットを備えています。
ドアを開ける、ボタンを押す、ナビゲーションのような100以上のタスクを含みます。
GR00T-Mimic：遠隔操作
模倣学習の遠隔操作デモからモーションデータを生成します。
模倣学習ではロボットは教師の動作を観察し、再現することでスキルを習得します。
この学習プロセスにおいて重要な要素は、利用可能な実演データの量と質です。
遠隔操作では、忠実度の高いデモンストレーションデータを生成することができますが、一度にこれらのシステムにアクセスできる人数に制約があります。
GR00T-Mimicは、データ収集が容易になります。
Apple Vision Proのような空間コンピューティングデバイスを使用して、物理的な世界で限られた数の人間のデモンストレーションを収集する。
合成モーションデータを生成しデータセットをスケールアップします。
大量の合成データセットを生成し、実世界でのタスク実行を高めることです。
GR00T-Mimicをさらに進化させたSkillMimicGenもリリースしました。
SkillMimicGenは、最小限の人間のデモで実世界の操作を実現します。
GR00T-Dexterity：きめ細かな器用な操作のために
Grip（把持）には、把持ポイントの特定から動作の計画、指の制御まで、複数の複雑なコンポーネントの統合が必要でした。
多くのアクチュエータを持つロボットの場合、これらのシステムを管理すること、特に把持ミスなどの失敗に対処するためにステートマシンを使用することが、エンドツーエンドの把持を重要な課題にしています。
GR00T-Dexterityは、研究論文DextrAH-Gを活用したワークフローを紹介する。
ロボットの器用さのための方針開発に対する強化学習ベースのアプローチである。
このワークフローは、シミュレーションで訓練され、物理ロボットに展開可能な、エンドツーエンド、ピクセルからアクションへの把持システムの作成を可能にする。
このワークフローは、デプスストリーム入力による高速で反応的な把持が可能なポリシーを生成するように設計されており、新しいオブジェクトに一般化可能である。
このプロセスでは、ロボットの運動空間を定義し、把持動作を単純化する幾何学的ファブリックを作成し、並列化されたトレーニングに最適化します。
NVIDIA Isaac Labを使用し、複数のGPUで強化学習を適用することで、ファブリックに導かれたポリシーを学習し、把持動作を一般化します。
最後に、学習された方針は、模倣学習による奥行きの入力を使用して実世界で使用可能なバージョンに蒸留され、数時間以内にロバストな方針が生成されます。
GR00T-Dexterityワークフローのプレビューは、研究論文「DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics」に基づいており、NVIDIA Isaac Gym（非推奨）からIsaac Labに移行されていることに注意してください。現在Isaac Gymをお使いの方は、チュートリアルと移行ガイドに従ってIsaac Labを始めてください。
ビデオ1. NVIDIA Isaac Labを使ったシミュレーショントレーニング
ビデオ2. 幾何学模様のない把持タスクのトレーニング中のロボットの不規則な動き
ビデオ3. GR00T-Dexterityワークフローを使用した、物理的なロボットアームによるビン詰めのデモンストレーションで、ポリシーを実世界に転送しながらハードウェアの損傷を回避する。
GR00T-Mobility：障害物を避けるナビゲーション
古典的なナビゲーション手法は、乱雑な環境では苦戦し、大チューニングを要します。
一方、学習ベースのアプローチは、新しい環境への汎化に課題を抱えています。
GR00T-Mobilityは、Isaac LabのRLと模倣学習（IL）をベースにしたワークフローです。
様々な設定のモビリティ・ジェネラリストを作成するように設計されています。
NVIDIA Isaac Simを使用したワールドモデリングで、豊富な潜在表現を生成し、
より適応性の高いトレーニングを可能にします。
このワークフローは、行動ポリシーの学習やRLの微調整からワールドモデリングを切り離すことで、柔軟性を高め、より高い汎化のための多様なデータソースをサポートします。
Isaac Simのフォトリアリスティックな合成データセットのみでトレーニングされたモデルは、ゼロショットでSimからリアルへの転送を可能にします。
ディファレンシャルドライブ、アッカーマン、四足歩行、人型ロボットに適用できます。
このワークフローは、『X-MOBILITY: End-To-End Generalizable Navigation via World Modeling』で発表されたNVIDIA Applied Researchの取り組みに基づいています。
ビデオ4. 模擬ロボットでGR00T-Mobilityをテストしたところ、ロボットは障害物を避けながら散らかった周囲をうまく移動することができた。
ビデオ5. 実際のロボットでGR00T-Mobilityをテストすると、ロボットは箱や障害物を避けながら実験室の環境をうまく移動する。
ビデオ6：Isaac Simで模擬倉庫内をうまく移動する人型、四足歩行、フォークリフト
GR00T-Control：人間の持つ１９の関節コントロールライブラリー
GR00T-Controlは、WBCを開発するための高度なモーションプランニングと制御ライブラリ、モデル、ポリシー、リファレンスワークフローのスイートです。
リファレンスワークフローでは、様々なプラットフォーム、事前学習済みモデル、アクセラレーションライブラリを使用します。
正確で応答性の高いヒューマノイドロボット制御を実現するためには、特に器用さとロコモーションを必要とするタスクにおいて、WBCが不可欠です。
GR00T-Controlは、NVIDIA Applied Researchチームによって開発されたIsaac Labと統合されたワークフローで、従来のモデル予測制御（MPC）に代わる学習ベースの選択肢を紹介します。
この研究は、OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learningで発表されたオリジナルの研究成果と、新たにリリースされたHOVER: Versatile Neural Whole-Body Controller for Humanoid Robotsに基づいています。
このリファレンスワークフローは、遠隔操作と自律制御の両方のための全身ヒューマノイド制御ポリシー（WBCポリシー）の開発を可能にします。
OmniH2Oの遠隔操作では、VRヘッドセット、RGBカメラ、口頭コマンドなどの入力方式により、高精度の人間制御が可能です。
一方、HOVERのマルチモード・ポリシー蒸留フレームワークは、自律タスク・モード間のシームレスな移行を容易にし、複雑なタスクに適応する。
WBCポリシーのワークフローは、シムからリアルへの学習パイプラインを使用します。
これは、詳細なモーションデータにアクセスできる 「教師 」モデルとして機能するIsaac Labを使用した強化学習により、
シミュレーションで特権的な制御ポリシーをトレーニングすることから始まります。
このモデルは次に、遠隔操作の遅延、VRや視覚トラッキングからの制限された入力（OmniH2Oの場合）、複数の自律タスクモード（HOVERの場合）にまたがる適応性などの課題に対処しながら、限られた感覚入力で動作可能な配備可能な実世界バージョンへと展開される。
OmniH2Oワークフローを使用して開発された）全身制御ポリシーは、精密なヒューマノイドロボット制御のための19自由度を提供します。
ビデオ7. NVIDIA Isaac Labで学習されたGR00T-Controlワークフローベースのポリシー。赤いボックスは、データセットからの参照ロボットのボディ位置です。ロボットは参照モーションをトラッキングしている
ビデオ8. アイザック・ラボで何千台ものヒューマノイドロボットを一緒にトレーニング
GR00T-Controlは、ヒューマノイドのための学習ベースのWBCをさらに探求するためのツールをロボティストに提供します。
GR00T-Perception：マルチモーダルセンシング
GR00T-Perceptionは、高度な知覚ライブラリ（nvbloxやcuVSLAMなど）、
基礎モデル（FoundationPoseやRT-DETRなど）、
Isaac SimやNVIDIA Isaac ROS上に構築されたリファレンスワークフローのスイートです。
リファレンス・ワークフローでは、これらのプラットフォーム、事前学習済みモデル、アクセラレーション・ライブラリをロボティクス・ソリューションで併用する方法を紹介しています。
ReMEmbR：見たものを記憶してそこまでナビゲートする
GR00T-Perceptionに新たに追加されたReMEmbRは、
ロボットがイベントを「記憶」することで、見たものを覚えていてくれます。
視覚言語モデル、LLM、検索を統合し、ロボットの知覚、認知を提供します。
ReMEmbRは、画像や音声などの感覚データを記憶し、ナビゲーションしてくれます。
ReMEmbRは、NVIDIA Jetson AGX Orin上で実際のロボットに実装できます。
ビデオ9 ReMEmbRで、ロボットが生成AIで推論し、ナビゲーションする
Take me somewhere to get a bag of chips.
Can you take me to the nearest fire extinguisher?
Can you take me to the water fountain?
Take me to the elevator.
結論
NVIDIAプロジェクトGR00Tでは、ヒューマノイドロボット開発者のニーズに応じて、
組み合わせて使用できる高度な技術、ツール、GR00Tワークフローを構築しています。
これらの機能強化は、よりインテリジェントで、適応性が高く、能力の高いヒューマノイドロボットの開発に貢献し、これらのロボットが実世界のアプリケーションで達成できることの限界を押し広げます。
1X、Agility Robotics、The AI Institute、Berkeley Humanoid、Boston Dynamics、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、Swiss-Mile、Unitree Robotics、XPENG Roboticsなど、大手ロボット企業がどのようにNVIDIAのプラットフォームを使用しています。
今すぐ始めるには
Isaac Labを始める、またはIsaac GymからIsaac Labに移行するための新しい開発者向けオンボードガイドとチュートリアルをご覧ください。
Isaac LabとIsaac Simによるエンドツーエンドのロボット学習プロセスを理解するために、Isaac Labリファレンスアーキテクチャをチェックしてください。
11月13日のライブストリームでロボット学習とシミュレーションの最新情報を発見し、NVIDIA Isaac Labオフィスアワーでハンズオンサポートと洞察をお見逃しなく。
#NVIDIA #プロジェクトGR00T #ヒューマノイドロボット #AI #機械学習 #コンピュータビジョン #ロボット工学 #強化学習 #シミュレーション #IsaacLab