Genesis の概要
以下の記事が面白かったので、簡単にまとめました。
・Genesis: A Generative and Universal Physics Engine for Robotics and Beyond
1. Genesis
「Genesis」は、ロボット工学、Embodied AI、Physical AIアプリケーション向けに設計された包括的な物理シミュレーションプラットフォームです。同時に複数の機能を備えています。
・広範囲のマテリアルと物理現象をシミュレートできる、ゼロから再構築された汎用物理エンジン。
・軽量、超高速、Pythonベースのユーザーフレンドリーなロボットシミュレーションプラットフォーム。
・強力で高速なフォトリアリスティックなレンダリングシステム。
・ユーザーが入力した自然言語による説明をさまざまな形式のデータに変換する生成データ エンジン。
「Genesis」は、根本から再設計され再構築されたユニバーサル物理エンジンを搭載し、さまざまな物理ソルバーとその結合を統一されたフレームワークに統合します。このコア物理エンジンは、上位レベルで動作する生成エージェントフレームワークによってさらに強化され、ロボット工学などのための完全に自動化されたデータ生成を目指しています。生成フレームワークは、次のモダリティを含むデータ生成の自動化を目指しています。
・物理的に正確で空間的に一貫性のあるビデオ
・カメラの動きとパラメータ
・人間と動物のキャラクターモーション
・現実世界に展開可能なロボット操作と移動ポリシー
・完全にインタラクティブな3Dシーン
・オープンワールドの多関節オブジェクトの生成
・音声、顔のアニメーション、感情
現在、基盤となる物理エンジンとシミュレーションプラットフォームをオープンソース化しています。生成フレームワークへのアクセスは、近い将来に徐々に展開される予定です。
詳細なインストール手順、チュートリアル、APIリファレンスについては、ドキュメントを参照してください。
2. 最適化された性能
「Genesis」は、最適化された衝突チェック、自動ハイバネーション、コンタクトアイランドなどの機能を備え、GPUアクセラレーションによる並列計算を活用する、高度に最適化された物理エンジンです。さまざまなシーンでこれまでにないシミュレーション速度を実現します。
操作シーン (単一の平面とFrankaアームを使用) をシミュレートする場合、「Genesis」は 4300万FPS で実行され、これはリアルタイムの 430,000 倍の速度です。
大規模シミュレーションでは、「Genesis」は自動ハイバネーションを利用して、収束した静的状態にあるエンティティのシミュレーションを高速化しました。
3. 4Dの動的かつ物理的な世界の生成
「Genesis」の物理エンジンは、シミュレーションインフラストラクチャによって提供されるAPIをツールとして使用して4Dの動的世界を作成するVLMベースの生成エージェントによって強化され、さまざまな形式のデータを抽出するための基礎データソースとして使用できます。カメラとオブジェクトの動きを生成するモジュールと組み合わせることで、物理的に正確でビューの一貫性のあるビデオやその他の形式のデータを生成できます。
4. キャラクターモーション生成
5. ロボットによるポリシー生成
「Genesis」は、生成ロボットエージェントと物理エンジンを使用して、さまざまなシナリオでさまざまなスキルのロボットポリシーとデモンストレーションデータを自動的に生成することを目的としています。モジュールの背後にある高レベルの動機と詳細については、「RoboGen」と今後の論文を参照してください。
6. Sim2Realポリシー転送
7. 3Dおよび完全にインタラクティブなシーン生成
8. オープンワールドの関節オブジェクトの生成
人間が注釈を付けた多関節オブジェクトアセットに含まれるカテゴリを超えて、オープンセットメッシュ アセットの多関節を生成します。詳細については、今後の論文 (現在提出中) を参照してください。
9. ソフトロボット
「Genesis」は、生成されたソフトロボットまたはハイブリッド (ソフトスキンとリジッドスケルトン) ロボットをシミュレートできます。開始するには、チュートリアルを確認してください。
10. 音声オーディオ、顔アニメーション、感情生成
