NVIDIAの技術解説：「Scaling Action Recognition Models with Synthetic Data」合成データで人間と物の動きを再現する例を10,000用意
人物、品物などのリアルな動きをシミュレーションで行えるよう品物、人間の動作を多数データセットとしてNVIDIAは用意した。
Isaac Sim の SimReady アセット例
Isaac Simには1000以上のSimReadyアセットがあり、病院のシーン、倉庫のデジタルツイン、小売店などの環境が設計されており、10,000以上の使用可能なアセットから選択できます。
品物例:
倉庫、病院、小売店などの環境で使用される一般的な品物を想像することができます。
倉庫: フォークリフト、ダンボール、石油缶、パレット、箱、棚など
病院: ベッド、医療機器、車椅子、点滴スタンドなど
小売店: 商品棚、レジカウンター、ショッピングカート、商品など
人間動作例:
倉庫作業員が棚から商品を取り出し、カートに入れる。
この動作には、歩行、腕の動き、手の開閉、物体の把握などの要素が含まれます。
患者がベッドから起き上がり、歩行器を使って歩く。
この動作には、上半身の動き、足の動き、バランスの維持などの要素が含まれます。
客が商品棚から商品を選び、レジに持っていく。
この動作には、歩行、視線の動き、商品の選択、カートへの出し入れなどの要素が含まれます。
Isaac Simでは、これらの動作を様々な人物アセットと環境アセットを組み合わせて、現実的なシミュレーションを作成することができます。
論文の題名と著者名、発行年
題名: Scaling Action Recognition Models with Synthetic Data
著者名: Monika Jhuria、Nitya Arora、Thomas Tang
発行年: 2024年12月3日
概要
Isaac Simを使用して、小売、スポーツ、倉庫、病院における人間の行動の合成データを生成する方法を紹介しています。
先行研究との違い
従来、行動認識モデルのトレーニングには大量の実世界データが必要であり、その収集は時間とコストがかかるものでした。 本記事では、物理的に正確な3Dシミュレーションから合成データを生成することで、これらの課題を克服し、モデルの精度と汎用性を向上させる手法を提案しています。
技術や手法のポイントは
Isaac Sim内のOmni.Replicator.Agent（ORA）拡張機能を使用して、複数のカメラやセンサーからのデータを収集し、キャラクターやオブジェクトの位置や動作をランダム化することで、多様なシナリオをシミュレートします。 これにより、行動認識モデルのトレーニングに必要な多様で現実的なデータセットを効率的に生成できます。
次に読むべき論文は？
合成データ生成に関する詳細やベストプラクティスについては、以下のNVIDIAのブログ記事が参考になります。
「Boost Synthetic Data Generation with Low-Code Workflows in NVIDIA Omniverse Replicator 1.10」
「Best Practices: Explainable AI Powered by Synthetic Data」