リアルタイムで人間の動きをキャラクターにリターゲティングする新手法

2023年7月9日 13:24

ブリティッシュコロンビア大学、ソウル大学、リアリティラボ研究所の研究者チームは、人間のセンサーデータからリアルタイムで様々な形状のキャラクターへのモーションリターゲティングを可能にする手法を開発しました。

実現効果

https://www.youtube.com/watch?v=5D-DvX5scTk

手法の概要

この手法は、強化学習を用いて物理シミュレータ内のキャラクターを制御するポリシーを訓練します。大規模なモーションキャプチャデータセットを用いて一般的なポリシーを訓練し、リアルタイムで未見のユーザーからのスパースなデータを追跡することが可能になります。

手法の詳細

強化学習と物理シミュレーション: この手法は、強化学習を用いて物理シミュレータ内のキャラクターを制御するポリシーを訓練します。訓練中、人間のモーションキャプチャデータを用いて、ポリシーに対するHMDとコントローラーのデータを合成し、報酬訓練信号を構築します。
イミテーション報酬: この報酬は、シミュレートされたキャラクターとキネマティックにリターゲットされた真実のポーズとの間で利用可能な情報を一致させます。このイミテーション報酬項は、人間のモーションデータとシミュレートされたキャラクターとの間で伝達したい監督の度合いを捉えます。
コンタクト報酬: コンタクト報酬は、シミュレートされたキャラクターの足の接触と人間の足の接触が一致するかどうかをチェックするブール値です。この報酬は、すべての二足歩行キャラクターに等しく使用でき、人間のモーションキャプチャから直接計算できます。
アクション報酬: アクション報酬は、キャラクターが消費するエネルギーの総量を最小化するための正則化項です。これは、2つの連続したアクション間のトルクの差と絶対アクション値を最小化する項から構成されます。
終了条件: 複雑なモーションを強化学習を通じて学習するためには、早期終了技術が重要です。キャラクターが回復不可能な状態に入った場合、またはキャラクターのルート位置がモーションキャプチャデータのスケール化されたルートから30cm以上離れた場合に、環境をリセットします。

リターゲティングの詳細

この手法では、ユーザーの動きをシミュレートされたキャラクターにリターゲティングします。対象となるキャラクターは、サイズや体形が大きく異なることがあり、リアルタイムでのリマッピングが必要です。また、マッピングはAR/VRデバイスからのスパースなモーションデータによって駆動されます。

物理ベースのシミュレーションは、非対称なアクター-クリティックRLポリシーによって駆動され、この困難な設定で効果的なリターゲティングを可能にします。ポリシーによって生成される動きは、ユーザーの動きを追跡しつつ、対象キャラクターの物理に適したものとなります。

制約

形状の複雑さ: 現在のところ、対象となるキャラクターはまだ二足歩行者に限られています。より複雑なキャラクターの動きを再現するためには、ポリシーにスケルトン情報を供給する、グラフニューラルネットワークを用いて柔軟なポリシーを学習する、または補助ネットワークを訓練してソースとターゲットのスケルトン間のマッピングを見つけるなどの手法が考えられます。

今後の課題

キャラクターの多様性: さまざまなタイプのキャラクターを制御する能力は、まだ表面をかすめているだけです。スケルトン情報をポリシーに供給する、グラフニューラルネットワークを用いて柔軟なポリシーを学習する、または補助ネットワークを訓練してソースとターゲットのスケルトン間のマッピングを見つけるなどの手法を用いて、キャラクターの複雑さを増やすことが可能かもしれません。

これらの制約と課題を克服することで、この技術はさらに進化し、よりリアルなキャラクターの動きの再現を可能にすることが期待されます。

仮説：ビジネスでの活用シーン：リアルタイムモーションリターゲティング技術の可能性

このリアルタイムモーションリターゲティング技術は、ビジネスの様々なシーンで活用することが可能です。以下に、その具体的な利用シーンをいくつか提案します。

エンターテイメントとゲーム開発: ユーザーの動きをリアルタイムでキャラクターに反映することで、より没入感のあるゲーム体験を提供することが可能になります。また、映画やアニメーションの制作においても、リアルタイムでアクターの動きをキャラクターにリターゲティングすることで、制作時間を大幅に短縮することができます。
スポーツトレーニング: この技術を用いて、アスリートの動きをリアルタイムで解析し、仮想的なトレーニングパートナーに反映することが可能です。これにより、アスリートは自身の動きを視覚的に確認しながら、より効果的なトレーニングを行うことができます。
リハビリテーション: リハビリテーションの過程で、患者の動きをリアルタイムで追跡し、それを仮想的なキャラクターに反映することで、患者自身が自分の動きを視覚的に確認することができます。これにより、患者は自身の進歩を確認しながら、より効果的なリハビリテーションを行うことができます。
リモートコミュニケーション: リアルタイムでユーザーの動きをキャラクターに反映することで、リモートでのコミュニケーションにおいても、より自然なジェスチャーや表情を伝えることが可能になります。これにより、リモートワークやオンライン会議の体験を向上させることができます。

これらの利用シーンは、この技術が持つ可能性を示しています。さらなる研究と開発により、これらのシーンでの活用はさらに広がることでしょう。