接触への柔らかい反応動作の自動生成による演技支援と素早い追従を両立するアバター

2024年8月15日 09:57

2023年度研究会推薦博士論文速報
［エンタテインメントコンピューティング研究会］

杉森　健
（AVITA株式会社　開発局　R&D部）

■キーワード
アバター／物理エンジン／モーションキャプチャ

【背景】魅力的な動きが求められるアバターコンテンツ
【問題】アバターに接触が生じる際の不自然な動き
【貢献】アバターが接触した際の動きの生成と追従遅れの防止

■近年のアバターコンテンツ
　バーチャル空間で，ユーザーの体として用いられる3DCGのキャラクター（アバター）が一般的となってきている．たとえば，VRメタバースのアバターやバーチャルYouTuber（以降VTuber）などがある．これらのコンテンツでは，アバターの動きが他者から見られる対象となっている．VRメタバースでは他のユーザーから見られ，VTuberでは視聴者から見られる．そのため，アバターの動きが自然であることは魅力的なコンテンツを実現するために重要な要素である．

■問題：接触時のアバターの不自然な動き
　上記のアバターコンテンツではユーザーの動きを専用の機器で計測し，アバターに反映することで，多彩な動きを実現している．しかし，アバターが居るバーチャル空間とユーザーが居る実空間の違いから，アバターの動きが不自然となってしまう場合がある．たとえば，アバター同士がハグ，撫でる，握手などの接触をする場合には，アバター同士が貫通してしまう．更に，アバターに対して物体が衝突した場合，アバターがユーザーのポーズから動かず，物体を跳ね返すような不自然な動きとなってしまう．このような場面でアバターに自然な動きをさせるためには，ユーザーが接触を再現する演技を強いられてしまう．そこで，本研究ではアバターが接触した際の動きを生成することで，アバターの動きを自然にすることを目標とした．

■物理エンジン上のアバターの追従遅れ
　本研究ではアバターが接触した際の動きを生成するため，物理エンジンを使用する．一般的に物理エンジン上でアバターは各部位（手，頭など）の物体と，それらの物体を繋げる関節により構成される．そして，アバターの動きは，関節にバネ（正確にはPD制御）を配置しユーザーの関節位置に向けて引くことで実現される．しかし，この状態では，ユーザーの動きに対する追従性と接触時に生成される動きの自然さがバネの強さに依存する．たとえば，強いバネを使用すると素早く追従するが，アバターが物体に衝突した際に，硬く不自然な動きが生成されてしまう．一方で，弱いバネを使用すると追従が遅れてしまうが，衝突した際に柔らかく自然な動きを生成できる．本研究では弱いバネを使用し，追従遅れを提案手法により解決した．

■追従遅れを解決する提案手法
　本研究では追従遅れを解決するために，ロボットの制御で使用される軌道追従制御を物理エンジン上のアバターに対して適用することを提案した．軌道追従制御では弱いバネを用いて衝突した際に柔らかく自然な動きを生成し，逆動力学により追従に必要な力を求める．提案手法の特徴は，物理エンジンに数値計算の誤差が存在する状況でも，素早く追従することができる点である．

■まとめ
　本研究では物理エンジンを用いて接触時のアバターの動きを生成し，その際に問題となる追従遅れを解決した．提案手法により，アバターの動きはより魅力的になり，操作者であるユーザーの体験についても自然に楽しめるものとなると考えられる．

■Webサイト／動画／アプリなどのURL
https://x.com/suzukake0/status/1168514456592076801
https://x.com/suzukake0/status/1751908559296885180

（2024年5月27日受付）
（2024年8月15日note公開）

ーーーーーーーーーーーーーーーーーー
　取得年月：2024年3月
　学位種別：博士（工学）
　大学：東京工業大学
ーーーーーーーーーーーーーーーーーー

推薦文［メディア知能情報領域］エンタテインメントコンピューティング研究会
本研究は，バーチャルYouTuberなどの，モーションキャプチャにより動かすアバターの動作制御に，物理エンジンを取り込むことで，アバター同士やアバターと物が接触した際の動きをにより自然な動きを実現するものである．今後のエンタテインメントコンピューティングの価値を向上させる知見を示している．

研究生活　　研究のきっかけは趣味でVTuberの動画を見ている時に，「VTuberに物がぶつかった際の動きが不自然だ」と感じたことです．所属していた研究室では物理エンジンを開発していたこともあり，物理エンジンを上手く使えれば，もっと動きをよくできると考えて研究を開始しました．

苦労話としては，私は論文執筆や計画書などを書くことが苦手で，研究の「新規性はどこなのか？」「類似分野との違いは何なのか？」といったことに悩み苦労しました．私は先生方や仲間に支えられて書くことが出来ましたが，人との巡り合わせが違えば諦めていたかもしれません．

もし，博士進学に悩んでいるのであれば，“自分が”その研究をやるべきだと感じたら進むと良いと思います．私の場合はアバターが好きで，修士もアバターの研究を行い知識があり，研究室は物理エンジンを作っていたというところから，“自分が”すべきだと感じ頑張ることができました．博士の研究をやり遂げるには我を強く持っていることが重要だと思います．