見出し画像

テキスト入力だけで、3Dアバターとモーションが生成できる技術が開発されました!~最新技術紹介~

皆さんこんにちは。VRC note編集長の八重樫です。

SIGGRAPH 2022という世界最大のコンピュータグラフィックスの国際会議に採択された技術論文(AvatarCLIP: Zero-Shot Text-Driven Generation and
Animation of 3D Avatars)
が面白かったので、今回ご紹介したいと思います。

どういう内容かというと、自然言語でテキスト入力をするとモーション付きの3Dアバターが完成するというシステムです。
例えば「I want to generate a tall and fat Iron Man that is running.」という文章を入力すると、その通り走っているモーションの小太りなアイアンマンが生成されます。
イメージはこちらの動画をご確認ください。

参考記事:https://www.itmedia.co.jp/news/articles/2207/04/news036.html

簡単に説明すると、方法としてはまずテキストから3Dアバターを生成し、テクスチャをあてて、その3Dアバターにテキストから判断したモーションを合わせるそうです。

こういった最先端技術の国際会議でも3Dアバターに注目が集まっているのが良くわかります。技術が無くてもテキスト入力だけでモーション付きの3Dアバターが出来上がるのはとても面白いと思います!

~最近の3Dアバター生成に関する論文などはこちら~


今までは3Dアバターを作るのは技術と時間などコストがかかるものでしたが、こういう技術により誰でも簡単に作れるようになると様々なコストも下がり、より3DCGの活用が身近に広がっていくかもしれません。

・・・

生成されたアバターの見た目が変わるという意味では、VRCでやっているバーチャル試着についても同じことが言えます。生成された自分の3Dアバターにコーディネートされたバーチャルの服装を重ね合わせてレンダリングする技術なので、もともと着ている服などから見た目を変化させることが可能です。

薄着で撮影したアバターに3D制作した服を着せた様子

今回の技術のように、忍者とかソルジャーとか、わかりやすいコスチュームとは違い、コーディネートは複雑なので、テキスト入力でできるようになるのはまだ先かもしれませんが、こういった業界的な技術進歩があることで、よりバーチャル試着も一般化して良いサービスになっていけばいいと思います。

VRCでは、頑健性や安定性などに気を付けながら今後もより一層力を入れて開発を進めていきたいと思います。今後の活躍にもご注目ください!



★VRCでは一緒に新しい未来を創ってくれるメンバーを募集中です!
詳しくはこちらのサイトからご連絡ください★