3D合成AIツール「Wonder Studio」を使ってAR実写合成を作ってみた！
こんにちは。シフカです。
今回は、AIによる最先端の3Dアニメーション合成ツール「Wonder Studio」の有料プランでどのような可能性があるか探ってみた体験レポートです。気になっているけど有料版にするか迷っている方の参考になれば幸いです。
この記事では、出力されたデータを用いて最終的にAR実写合成を作ってみました。動画も載せているのでどんな風なものが完成したのかお楽しみに。
Wonder Studioとは？
モーションキャプチャ用の機材を必要とせず、撮影された動画を解析して3Dキャラクターのアニメーション・ライティング・実写への合成を自動で行えるサービスです。
創設者には「レディ・プレイヤー1」の主役で知られるタイ・シェリダン、アドバイザーには、スティーヴン・スピルバーグ監督が携わっているWonder DynamicsのAIツールとなっています。
プランごとに出来ること
プランは、ライト・プロ・エンタープライズの3つが用意されています。
無料版では用意されたお試しテンプレート動画のみなので実質何も出来ません。
ライト版では合成された動画に加えて、AIによるモーションキャプチャデータをFBX形式で一緒にエクスポートすることが出来ます。今回はライト版に加入しています。
更にプロ版では、人物を消したクリーンプレート、アルファマスク、3Dキャラを含んだblenderシーンデータをエクスポートすることが可能です。そのほか細かい仕様についてはサイトにてご確認ください。
読み込ませる元となる動画を撮影
従来のように定点カメラを必要とせず手ブレありの動画からモーキャプが出来るとのことで、まずはその威力を試すべく「人物も移動、撮影者も移動」といった動画を撮ってきました。(撮影者にただ歩いても面白くないと言われたためコミカルな動きの動画になっています)
撮った動画でプロジェクトを作成
本当にAI任せでほとんど作業がなかったためほぼそのまま手順を紹介します。すごい技術…
プロジェクト作成後、用意した動画を読み込ませます。
いい感じに人物が分かりやすく映っているフレームに移動して、右下のボタンから人物のスキャンを開始。
スキャンされた人物にフレームが付くので、右側から好きなキャラクターをドラッグ&ドロップしたら準備完了です。
エクスポートのオプションを選んだらもう処理の開始です。
ここでAIモーションキャプチャのデータも欲しいためチェックを入れるのを忘れないようにしましょう。また、選択できない[アップグレード]の項目はプロ版のみ選択可、[すぐ]と書いてある項目は今後追加される機能です。
処理時間はかなり遅めなので要注意
今回試したのは15秒の動画で、処理完了までの予想時間は56分と出ていました。さらに、実際にかかった時間は約1時間30分でした。ある程度の精度を要する分、かなり時間はかかりそうな印象です。
合成済みの動画が完成！
約1時間半後、プロジェクト一覧でサムネイルが再生マーク付きに変わっていたら処理完了です。ビデオのエクスポートとAIモーキャプをクリックするとデータをダウンロードすることが出来ます。
完成した動画がこちら。比較用に元動画と並べてみました。
まず解析されたモーションですが全体的に動きの違和感もなく素晴らしい精度です。さらに地面との接地面の滑りもほぼ起きていないため、定点カメラじゃないのにここまで精度が出せるのかと驚きました。
人物を消した背景のクリーンプレートについては、パッと見は十分な精度だと思いますがやや目を凝らすと消した跡を感じるかなといった印象です。
今回選んだキャラクターが背の低いモデルだったようで、背が違うため頭があった部分が特に気になりました。
この点は用途や人によっては我慢出来るかどうかのラインかと思います。今後の精度アップに期待です！
この動画からモーキャプデータを使おうとしたら…
先程ダウンロードしたモーションのFBXデータをblenderに読み込んでみました。データの内容を見るとカメラは固定位置となっておりカメラから見た映像内の人物に動きを割り当てているため、右側のワールド全体で見ると位置がスライドして進まず、ずっと同じ位置にいる事が分かるかと思います。これではカメラが関係なくモーションだけを流用したい場合には使えません。
実写合成ではなくモーキャプ用途の場合は
先程の結果から、シンプルにモーションキャプチャデータが欲しい場合は定点カメラにする必要があることが分かってきました。
今度は定点カメラで試したものがこちら！
ちなみに12秒の動画で処理時間は約1時間15分でした。また、人物のクリーンプレート処理の精度が撮影者が動いていた動画と違ってかなり綺麗に出来ています。
FBXをblenderから転用できたら無限の可能性
このライト版のFBXデータには選んだ3Dキャラのおじさんモデルが含まれておらず、アニメーション付きのアーマチュア(3Dの骨組み)だけとなっています。そのため、自分で使いたい3Dモデルにアニメーションをどうにかして転送・流し込む必要が出てきます。
そこで、今回はblenderのアドオン「Blender Animation Retargeting」を使って転送を行いました。
3DキャラクターはAdobeが公開しているMixamoのキャラクターを使用しています。
アドオンの使い方を大まかに説明すると、2つのアーマチュアを読み込んでアニメのない動かしたい側を選択します。アドオンパネルのソース欄にアニメ付きのアーマチュアを選択して、数が多くて大変ですがどの名前の骨から骨へ転送するかを全て設定すると転送され連携して動かせるようになります。
ここから先は発想次第で自由に使える
好きな3Dモデルを使ってモーションキャプチャデータを連携させることが出来たので、今回はWonder Studioの標準で生成される実写合成と違うアプローチで実写合成をしてみようと考え、AR空間に自分の動きのキャラクターを登場させて表示させてみることにしました。
AR表示の方法やチュートリアルは様々あるのでここでは詳細な説明は省きますが、Adobe Aeroを用いてリアルタイムで表示することも可能のようです。
完成した動画はこちら！
Wonder Studioで簡単にモーションを作成し、連携させた自分の動きが見事に3Dキャラに再現されています。
比較的安価なモーションキャプチャ機材の「mocopi」なども定価で5万円ほどすることを考えると、月額19ドルでモーションキャプチャ用途としては、非常にちょうどいい選択肢なのではないかと感じました。ライト版でもまだまだ様々な使い方がありそうなので気になっている方はこの機会に是非試してみてはいかがでしょうか。