AI式モーキャプを比較してみた
今、僕は個人的に3DCGのアニメーションを作ったり、ゲームを作ったりしているのだが、それが可能になったのはAIで動画を解析してモーションデータを生成するサービスの提供が始まったからだった。
短編アニメーション『ドッペルゲンガー』では、ほとんどのモーションを自分で演技し、AIモーションキャプチャーで取り込んだ。
AIモーキャプのサービスは様々な企業から提供され、日々進化しているが、自分がこれまでに試したサービスの使用感を書いていきたいと思う。
Wonder Studio
2023年12月の時点ではこれがベストな選択肢だったので年間プランで契約した。年間3万円ぐらいの費用で使うことができる。
このサービスはモーションキャプチャーだけを提供するのではなく、動画の中から人物を検出して、インペイント処理をし、CGキャラクターに置き換えるという作業を自動で行えるのが売りである。
Wonder Studioのモーションキャプチャーは極めて堅牢で、人物が画面からはみ出したぐらいでは簡単に破綻しないように作られている。
宙返りのような普通ではない姿勢にも対応できる。
『ドッペルゲンガー』で使用したのはこのサービスだ。
生成されるモーションには以下のような特徴があった。
足の滑りが比較的少ない
カメラからの見た目を重視した設計
首と胴体の動きが連動しており若干の違和感がある
処理前にカメラの画角の設定が可能
スムージングが強い
絶対位置は比較的正確
足の滑りが無いわけではないが、去年末の時点で他のサービスでは滑りまくるのが普通だったためマシな方だった。
カメラからの見た目を重視したポーズを推定するように作られていて、他の角度から見るとおかしい場合がある。
モーションには強めのスムージングがかかり、細かい演技は失われてしまう。特に首の動きは胴体と一体化してしまう。
カメラの画角がパラメータで指定できる。この設定をしない場合適当な値で推定されるが、まっすぐに立っているのにのけぞったりしてしまうので、カメラの仕様を調べて正しい値を設定するのが望ましい。
Move.AI
このサービスはまだ試せていないが、その理由も含めて一応書いておく。
iPhone複数台を使ったキャプチャと単体によるキャプチャに対応しており、特に複数台を使ったキャプチャは光学式に匹敵するような極めて高い精度を持っている。iPhoneにしか対応しないため、複数台使う場合には導入のコストがかかる。（実験的機能としてiphone以外のカメラを使用できる機能も提供されている）セットアップもそれなりに手間であり、小規模なスタジオなどを対象にしていると思われる。個人やAndroidユーザーには導入のハードルが高いが、いずれ試してみたいと思っている。
Rokoko Vision
試したのがだいぶ前なので古い情報になってしまうが、書いておく。
慣性センサ式モーションキャプチャスーツを提供する、Rokokoのサービス。リリースされたとき、すぐに飛びついて試したががっかりさせられた。
フットロックを手作業で行えるエディタが提供されており、モーションデータの調整が行える。それは良いのだが、肝心のキャプチャの精度が悪すぎて話にならなかった。（アップデートで改善されている可能性はある）
宙返りはもちろん無理だし、普通に歩く動作でさえまともに使えなかったのを覚えている。
その後、カメラを2台使えるように進化したようだが、良くなっているのだろうか。
Webcam Motion Capture
Vtuber向けのサービスでノーマークだったが、2024年5月のアップデートでボディトラッキングが改善され、宙返りなどのアクロバットにもある程度、対応できることが確認できた。
モーションは細かい動きまでよくとれており、スムージング強度を設定できる。一定の周期でピクピクしてしまう現象を確認したが（動画固有の問題かもしれない）、首の動きをちゃんと取れる点はWonderStudioよりも良かった。
ただし、足の接地感は無く、だいぶ滑っている。Vtuber用途では足が映らないから、重視していないのかもしれない。
国産サービスで、月額200円ほどで利用できる。かなりコスパの良いサービスだと思う。ローカルで動作するようなので、PCのスペックが要求されるかもしれない。
Quick Magic
中国産のサービスでモーションの質が高い。特に足の滑りに関しては全く感じさせず、完璧な動作をしているように見える。Wonder Studioの契約が切れたらこちらに乗り換えることを考えている。
ただし、宙返りの動画を読み込ませると絶対位置のズレが生じることを確認した。空中での移動を検出していないのかもしれない。また、撮影したカメラの画角を指定できないため、直立ポーズでのけぞってしまう現象も確認している。
中国産ということで、利用をためらっていたがモーションの接地感があまりにも良かったため無料プランに登録してしまった。有料プランは月額9.9ドル～とWonder Studioより安価で、支払いはPayPalに対応しているのでクレジットカード情報を流す必要もないようだ。
その他サービス
去年末の時点では他にPlask、Radicalなどのサービスもあったがいずれも足の滑りに難があり、アニメ、ゲームのモーションとして使うには適さないと判断していた。ただ、AI技術は日進月歩なので、それらのサービスも良くなっている可能性がある。他に、おすすめのサービスがあればコメントで教えてほしい。ではまた。