見出し画像

UE5でVRoid産Blenderちょい改造VRMモデルにフルフェイス＆モーショントラッキングをVMC受信してアニメーション作成したい

やぎめのWaiWai報告広場

今日の題名もはや暗号(笑)

ぐっめ～にん🐐今回もやっていきましょう！！

この方法を手早く知りたい方は「色々試した結果」の項目から先にご覧ください。

UEでVMC受信するアニメーションの設定をいじる

前回のnoteで書いていたこの部分をまずは検証しました！

トラッキングのポート番号を変えれば表情はVSeeFaceから体はTDPTからと設定できたかもしれない。

https://note.com/yagime/n/n554f4c5c0060

結果：できたがこのままでは問題あり

各Portの番号を設定

動いたは動きました！

何をしてるかというと、
Bone（動き）⇒TDPTから受信、
Morph（表情）⇒VSeeFaceから受信、
と分けているのですね。

でも目玉の動きは反映されてなかった。そりゃそうなのだ、目玉の動きはBoneで設定しているのだから。

手作業で目の動きだけ入れてもいいんだけど～うーんどうかな～～～

揺れを活かせる方法が1つ分かった（簡単なミスでした）

上記は一回寝かせて、

KawaiiPhysicsを入れようと色々サンプルプロジェクトを観察して気づいたことがあった。それはAnimationBluePrintの線（ノード？）の繋がりばかり気にして詳細を見てなかったこと。（アホ）

KawaiiPhysicsはここで数値を調整するのでもしかしたらと思ったのです。

「VrmSpringBone」を配置し以下の様に接続したら、それを選択した状態で（オレンジの枠が出る）詳細タブを見ると「Vrm Meta Object」の設定項目があるではないか！！ここにレアちゃんを入れてあげてCompileすると無事揺れ骨の設定が生きました！！！ぱちぱち

「Vrm Meta Object」の設定を忘れずに！

こちらの記事にもちゃんと設定するようにと書いてありましたね。完全な私のミスです(´;ω;｀)

KawaiiPhysicsも試したいですが、揺れに関しては今回でとりあえず及第点に達したので余力があるときに試したいと思います。


さて、目玉どうするかな

とりあえず私が思いつく方法を列挙

方法1）VSeeFace+TDPT⇒BVH出力⇒Blender（調整できるらしいけど最終手段）⇒FBX出力⇒UE5でリターゲットしてAnimation作成

参考↓

てて手順が多い(´;ω;｀)でも参考もあるのでできるとは思うたぶん・・・

方法2）手作業で目とか指とかの繊細な動作は入れる

これを活用すればいけるかもしれない？

方法3）VMCで受信Boneを選べる機能探す

探したけど簡単には無理っぽい。
UnityでMapの作成を2つして、目だけのものと目がないものつくって目だけの方をVSeeFaceに繋げるとかできるかも知れないけども、未知すぎて思った様に挙動できるか不明

方法4）VSeeFace+TDPT⇒BVH出力⇒UE5に直接入れる


色々試した結果

結論から言いますとできました！！

このVSeeFaceのマニュアルがすべてを解決してくれました。。。要するに、今まで出来なかったのは受信と送信のポートが同じだったことが原因のようです。。。またしても凡ミスではこれ(´;ω;｀)

VSeeFaceは、Virtual Motion Captureで導入されたVMCプロトコルを使ったモーションデータ（ヒューマノイドボーン回転、ルートオフセット、ブレンドシェイプ値）の送信と受信を両方サポートしています。送信と受信の両方が有効な場合、受信したデータが適用された後に送信が行われます。この場合、VSeeFaceが自分自身にデータを送信していないこと、つまり送信と受信のポートが異なっていることを確認してください。

https://www.vseeface.icu/#oscvmc-protocol-support
TDPTとVSeeFaceのポート設定
Unreal Engine 5のポート設定

UE5での実装動画（適当なカメラ設定でセッティングしているので手が不自然ですが、体と目の動きがきちんと反映されています）


以下試したことを一応列挙（読み飛ばし推奨）

まずは方法4）から試してみました。

VSeeFace→TDPT→BVH出力

結果BVHデータを取り込めませんでした(´;ω;｀)
（Logもどこにあるのかわかりません）

詳しくはLogを見てねということですが該当の場所がわからず・・・（困惑）

次は方法1）を試そうとBlenderで方法4）で使った、BVHを開いてみたんですが、

BlenderでBVHを開いた様子

これは確かにboneのアニメーションが記録されている様なのですが、表情のデータはないかんじっぽいよね・・・？（困惑2）

今回の所感

色々間違えたりして回り道しつつも、なんとかやりたいことが叶いました。失敗してもKawaiiPhysicやBVHについて知ることができ知識を広げることが出来たので結果オーライですね。

さらに方法2）の「ControlRigでポーズ・フェイシャルを制御する」で細かい微調整が可能ならかなり繊細な表現も可能なのでは？と思います。次はここを見ていきます。

そしたらモーションについての検討は終えて、以下を追求していきます。

・レンダリング、シェーディング、グレーディングで表現方法模索
・建物の素材の見映えチェック、要素チェック、
・マテリアルについて

そしたらUEまわりの検討はひと段落させて、作品制作を深めていきたいと思います。

まだ、気になるところは色々ありますが、キービジュアルや絵コンテを詰めてストーリーも並行して詰めていった方が時間を有意義に使えます。

「これを表現したい」→「技術を探す」の方向です。
これが逆転しないようにストーリーも詰めていきます。

そろそろレアちゃんのテクスチャーの完成度をあげて詰めていきたいですし。VRoidもアップデートで浴衣が使えるようになったらしいので袖まわりの再検討もしたいところです。

人以外の動きとかモデルどうするの？とかありますが、その都度今こうして得た知識を総動員してかかればなんとかなると思います。

この記事が気に入ったらサポートをしてみませんか？