Live Link Faceの導入①
どういうツール？
趣旨は、
iPhone等のTrueDepth 前面カメラを使って演者の顔を認識し、それをリアルタイムでUE4上で反映させて動かしましょう！
っていうアプリです
頭や首の回転データをフェイシャルトラッキングデータに含む設定にすることが可能、とのことで、他のアプリだと難しいのかもしれません
動画主体の記述をしていきます
イメージこんな感じですね、動画の左方がiphoneの画面です
ここで気になるのが、いろいろな顔メッシュに適応できるのか？ということ、unrealだからその辺の縛りはなさそうな気はします、できたら結構すごいことなんだけどあっさり流されそう、、、
たくさんの動画でメインに解説されているのはサンプル(UE4ラーニングからダウンロード可能)を実働させることですが
私の目的はどちらかといえばこっち↓です
カスタムキャラクターを動かす！
動画を見た所見：ジェネシス３のキャラって言ってるからDazStudio由来のキャラなのかな？それをマヤで編集してて、、AppleのARキットに対応する52個のブレンドシェイプを追加したそうです、ふむふむ、、、そしてそれらに名前を一つ一つつける必要なはない、と、Unrealがリマップしてくれるそうです、ほーんすごい、ブループリントを後で使うことで低作業コストでリマップされるとのこと、リマップてなんだろ
リマップとは、キー入力をほかのキー入力に再配置 (Remapping) する機能です。 リマップはWindows 95/98/Meでは使用できません。
だそうです
動画からappleapple言ってるので、どうやらAppleのフェイスキャプチャ機能(iphoneだけでやる顔文字とか)を主軸に使ってるみたいですね、Appleが用意したものに従っている、みたいな印象です、大手Epicにしては意外ですね
AppleARKitの利用がマストであると確定したので、そっちについて情報収集します、こんなのがありました、
iphoneとかであるアレ↓を画面の外に持ち出した感じですね、あれ、洗練されてて2Dキャラ感が強いけどそういえばしっかり3Dなのがすごいですよね、、、
このようなものが売りに出されていることを考えると、どうやらAppleが要求する52個のブレンドシェイプをモデルが満たしている場合、メッシュやポリゴンの制限はないものと考えてよさそうですね。
そこで調べていくと
Junさんがやってらっしゃる「Jump!Jun 3D ch」てサイトが画像付きでそれらのシェイプキーについて解説されてました。
こうやったよ～、のような形式で、顔18個それ以外３個のブレンドシェイプを設定したという感じでした、
ちなみにLiveLinkFaceのUE4のARサンプルで使われているカイト君の顔にはなんと64個もの顔のブレンドシェイプが作成されていました。
ここまでのモノを開発で回すには個人でやると相当時間かかりそうですね、
こちらのページでUnity前提で解説されてますが、値自体はAppleのARkitから出力されたものなので共通してます
実際にUE4で使われてたものは上記サイト様で使っておられる値とおおまかに同一でした、後でリマップできるという噂もあるので大まかに名前が共通であれば流用ができるものと予想しています、
ちなみに「_L」→Lift、「_R」→Right、と変えればUE4で使っていた名前と完全に一致します、スペースの節約か何かの縛りがあるのかもしれないですね
ここまで知ったことをまとめると、
・眉口目などの必要最低限のアクションを設定すれば使える
・ARkit準拠のシェイプキーを３Dモデルに増やせば増やすほどリアリティのあるモーションが作れる、しかし製作工程・調整などのコストが増える、使わないシェイプキーはそのまま使われない
・シェイプキーの名前はあとで割りあてができるけどエラーが怖いので上記サイト様の名前をLeftRightちゃんと記述する感じで直して作る
・ARkit対応の顔を買ったほうが早い、非対応のモノでも表情さえ入っていればオートリマップor自分でシェイプキーの名前を変える、で使用させる準備が整いそう
・自分で作る場合、どのシェイプキーの値がどのように変化するか把握したうえで作るのが吉