Warudo×Rebocap×Webcam Motion Captureを使ったモーションキャプチャ設定
Rebocapで指以外のポーズトラッキング、Webcam Motion Captureでフェイストラッキングと指トラッキングを行いたいときの設定方法をまとめました。
自動生成とはいえ少し複雑な手順を踏むので、忘れないように書き残しておく。
使用ツール
以下のツールを使う場合の手順を記載します。
違うツールを使用する際は適宜読み替えてください。
■フェイストラッキング
Webcam Motion Capture
■ポーズトラッキング（指以外）
Rebocap
■ポーズトラッキング（指）
Webcam Motion Capture
自動生成手順
まずは新しいシーンを作成し、そのあと以下の手順通りに作業してください。
①初心者ナビの基本設定を始める
Ⅰ. アセットのマークを押す
Ⅱ. 「初心者ナビ」を押す
Ⅲ. 基本設定の「始める」を押す
②使用する3Dモデルを選ぶ
モデルをまだキャラクターフォルダに入れていない場合は、同画面の「キャラクターフォルダを開く」からエクスプローラでフォルダを開き、そこに読み込みたいモデルを置く。
その後、リストからモデルを選択して「OK」を押す。
ちなみに右のギャラリーマークを押すと、モデルのプレビューを見ながら選択できる。
③モーションキャプチャーの設定
自動生成したいので、「はい、お勧めしてください」を押す。
④質問に答えていく
RebocapとWebcam Motion Captureを使用する場合、以下のように答えてもらえれば大丈夫です。
違うツールを使用するときは適宜読み替えてください。
Q.全身トラッキングが必要ですか。
➡「はい」
Q.どの全身トラッキングハードウェアを使いたいですか。
➡リストから「VRトラッカー（HTC VIVE、Slime VRなど）」を選択
Q.顔のロック解除（フェイスID）に対応したiPhoneやiPadを持っていますか。
➡今回はWebカメラでトラッキングするので「いいえ」
Q.あなたはコンピューターカメラを持っていますか。
➡「はい」
Q.使用するカメラを下から選択します。
➡使用したいカメラを選択してください
すべての質問に答えたら「OK」を押して進む。
⑤トラッキングツールを選択
すべて「VMC（VSeeFace、VirtualMotionCapture、SlimeVRなどの外部プログラム）」を選択。
このあとそれぞれカスタマイズするので、まだ先には進まないでください。
⑥フェイストラッキングをカスタマイズ
「フェイストラッキングをカスタマイズします…」を押して下の画面を開く
頭とボディのモーションを有効にする
➡「いいえ」
頭とボディはRebocapでトラッキングしたいので「いいえ」を選択する。
ここ以外の項目はお好みの設定で大丈夫です。
⑦ポーズトラッキングのカスタマイズ（指以外）
Rebocapを使った、指以外の全身トラッキングについて設定する。
真ん中の「ポーズトラッキングをカスタマイズします…」を押して下の画面を開く
Track Full Body
➡指だけ別でトラッキングしたいので「いいえ」
Tracked Body Parts
➡「右手の指」「左手の指」を削除
ポート
➡RebocapのVMC送信と同じポート番号にする。
（Rebocapのソフト上で自分で設定できます）
ミラートラッキングはお好みの設定で。
自分はRebocap側でミラートラッキングをかけているので「いいえ」にしています。
⑧ポーズトラッキングのカスタマイズ（指）
Webcam Motion Captureを使った、指のトラッキングについて設定する。
Secondary Pose Trackingの「ポーズトラッキングをカスタマイズします…」を押して下の画面を開く
Track Full Body
➡指だけトラッキングしたいので「いいえ」
Tracked Body Parts
➡「右手の指」「左手の指」のみにする
ポート
➡Webcam Motion CaptureのVMC送信と同じポート番号にする。
（Webcam Motion Captureのソフト上で自分で設定できます）
⑨表情のインポート（任意）
キーボード操作で表情を変えたいときは「表情をインポートします。」を選択。
こちらを選ぶと「F1キーでJoy、F2キーでAngry…」のようなブループリントを自動で作成してくれます。
表情変更の機能が必要ないときは「表情をインポートしません。」を選択。
⑩背景を設定（任意）
背景をどうするか聞かれますが、お好みの項目を選択してください。
クリックで選択したら×でとじればOK
⑪自動生成完了！
このままだと足が浮く
ブループリントの自動生成はこれで完了！！
…なのですが、このままだとまだ、しゃがんだ時に足が浮いて不自然な動きになってしまいます。
ブループリントを手で直せば解決できますので、こちらの記事を参考にしてください！
実際の配信
足浮き解決前の配信ですが、Warudo・Rebocap・Webcam Motion Captureを用いた3D配信はこんな感じになります！
リングフィット配信と3Dフルトラ歌枠です。
こんなことができるんだ！という発見や、
こういうこともできそうだな、と思いつくきっかけなど、
どなたかの参考になれば幸いです！
（ちなみにモデルの表情があまり可愛くないのは、ツールではなく3Dモデル側の問題だと思います…！それ以外の部分が参考になればうれしいです）
ここまでお読みいただきありがとうございました！