[1] UnityでVTuber VRoomで簡単高画質配信
モーションキャプチャーソフトでキャプチャーしOBSで配信は簡単に出来ますがどうしても平面的な配信になってしまいます。
どうにか3D空間から配信しているようなVTuberが出来ないか研究をしようと思います。ただVRゴーグルは酔うので今回はWEBカメラを使う方式にしたいと思います。まずは準備から。
■目指す所！
gpsnmea jpさんの下記動画を目標に頑張ります。
■まずはアバターを準備
VRoid Studioでアバターを作成する。詳細は以下の記事で。
■モーションキャプチャーソフトを用意
ソフトはまずVSeeFaceを試したいと思います。
ダウンロードはトップページ中央にあります。
インストール後、起動すると以下の画面になるのでVRMを読み込む。カメラは右のウェブカメラで選ぶのでソフトの起動前に接続した方が良い。設定が完了したらスタートを押す
VRMが読み込まれ口が動けば成功です。
■空間ソフトを用意
Unityでモーションキャプチャーをしたい所ですがまずはVRoomでイメージトレーニング。VRoomは簡単にハイクオリティーの配信空間が作れるので超おすすめです。
VRoom
まずはBOOTHからソフトをDLします。
起動すると誰もいないのでVRMを読み込みます。
LoadVRMをクリックしVRoidで作成したVRMを読み込みます。
これだけでハイクオリティーな3D空間にアバターを読み込むことができました。
■モーションの割り当て
次はモーションの割り当てを行います。
VSeeFaceで「設定→一般設定」からOSC/VMCプロトコルの「OSC/VMCプロトコルで送信する」にチェックをつけ、右の数字をコピーする。
VRoomに戻り下部のセッティングに先ほどの数字をペーストする。これでモーションが読み込まれるようになります。
■部屋の移動や位置調整
Roomボタンで部屋を移動することができます。My Roomを選ぶと好きな家具を置いて部屋をカスタムすることができます。
立っているのもおかしいので座らせましょう。
スペースを押すとSub Manuが開くので上から３番目の手を挙げているアイコンをクリックし、下半身（座り）ポーズを選び適応します。座りは数種類あるので好みで選択します。足がズボンから飛び出してしまってますが今回は見えないのでスルーします💦
にしても座る位置が高すぎて浮いてしまっています。修正しましょう。
Sub Menuの一番上を選ぶとアバターの位置を指定できるので位置を合わせます。これで位置合わせはOK！
他詳しい操作はF1をクリックすると下図が出るので確認できます。
これで完成です。話している言葉に合わせて口が動き、体の傾きも併せてくれます。
■手や体を動かしたくて…
ただこれだと手が動かないのでどうしても面白くありません。色々探したのですが無料で良さげなソフトがなく、泣く泣く有料ソフトに手を出してしまいました。
Webcam Motion Capture
WMCを使うのが一番簡単で早かったです。月200円なら我慢できるかな。
Webcam Motion Receiverのモーションを送信するには
①上部メニュー「外部アプリに送信」を選択
②オプション「VMCメッセージ送信」を選択
③ポート番号をコピー
④「送信開始」をクリック
④VRoomのSettingのOSC/VMCプロトコル受信番号に番号をペースト
これで体を動かすことができました。
ただ目玉の挙動がおかしいのと肩が上がってしまいました。VRMが悪いのがモーションキャプチャーが悪いのか。設定をいじる必要がありますね。
■まとめ
まずは第一段階としてVRoomにVRMをインポートしました。これだけでもクオリティーが高くなった気がします。次はUnityに読み込ませたいと思います。うまく行くかなあ