会社でバ美肉でびゅー！
この記事は、corp-engr 情シスSlack（コーポレートエンジニア x 情シス）#2 Advent Calendar 2021 の11日目の記事です。
この記事は名前を知ってるVTuberはキズナアイくらい、blenderってなんじゃらほい？という素人が、フェイストラッキングのみで社内朝会に参加してみようという取り組みを書いたものです。
経緯
会社の人で定例の報告会にバーチャルアバターで参加している人がいたんですが、最近やり方を聞くことができたので自分でもできるか確認しました。
これが…メタバース…？
用意するもの
Mac
手元のPCがMacだけなのでMacで動作確認しています。
プライベートがM1で、会社支給がIntelだったので、どちらでも動くようにソフトを選定しました。
VRoid Studio
アバターを作ります。無料です。
3teneFREE
フェイストラッキングを行います。無料です。Kalidoface 3Dの方が楽なのでこっちはなしで。
Kalidoface 3D
フェイストラッキングはKalidoface 3Dの方がいいですね。無料です。
OBS Studio
仮想webカメラを構築します。無料です。
教えてもらったのはCamTwistだったんですが、開発が終了しているので使わない方法を探したらこちらにたどり着きました。
バーチャル美少女になるまでの流れ
1. アバターを作る
VRoidでアバター（推し）を作ります。
まずはVRoid StudioをDL。
起動してモデルを新規作成します。
性別はとりあえず女性。
目指すはバーチャル美少女ですし、男見ててもつまんないし。
さて、ここから好みを詰めていくわけですが…。
操作的には任天堂のMiiをより詳細にできる感じですね。
目鼻立ちから髪型、体型、衣装、別で作ればアクセサリーも付けられるみたいです。
できたらVRMフォーマットでエクスポートします。
これでVRoidでの作業は完了です。
2-1. 仮想カメラに移す画面を作る（3tene編）
次に3temeを起動しアバターを読み込みます。
3temeはDLするとzipファイルなので解凍してアプリケーションに追加するんですが、普通にクリックして起動しようとしても起動できません。
起動できないことを確認した後、アプリケーションを右クリックして「開く」をクリックするとダイアログが変わるので、開くをクリックして起動します。
起動したら先程作成したアバターを追加します。
読み込んだら右の上から2つ目のアイコンをクリックしてアバターの位置を調整します。
今回は顔しか使わないのでめっちゃ寄る感じで。
右上のアイコンでトラッキングをONにします。
壁紙とかも設定したら設定からメニューバーを自動的に隠すとほぼ完成です。
2-2. 仮想カメラに移す画面を作る（Kalidoface 3D編）
webブラウザでアクセスして右下のcharactorをクリック
作成したvrmファイルをアップロードしてカメラボタンを押すだけで完了です。わあ簡単。
設定も色々ありますが特段説明が必要な程でもないですねー。
3. 仮想カメラを設定する
最後にOBS Studioを起動させてソースに3temeもしくはKalidoface 3Dを指定します。
なにはともあれまずはOBS Studioをダウンロード。
起動すると自動構成ウィザードが表示されるので、「仮想カメラのみ使用する」を選択して次へ。
設定完了後、左下にあるソースウィンドウの＋をクリックして「ウィンドウキャプチャ」を選択。
3teneもしくはKalidoface 3Dを指定するため、分かりやすく名前をつけます。
このままだとタイトルバーまで見えてしまうので範囲を調整して、右にある仮想カメラ開始をクリック
仮想カメラを起動させたらZoomのカメラに指定して完成です。
感想
思ったより楽しいですね。
フェイストラッキングだけでも十分感情を表現できますし、物足りない人は手も動かしたり出来たので更に表現の幅が広がります。
地味に背景をバーチャルにしていても稀に発生する後ろの洗濯物とかが見えちゃう問題が完全に解決します。
フェイストラッキングだけであれば、正直犬とか猫とかダルマとかでもいいんですが、逆に技術力を求められるので美少女はコスパ良きですね。
不満点としては主に3tene関連ですかなー。
まず動作が不安定ですぐ落ちます。
機嫌がいいと大丈夫なんですが、普通に設定を見てるだけで落ちたりするのでもうちょっと安定してくれるといいなーと思います。
設定もなんか保存されないので都度アバターを前に持ってこないといけないのが困りもの…。うーん、地味にめんどくさいです。
Kalidoface 3Dだともっと簡単に仮想カメラ用のウィンドウが出来るのでこちらをおすすめします。
あと自分が動く→トラッキングされる→仮想カメラに反映、なのでちょっとタイムラグが大きいなぁと。
構成上仕方ないのか、PCの性能か、はたまた無料版の限界なのかはわかりませんが、まぁ話すだけなら特に違和感は持たれないでしょう。
最後にPCがずっとファン回しっぱなしなのでそろそろアプリを終了させたいと思います。皆さんも良きバ美肉体験を！