アバターで社内のWeb会議に出よう！
背景
自社のWeb会議が9割9分オンラインで行われるようになってから3年くらいたちます。Web会議に映る自分の顔は見飽きたので、随分前から自分は美少女アバターで参加するようになりました。導入方法はそう難しくなく、割りと心が穏やかになるので、自分のやり方を共有したいと思います。
この記事ではアバターをVRoid Studioで作成し、表情トラッキングが出来るように最適化(パーフェクトシンク化)をし、Web会議で表示する方法を紹介します。
Windows PCとiPhoneがあれば、あとは有料のツール代に総額2400円ほど費やせれば実装が出来ます。
アバターでWeb会議するための構成
iPhone上のiFacialMocapアプリで取得したユーザの表情がVMagicMirrorというツール上のアバターに反映されます。VMagicMirrorのアバターの情報はOBSに共有され、その内容を映し出す仮想カメラが作成されます。この仮想カメラをZoomの映像インプットとして使ってWeb会議をします。
では、これから順番に案内する方法でアバターで社内のWeb会議に出ましょう！
必要な機器
Windows PC
この記事では、Windowsでしか起動が出来ない『HANA App』と『VMagicMirror』というソフトウェアの案内をしています。Macでの実装は出来ません。
※未検証ですが、MacユーザはVMagicMirrorの代わりにVCamアプリが使えるかもしれません
FaceIDを搭載したiPhone
ユーザの表情を正確にトラッキングするために、iPhone上でiFacialMocapというアプリを使います。iPhoneにFaceIDが搭載されているかを確認してから次のステップに進んで下さい。
アバター用のツールの準備
[無料] VRoid Studio (アバター作成)
https://vroid.com/studio
VRoid Studioは、3Dモデリングの知識が無くても人型の3Dアバターが作成出来るツールです。公式サイトからダウンロードしてインストールすれば、すぐにモデルの作成に着手が出来ます。ネット上にVRoid Studioを使ったアバターの作成方法がいっぱい見つかるので、それらを参考にアバターを作成してみましょう。
最終工程でアバターをエクスポートする際に、『透明メッシュを削除する』のチェックをオフにしてVRM0.0としてエクスポートしてください。
[1500円] HANA App (アバターのパーフェクトシンク化)
https://kuniyan.booth.pm/items/2917742
HANA AppはVRMのアバターをパーフェクトシンク化するツールです。パーフェクトシンク化されたアバターは高度な表情の操作が出来るようになります。VRoid Studioで出力したVRMのアバターはHANA Appを通せば簡単にパーフェクトシンク化出来ます。
HANA App をBOOTHからダウンロードしたら、ソフトウェアを起動して先程作成したVroidのVRMフアイルをアップロードします。『パーフェクトシンク化』をクリックし、ログに『セットが完了しました』と表示されるまで待ちます。
※この時点でログに『頂点数がHANA_APPデータファイルに適合していません』とエラーが出た場合、前項目で案内していた透明メッシュの調整が出来ていない可能性があります
次に、『Clip調整』を選択します。
左のClipsを1つずつ選択すると、右側にどのブレンドシェイプ(表情のパラメータ)が使われているかが表示されます。1つ1つのClipやパラメータの意味は、ここでは理解しなくても大丈夫です。Clipを1つずつ確認して、表情の見た目が変になっていないかを確認しましょう。見た目が変になっていたら、右側のBlendShapesのパラメータを適宜修正しましょう。表情がほとんど動かないClipもあったりしますが、無視しても特に問題は無いです。
Clipsの確認が終わったらメニュー画面に戻ります。Saveをクリックすると、パーフェクトシンク化されたアバターのVRMファイルが出力されます。
会議に必要なツールの準備
[900円] iFacialMocap
https://apps.apple.com/jp/app/ifacialmocap/id1489470545
iFacialMocapは、iPhoneで顔の動きをキャプチャするアプリです(iPadでも可)。キャプチャしたデータを3DCGを扱うソフトウェアに送信することが出来ます。App StoreからiPhoneにインストールして下さい。アプリを起動させ、インカメラで自分の顔をトラッキングすると下記のようにスマホ上の顔が動きます。
この顔のトラッキングデータを次のステップのVMagicMirrorに反映させていきます。
[無料] VMagicMirror
https://baku-dreameater.booth.pm/items/1272298
VMagicMirrorはWindows PCでVRMアバターを表示し、ユーザの行動に合わせてアバターを動かすことが出来るツールです。
まず、VMagicMirrorをダウンロードしてパソコンにインストールします。
VMagicMirrorを起動後、【ホーム】タブの【VRMロード】メニューから【PC上のファイルをロード】を選択し、HANA Appでパーフェクトシンク化したVRMをアップロードします。
次に、iFacialMocapとの連携をするために、【Ex. Tracker】 タブの【外部トラッキング】設定で、下記のオプションを有効にします：
外部トラッキングを有効化
リップシンクも外部トラッキングの値を適用
パーフェクトシンクを使用
同じ【Ex. Tracker】 タブの中に【アプリとの連携】設定があるので、iFacialMocapのラジオボタンを選択します。iPhone/iPadがPCと同じWi-Fiのネットワークに繋がってることを確認し、iFacialMocapのアプリを起動します。表示されるIPアドレスをVMagicMirrorの設定に入れ、Connectボタンをクリックします。
成功すれば、iFacialMocapでトラッキングされたデータがVMagicMirrorに送信され、VRMの表情をリアルタイムで動かすことができます。
[無料] OBS Studio
https://obsproject.com/
OBS Studioはライブ配信用ソフトです。これを使うと、VMagicMirror内のアバターだけが表示される『仮想カメラ』を作ることができ、Zoomのビデオ入力としてこの仮想カメラを選択することが出来ます。
OBS Studioの起動後、下のメニューから新しいシーンを作成します。
VMagicMirrorが起動されていることを確認してから、ソースからウィンドウキャプチャを選び、VMagicMirrorのウィンドウを選びます。
OBS Studioの黒いエリアに先程のウィンドウの内容が表示されます。Web会議の時に、この黒いエリアが実際に『表示される画面』となるので、それを意識して中のウィンドウの位置やサイズの調整をします。準備が整ったら『仮想カメラ開始』をクリックします。
『仮想カメラ開始』がオンになっている間、ZoomやGoogle MeetといったWeb会議ツールは、この仮想カメラを『Web会議に表示出来るカメラ入力の1つ』として認識されます。
[無料] Zoom
ZoomのWeb会議を立ち上げます。
ビデオの設定を開くと、普段使用しているウェブカメラ以外にも『OBS Virtual Camera』が選択肢として表示されるはずです。こちらを選択してみましょう。
これで設定が全部終わりました！
美少女アバターの姿でWeb会議に参加できます。
最後に
無料・・・とまではいかなかったですが、アバターでの会議参加方法のコスパの良い案内が出来たと思います。
アバターをVRoid Studioで準備する利点としては、『着せ替えのしやすさ』といった点があります。暫くアバターを使っていると、服を着せ替えしたくなってきます。特に自分は季節に合わせたコーデがしたくなるので、Vroid用のアパレルがいっぱいそろっているBOOTHにはお世話になっています。VRoid Studioを使えば着せ替えも楽に済みます。自作アバターだと服もほぼ自作する必要が出てくるので、楽に着せ替えが出来ません。
ではでは、楽しいアバターライフを✋