iFacialMocap、VRM Posing Desktop、AvaKitでアバターをより美しく表現しよう！ : VTuberガイド
こんにちはVtuber皆さん、AvaKitです。
今日は皆さんの配信をより生き生きと楽しくすることができるツールの組み合わせを紹介しようと思います。 iFacialmocap、VRM Posing Desktop、そしてAvaKitが皆さんの配信をどのように変化させることができるかを一緒に見ていきましょう！
オススメツール紹介
iFacialMocap
iFacialMocapは、FaceIDを搭載したiPhoneで顔の動きをキャプチャするアプリです。 このアプリはキャプチャしたモーションをリアルタイムでPC上のMaya、Unity、Blender、3dsMaxなどの3DCGソフトウェアに送信します。（iFacialMocapホームページ内の紹介文参照）
iPhoneの精巧なセンサーを活用してユーザーの顔の動きデータを受け取った後、vrmアバターの52個のBlend Shapeを認識してマッチングさせます。リアルタイムで迅速な表情認識と変換が可能で、アバターの目、眉毛、口、頬などの細かい動きまで表現されます。
VRM Posing Desktop
VRM Posing DesktopはVRMアバターを活用して様々な動作を生成できるツールです。様々なプリセット動作を通じて初めて使うユーザーも簡単に動作を適用することができ、直接動作を調整して無限のカスタマイズも可能です。Steam Workshopを通じて他のユーザーが作成したモーションを呼び出して使用することもでき、自分で作成したモーションを他のユーザーと共有することもできます。
AvaKit
AvaKitはモーショントラッキングから配信まで一つのプログラムの中で解決できる3D VTuber用ソリューションです。ウェブカメラ一台があっても上半身まで自由にトラッキングが可能です。 OBS Studioとの互換性で安定的な配信まで提供します。フィルター、パーティクル、エフェクトなど様々な視覚的要素も用意しています。
これらのツールをAvaKitと組み合わせて使用したらどうでしょうか？
配信の表現力と多様性が大きく向上します。日常的な表情から特別な動作まで、アバターが感情や動きを表現できるようになります。より生き生きとした配信を行うことができ、配信の質と面白さを向上させることができます。
iFacialMocapとAvaKitの組み合わせ
iFacialMocapでキャプチャした表情データをAvaKitに送って、vrmアバターに適用してみましょう。 この組み合わせでアバターの表情がより多様で精巧になり、配信中もリアルタイムで表情の反応ができるようになります。
１）iFacialMocapでiPhoneのIPアドレスを確認します。
２）AvaKitを起動し、トラッキングメニューを選択してください。
３）'iFacialMocap'の下のIP欄にiPhoneで確認したIPアドレスを入力して接続します。 (ただし、iFacialMocapを使用するiPhoneとAvaKitを実行するPC/ノートパソコンが同じwi-fiを使用している必要があります。)
４）テストを通じてリアルタイムの表情認識がうまく行われるか確認します。
５）体の動きを有効化すると、ウェブカメラによる上半身トラッキングも可能になります。
VRMPosingDesktopとAvaKitの組み合わせ
VRM Posing Desktopで生成された動作データをAvakitにインポートして使用してください。 これにより、配信中にアバターが様々な動作と表現をすることができます。
１）VRM Posing Desktopでお好みの動作を選択します。
２）VMC Protocolボタンをクリックした後、IPアドレスとPort Number '39539' を入力し、送信するデータを選択した後、'Sending'を押してください。
３）AvaKitを実行した後、トラッキングメニューを選択してください。
４）'VMC protocol' オプションを有効にすると、二つのプログラム間の連動が開始されます。
特にVRM Posing DesktopとAvaKitの組み合わせは今後もどんどんアップデートしていく予定です。
AvaKit内でVRM Posing Desktopの動作とAvaKitのウェブカメラトラッキングを混合して使用できるようにアップデートが行われる予定であり、継続的に使いやすさを高めていくアップデートを行う予定です。
注意 : VRM Posing Desktopのアップデートにより、v4.0.8バージョンからはvrm 1.0をサポートしています。AvaKitは現在vrm 0.xをサポートしており、このためv4.0.8バージョンからは「Expression」を受け取ることが不安定になる可能性があります。 v4.0.8以前のバージョンの使用をお勧めします。
今日ご紹介した「iFacialMocap、VRM Posing Desktop、そしてAvaKitの組み合わせ」はいかがでしたか？ これらのツールの組み合わせで、配信の表現力を高め、より面白い配信を作ることができればと思います。
VTuberの皆さんが楽しい配信活動ができることを期待して、また新しい記事をお届けします！
