【Warudo】リップシンクの設定
2024/8/7 リップシンクが動かないときの設定を追加しました
今回はお友達に「noteに書け」と脅された勧められたので記事にするよ！
設定方法はこちらの動画を参考にやっていくよ！（英語）
https://youtu.be/blIU1OLBLN4?si=WdiGUq6UIH1O-ooY
リップシンクを使うためには、もともと設定してあるモーションキャプチャーの設定を削除しないと使えない？っぽいので最初のセットアップから説明していくよ！
（すでにトラッカーの設定など済ませている場合は「セットアップ」は読み飛ばしてね）
セットアップ
まずはwarudoを開いたら出るこの画面の一番上、基本設定の「始める」でキャラクターを選んで「OK」
今回はプリセットのSipilkaを選びましたが、自分の使いたいモデルがあれば「キャラクターフォルダを開く」で表示されるフォルダの中にVRM形式のモデルを入れたら使えるようになります。
モーションキャプチャーの設定というのが出るので「はい、お勧めしてください」を選んで「OK」
自分の環境に合わせて質問に回答、今回はwebカメラを使用するのでこんな感じ。
「フェイストラッキングをカスタマイズします…」を押して詳細を開く
（自動的に選択されるみたいなので、わからなければそのままでもいいかも？）
一番下にスクロールして、リップ同期のところを「永続的に有効」マイク台に使いたいマイクを選ぶ。
ハイブリッドモードは今回は「はい」の方を選んでみる。（必要ありませんって書いてあるからいらなかったかも？）
「OK」を押して読み込みが終わると、「表情のインポート」が出るので「インポートします。」を選んでまた「OK」
背景の設定はお好みでどうぞ、今回は「既存の背景を維持します。」にしました。
セットアップ終了！
ある程度設定してある人向け
キャラクター＞モーションキャプチャーの中に「リップ同期設定」がなければ新しくシーンを作り直さないとリップシンクは使えないみたいなので、別名保存をして作業するのがいいかも？
リップシンクを使えるようにする
まずキャラクター＞モーションキャプチャーの一番下にある「モーションキャプチャーを削除」を押して設定を消す。
「モーションキャプチャーの設定」から新しく設定していく
フェイストラッキングテンプレートは以前使っていた設定と同じものを選ぶ。
今回はwebカメラを使うので「MediaPipe」を選択
一番下にスクロールして、リップ同期のところを「永続的に有効」マイク台に使いたいマイクを選ぶ。
ポーズトラッキングの設定は必要なければ「なし」その他は自分にあったテンプレートを選ぶ
これでリップシンクを使えるようになった！
リップシンクの設定
キャラクター＞モーションキャプチャーの中にある「リップ同期設定」を開くとブループリントの画面になる。
「リップ同期アニメーションを生成する」の中「キャリブレーション」を押して設定していく。
キャリブレーション音素の選択は「AIUEO」のまま「OK」
次に案内に従って実際に声を出して「あいうえお」の順番でキャリブレーションしていく。
終わったら名前をつけて保存。
これでリップシンクの設定おわり！
以下8/7追加
設定したのに口パクしてくれないんだが？？
→ブレンドシェイプが設定されてないかも！
BlendShapeの確認をします
キャラクター＞表情＞「デフォルトのBlendShapeリスト」で+を押して項目を追加
BlendShapeの白いところを押すと、モデルに実装されているブレンドシェイプのリストが出てくるのでリップシンク用のものを探す
今回は「vrc.v_」から始まるやつがリップシンク用のものになります（VRChat用のモデルを使うときはだいたいこの名前かもしれない）
「あいうえお」「リップ」「LipSync」などモデルによって名前が違うので頑張って探してみてください、リストの上の方にある事が多いです
キャラクター＞モーションキャプチャーの中にある「リップ同期設定」＞音素の項目を開く
BlendShapeの「A」、「I」、「U」、「E」、「O」をそれぞれ先ほど確認したブレンドシェイプの名前に書き換える
今回は「vrc.v_aa」「vrc.v_ih」「vrc.v_ou」「vrc.v_e」「vrc.v_oh」にしました
名前が一致していればリップシンクできていると思います！
ブレンドシェイプを確認するのに「デフォルトのBlendShapeリスト」二追加した項目は－で削除してしまって大丈夫です