VSeeFace で一部の表情の口が本来の想定と違ってしまう問題の解決
表題でいう「問題」には、2つありますが、どちらも Neutral (ニュートラル) のデータが強めに表れることから来ています。
問題1。
円唇母音の特徴を再現させた "O" (O, お), "U" (ou, う) の丸みを帯びた口の形が平たい口（非円唇）にされる問題です。
そのような状態だと、常に微笑んだ顔だったり、口が本来より横長だったりします。
問題2。
自作の「下に舌を出すてへぺろ表情」の口元が破綻するように、何かしらの表情の口元が破綻する問題です。
そのような状態だと、ほかの表情も軽度に違和感があるかもしれません。
こちらで2つの問題を確認したとき、VRoid Studio (正式版) 製のVRMを使っています。
それ以外の方だと、Neutralのデータの内容が違うものかもしれませんので、同じ問題が再現されるかは不明です。
問題1は、Unity で Neutral ブレンドシェイプの Preset が "Neutral" と同名にされており、それを別のものに変える（例："Unknown"）ことで直ります。
問題2は、前者と同じ方法で直るは直るのですが、Unityを使わない方法でも直ります。
VSeeFace 上で Expression settings (表情設定) を開き、個別表情を Additive から Base にすると直ります。
2つの問題と解決方法は以上となります。
動画版があります（音声リップシンクの様子なども見られます）
以下からちょっとしたレポートを載せます。
ちょっとした読み物としてお楽しみください。
2024年9月17, 18日、BlenderでVRoid Studio製アバターのために「てへぺろ☆」のような舌出しシェイプキーを作りました。
"TongueOut_LU"（本人左上の舌出し）, "Tehepero_LU"（本人左上てへぺろ）, "TongueOut_LD"（本人左下の舌出し）, "Tehepero_LD"（本人左下てへぺろ）のような名前にしてあります。
Unity でブレンドシェイプ設定してから VSeeFace で表情を試すと、"TongueOut_LD", "Tehepero_LD"の舌は想定された位置から舌が出ておらず、はっきりとずれていた（LD系表情の口元が破綻していた）。
実用としては、望ましくないため、後で修正しよう。
9月25日、3tene では破綻していないことにつき、VSeeFace固有の問題と認識を改めた。
原因を探り入れると、口角の上がる Neutral 表情がVSeeFaceで強く表れ、それに別の表情を追加する形で、LD系表情が反映されている状態だと分かった。
実は自分のYouTube動画からの引用です
そこで、Expression settings を開き、個別表情を Additive から Base にすると直ることが分かった。
9月28日、それまでVSeeFaceに限ってVRoidアバターが常に微笑んでいたり、"U" (ou, う), "O" (O, お) の丸みを帯びたものとして設定した口（円唇母音）の形が平たい口（非円唇）にされてしまったり、どういうことだろうと思っていたので、改善させる方法を探った。
Unity の Neutral ブレンドシェイプはどのシェイプキーの数値も0になっており、そこに原因がないことは前から把握していた。
どうしようか改めて考えると、Unity で Neutral ブレンドシェイプの Preset が "Neutral" と同名にされており、それを別のものに変えればよいのではないか、と思った。
そこで、Preset 部分の "Neutral" を "Unknown" とした。
これでVRMエクスポートすると、微笑んでいない本来のNeutralとなった。
それにより、"O" (O, お), "U" (ou, う) の口の形が、微妙ながら丸みを帯びたものに変わった。
VRoid Studioでエクスポートされたデータは基本が一緒なのだが、トラッキングアプリごとに最初から表情や挙動に違いが出てしまう。
トラッキングアプリごとに慎重な確認と細かい設定をせねばならないのは大変である。
※VSeeFace開発の中心にいるEさんとDさんはVRoidユーザーのはずで、彼らはなんとも感じなかった？もといEさんのアバター（VRoidかセシルか3Dカスタムか不明だが）は特に口元がほほ笑んだ感じはなかったりする。
この種の問題については、気づかないまま時間が過ぎたり、悪い意味で慣れて放置するおそれもある。
インターネットに、通常、このようなことがまとめて載っているとも限らないため、独自で調べて改善方法を見つけ出すことが多い。
最後に、参考リンク
Meta (旧 Oculus) 口形素 (viseme) のリファレンス
https://developers.meta.com/horizon/documentation/unity/audio-ovrlipsync-viseme-reference/
この記事が気に入ったらサポートをしてみませんか？