宇宙を舞台にした何か：その８
リップシンクで問題が起きたのでシェアしとく。当然といえば当然だが、人間の顔から大きく外れる（極端な表情も含む）と顔認識が失敗するらしく、リップシンク不可になる。顔をでかくすればいけると思っていたのでちょっと悲しくなった。
例えばKLINGAIだと、リップシンクする場合は、まず静止画を動画化し、その動画をリップシンクする手順になるが、顔認識が失敗する静止画を使った場合は、動画化できても顔の表情が固定化され口も動かない動画が生成され、それをリップシンクしようとするとエラーが出て処理不可になる。エラーが出ない場合でも、リップシンク処理で顔が爆発する場合もあった。
下記がリップシンク不可だった画像
最終的にリップシンク可能だった画像
スピンオフで女海賊の宇宙船船長を作ってるが、それをちびキャラ化してアニメ顔のリアル人形にしようと思ったので、このリップシンクの問題が影響するかのテストをしてみた。結果は御覧のように問題なかった。人の顔構造からはかけ離れているが、画像的に顔の要素がちゃんと識別できるので大丈夫という事なのかな？
下記のアニメ顔で試したら口もパクパクして動画化はOKだったが、リップシンク不可だった。なぜかな～？
とりあえずこんな感じで進行してる、、