AIで作るJ-Popミュージックビデオ④ １曲まるまるリップシンクさせてみた

こんにちはJ1Mです。今週もMVつくりました。

今回はリップシンクについて書いてみたいと思います。

現状のリップシンク技術はスピーチ用であって歌唱用ではない

反省しかないリップシンク動画

こちら拙作MV「パラレルミラクル」です。
キャラクターに１曲まるまる歌わせてみたいという欲望にあらがえずやってみました。
結果、反省しかないできに…。
まあ、この経験も次につながるわけですからね。

喜怒哀楽を判別して同期させる現状のリップシンク

今回はKlingのリップシンクを使用しました。
コストも１回の生成につき５クレジットとお財布に優しい設定です。

一応リップシンクの大手であるD-IDとHeyGenものぞいてはみたのですが、これらはアバターに講義させたり商品紹介させたりするための技術なようで、最初にアバターを作るための動画をアップロードすることを求められるなど、ちょっと違う感じがしたので深入りはしませんでした。

さてKlingのリップシンクですが、こちらも基本はスピーチ、トークのための技術であり、シングではないのですよねえ。
だから顔の喜怒哀楽を判別して口の動きを制御します。

つまり…、真面目な顔してると口をほとんど開かないのです。

MVの前半は真面目な顔をさせてます。なのでほとんど口を開かない…。後半笑顔にさせてみたらやっと歌ってる感がでました。
でも歌唱って笑顔ばかりではないでしょう。真面目な顔して情熱的に口を大きくあけて歌うこともあるわけです。
Klingのリップシンク機能ではプロンプト指定ができません。もうおまかせなわけです。
なのでDiscordの要望スレッドにリップシンクでもプロンプトを使えるようにしてくださいと提案しておきました。

ミックスされた音源をリップシンク用リファレンスに使うという基本的なやらかし

前作「ハッピーとラッキー」でもなんか歌詞通りに口が動かないなあと不思議に思っていたのですが、なんのことはない、リファレンスにバッキングのあるミックスされた音源を使用していたのです…。
とほほ…。なんたる失態。
バッキングがあるとAIが正確に声を分析できませんからね。
途中で気づいて前半部分、ほぼまるまる再生成する事態に…。

みなさんMVでリップシンク動画作る際には、ボーカルステムを使いましょう！

オリジナルは口を動かしてない動画のほうがいいというChatGPTの提案

前回の「ハッピーとラッキー」で口の動きが歌詞にシンクロしていないのは元動画を生成するときにプロンプトで“歌っている“と指定して口をパクパクさせているからなのではないかと仮定しました。パクパクがノイズになっているのではないかと。
ChatGPTに相談したら、リップシンク動画を作る際はオリジナルの動画は口を動かしていないほうがいいとのアドバイス。
で、今回の結果なわけです。
確かに動かしていないほうが口の動きにノイズは入らないのですが、真面目な顔をしている場合、先述したように口を開かないので歌ってる感が弱い。
「ハッピーとラッキー」では真面目な顔をしていても元動画が口を大きくパクパクさせていたので歌っていた感は出ていたのですね。

正確さをとるかダイナミズムをとるかの選択になります。

現状のリップシンクは歌唱用ではないので限定的に使うのがオススメ

そもそもですね、主要な動画生成AIサービスでは生成される動画の尺を自分で細かく調整することができません。

つまり音ハメするのが難しいのです。

音ハメができない時点でMV制作に使うには厳しいわけですね。
なので部分部分でリップシンクを使いつつインサートなどでリズムを作っていくのが現実的な対応ではないでしょうか。

ちなみに今回はHUDにハートマークを表示させ、曲の120BPMにあわせてアニメーションさせることでリズム感を無理矢理演出しました。
SF設定だからできることですが、その他ではなかなかこうもいかないですもんね。

今週の動画生成AIニュース

今週はAdobeのFireFlyの動画生成モデルのベータ版が公開されました。
されましたが…、たった２回生成するだけで課金を求められます。
デイリークレジットもありません。ちょっと厳しい船出ですね。

それからLumaのRay2モデルがItoVできるようになったのですが、こちらも価格が厳しくRelaxModeでの無制限生成ができる94.99ドルのプランでなければ創作には使えない状況です。

最後になんとモバイルでGoogleのVeo2が使えるようになったようです。モバイルのYoutubeアプリから無制限で使えるようですね。
Webでも使えればいいのに…。

さて今回もとりとめがないのですが、ここまでです。
ありがとうございました！

記：J1M