見出し画像

画像と音声からリップシンクを生成するAIツール「DreamTalk」で遊んでみる👄

SUTO

AliBabaが公開している画像を音声に合わせて喋らせるAIツール（トーキングヘッド生成フレームワーク）「DreamTalk」。
AIサービスではHeyGenやDIDなどもありますが、オープンソースで試すことができる状態でしたので試してみました！

Githubのページはこちら。

デモはHugging Faceから！

早速アクセスしてみます。
アバター画像、音声ファイル、感情を選んで押すだけで良いUI ということで大変わかりやすいですね！

わかりやすい〜

それじゃ早速いじって行きますか！
まずはリップシンクしたいアバターを用意したいと思います。

chatGPTのDALL3さんに作ってもらった画像

そして画像をセット。

入った

その後は音声を自分で入れるか用意されている中から選び、同時に感情もセレクトします。

この部分
日本語もあった

早速スタート！

ぽちっとな

…
ちょっと待つとすぐできました。

できた

たしかにしっかり話しています！
が、自然とまでは言いづらく、ちょっと歪なところもあるかな？
ぜひ動画で確認してみてください！

使い道はありそうでなさそうなリップシンクですが、今後もっと精度が上がってくると自分で喋るときとかに面倒だったらリップシンクさせるとかそういうことができたりするのかな？基本はこれもディープフェイクですね。
今日はここまで〜（勉強になった）



いいなと思ったら応援しよう！