シュッと口を動かしてみる

ちゃっす(/・ω・)/


DreamTalk というやつの Colab コードが公開されていたので試してみたぞ☆


これなぁに( ・ω・)?


に対するアンサーとしては、なんか顔写真と音声と感情を選択すると、すべてを考慮したパクパク動画ができるのである(/・ω・)/



Colab

今回は dreamtalk_gradio_colab でシュッと試してみるのである(/・ω・)/


この Colab を開いてコピーを作成したのちに、何も考えずにコードを実行するのである(/・ω・)/


すると URL が表示されるのでアクセスすると



こんな画面が表示される

ほいで喋らせたい画像をアップロードして、音声とスタイルを選択するのじゃ(/・ω・)/


ワタクシを喋らせる


元々のコードを実行するだけだと事前に用意された音源しかないのであるが、/dreamtalk/data/audio に自分の音声を置いて、コードをちょちょっと修正して実行すると自前のやつが選択できるぞ☆


今回は elevenlab.io で作成したワタクシのボイスクローンであけおめボイスを使用するのである(/・ω・)/

んで、実行すると動画ができますの(/・ω・)/


ごきげん☆


実際の動画はこんな感じ


とっても簡単(/・ω・)/


勝手に他人の画像を使うのはあれだけれど、自分のアイコンとか喋らせると面白いでござんす(/・ω・)/



んでまぁ、やってはみたものの何が凄いの( ・ω・)?


的な話をふにゃっとすると


口をパクパクするノイズモーションに対して音声と画像を基にいい感じの専用パクパクモーションをつくれるってとこかしら(/・ω・)/


詳しくは論文でも読んでくださいな(/・ω・)/


ということでシュッと遊んだのでおしまい。

この記事が気に入ったらサポートをしてみませんか?