【完全無料で作成可能】まるで女子アナ！？あなたの生成した画像が喋りだす！「Echo Mimic」で動画を簡単に作ろう！

AIエセ師です。

生成した画像が動き出す…SNSでの投稿されることが増えてきました。バズっている動画もよく見ますね。
今回も面白いものができたのでお知らせいたします。

これ結構面白いですね。
音声はなんでも良いので、色々と活用できそう

やり方簡単なのでまとめますー pic.twitter.com/2TtKhWDv0e

— AIエセ師 | AI画像生成マネタイズクラブ管理人 (@AIeseshi) July 20, 2024

こんな感じで今回はあなたが作成した人物の画像があたかも生きている可能に喋りだす！

Xのプレゼント企画で顔を動かす「Live portraite」などの紹介をしましたが、今回は流暢に言葉を喋ります。

今までと違うのは顔全体がしっかり動くことです。人間が喋る時、唇のみ動くわけではありません。顔全体が動きますし、目も動きますよね。

そんな喋る時の表情をリアルに再現しているのが、今回の技術になります。簡単な単語から、会話、商品説明なども可能ではないでしょうか。

今後の活用方法は色々ありますね！

そんな技術がとても簡単にできるようになったのです！

また今回はEcho Mimicの紹介だけでは無く、音声の作成方法も記載しております。こちらを合わせることで美女が流暢に喋りますよ！

1.画像が喋る！「Echo Mimic」はどんなことができるの？

EchoMimicは従来の方法に比べて、よりリアルで自然なポートレートアニメーションを作成することができます。

この技術により、ポートレートがまるで生きているかのように動き出します。

EchoMimicは、音声と顔のランドマークを組み合わせることで、従来の方法よりも優れたポートレートアニメーションを生成する革新的な技術です。

従来の方法では、音声だけや顔のキーポイントだけを使用してアニメーションを作成していましたが、音声だけで駆動する方法は不安定であり、顔のキーポイントだけを使う方法では不自然な結果になることが多かったのです。

EchoMimicは、これらの課題を解決するために開発されました。

音声と顔のランドマークを同時に使用することで、リアルでダイナミックなポートレートアニメーションを生成することができます。

これにより、音声だけの方法に比べてより安定したアニメーションが実現し、顔のランドマークを使うことで顔の動きや表情がより自然に見えるようになります。

このアプローチにより、従来のキーポイントのみを使用する方法よりも不自然さが軽減されます。

2.Echo Mimicへのアクセス方法

今回はGoogle Colabを使用します。