AIリップシンクビデオが作れる「hedra」で自己紹介動画をつくる

今日は、言葉に合わせて唇や表情が人間のように動くリップシンク機能を使って自己紹介ビデオを作る方法を解説します。

まずは、加藤香織の自己紹介ビデオをご覧ください。

元となった写真はコレです。

元となった写真はコレです。

用意するものは1枚の写真と読み上げるテキスト文章だけで、最大30秒の動画が作れるようです。

従来のリップシンクビデオは、口だけが動くものでしたが、最近は文章に合わせて表情まで変わるので、本物の人間のようです。

リップシンクビデオの作り方

まずは、hedraのサイトにアクセスしアカウントを作成します。画面中央の「try beta」を押して、Googleアカウントで簡単に作成できます。
betaと書いてあるので、恐らく現在は実験段階のため、無料で使用できるのだと思います。

操作は非常に簡単です。

下の画面の左がオーディオ、中央が写真、右側が完成した動画です。

（１）オーディオ（画面左）

Generate audio：テキストを入力して、声を選びます。
ここではRachelという女性の声を選びました。
※Import audio：あらかじめ音声データを持っている場合は、こちらを選択します（後述します）。

（２）写真（画面中央）

Upload：写真をアップロードします。
※注意点：幼い顔の写真をアップロードすると、生成開始後に「規約違反」と表示されて、生成が中止されます。20代前半の日本人の顔は子供に見えるのか、香織の写真もかなりの確率で拒否されました。大人っぽい顔の写真を選ぶ必要があります。
※全身写真であっても、自動的に顔の部分をトリミングして配置してくれます。
※Download：写真を持っていない場合は、どんな写真が欲しいのかを英語で記述してAI画像を生成することもできます（ここでは割愛します）。

（３）完成動画（画面右）

Generate Video：ボタンを押すと動画が生成され、ダウンロードできます。

（４）ポイント

長い文章を一気に作ろうとすると、時間の経過とともに顔が崩れてしまいます。

（５）歌を歌わせる

オーディオ画面で「Import audio」を選択し、楽曲ファイルをアップロードすると、それに合わせてリップシンクビデオが作れます。
ただ、これも長い映像になると後半、顔が崩れてきますので、ワンフレーズずつ動画をつくってつなげるときれいになりそうです。
以下のビデオは、動画を２つつくってつなげました。

このサービスがいつまで無料で使えるかはわかりませんが、今後、同様のサービスが品質の向上、低価格、長時間対応で出てくることを想像するとわくわくしますね。

ご質問等あればお気軽にコメントください。