見出し画像

実写のAIアバターを作ってYouTube動画を作ってみた【AIキャラ・AITuber Advent Calendar 2024 9日目】

だっち

【AIキャラ・AITuber Advent Calendar 2024 9日目】
こんにちは、こちらは「AITuber Advent Calendar 2024 9日目」の記事です。
ここでは私が実写のAIアバターを作成した記録を記します。
初めての記事制作のため拙い部分もあるかと思いますが、ご容赦ください🙇‍♂️

実写のAIアバターとは

アバターと聞くと2Dのモデルを思い浮かべると思いますが、実は実写で本人そっくりのアバターを作ることもできます。
しかも本人が喋っている様子を学習させて、文字を打ち込むだけで話させることも可能です。

該当の動画

こちらが実際に作成した実写のAIアバターを使用したYouTube動画です。
動画内で喋っている人物は終始AIアバターなので、一度ご覧くださいl
※正確には後半でネタバラシのため本人が登場します。AIアバターとどれだけそっくりかも合わせてご覧ください。
※音声は本人の声を使用しています（後ほど解説）

【9割が知らない】働き方が変わったAI活用事例3選
https://youtu.be/f3ilUOmtKOg

どうやって作成したのか？

使用したのは「HeyGen」というAIツールです。
https://www.heygen.com/

HeyGenとは

AIを活用して、テキストを入力するだけで自然な動画を作成できるツールです。
まるで人間が話しているかのような、高品質な動画を簡単に制作できる点が特徴ですね。

本来は画像のように元々用意されている実写モデルに対して、テキストを入力するだけで本物の人間のように喋らせることができるというものです。

HeyGenに標準で設定されている実写モデル

ですが、このツールでは自分そっくりのオリジナルアバターを生成して喋らせることができます。

自分そっくりのオリジナルのAIアバターを生成する方法

用意するのは「最大5分間の本人が話している動画データ」です。
これをHeyGenにアップロードして数時間待つだけで自分そっくりのAIアバターを作成することができます。

撮影機材はスマホでもなんでも大丈夫ですが、できる限り画質の良い状態の動画を用意してください。
因みにですが、約5分間は文字数2,000〜2,500程度の量になります。
そのため、予め原稿を用意して噛まずに読むことをオススメします。

また、背景にグリーンバック(GB)があると生成したアバターを切り抜いて背景を変えることも可能です。
上記の動画でも、GBを用いています。

オリジナルのAIアバターを生成したら、後はテキストを打ち込むんで読み込むだけでAIアバターがいい感じに喋ってくれます。
しかも、音声データをアップロードするとその音声に合わせてAIアバターが自動で喋ってくれます。(よ〜〜〜く見るとちょっとズレてることもありますが…初見だと気づかれないかと！)

AIアバターを生成するコツ

  • 学習させる動画データにカットは入れない
    動画にカットを入れると人物がカクッと動きますよね？
    あれが生成したアバターにも反映されてしまい、不自然なところでカクッとした動作が入るようになってしまいます。
    そのため、極力カットは入れないほうが良いです！

    ですが、約5分間も喋り続けているとほぼ確実に噛むと思うので、できる限り同じ体勢の状態でカットしてなるべく動作がカクッとしない動画にしてください。

  • なるべく表情は変えず、身振り手振りも入れない
    学習させる動画に手を動かす動作を入れてしまうと、AIアバターもその動作を学習してしまいます。
    ですが、すごく違和感のあるタイミングで身振り手振りを行うようになるため、オススメはしません。

    そのため、動画を撮影するときは手は前に組んでなるべく動かないように撮影するとよいです！
    ※首を動かすぐらいなら問題ないので、変に固くならなくて大丈夫です。

  • できる限り明るいところで撮影する
    何度か実装して感じたことなのですが、生成されたAIアバターは若干暗め？になっていました。（こちらの撮影の仕方が良くなかったのかもしれませんが）

    体感ですが、本人の顔が明るくなるようにライトで照らして撮影すると、見栄えの良いアバターを生成しやすくなりました。

  • 音声は本人の生声がオススメ
    別のAIツールで音声を生成して喋らせることも可能ですが、現状音声についてはAIで生成されたものだとどうしても違和感があるためオススメはしません。
    ※動画の後半でも音声の例を載せているので、詳しくはそちらをご覧ください。


オリジナルAIアバターを生成するときの注意点

有料プランに入る必要がある

オリジナルのAIアバターを生成するには有料プランに入る必要があります。（標準のアバターであれば無料プランで喋らせることは可能。）
私はクリエイタープランで生成しました。
プランを上げると学習させる動画の長さが30分まで伸びるため、より品質の良いAIアバターが生成できるようになります。

本人確認が必要

学習用の動画をHeyGenにアップロードすると本人確認を行います。
本人がパソコンのカメラの前にいる状態で、与えられたテキストを正確に読むことで認証されます。（スマホで本人の動画を流してむりやりテストを通ることも不可）
これを突破しないとオリジナルのAIアバターを生成できませんのでご注意ください。

そのため、他人の動画を素材にして無断で他人そっくりのAIアバターを生成できないようになっています。（この辺は対策されていて安心しました。）


今後の展望

さまざまな表情のアバターを生成してみたい。

ずっと同じ表情だとどうしても違和感があるため、様々な表情のAIアバターを生成してみたいですね。
HeyGenのオリジナルAIアバターを一度生成すると他のパターンも新たに生成することができるようです。
そのため、動画のカットごとにAIを生成すればそのセリフに合った表情でAIアバターを生成できるはずなので、追々試してみる予定です。


最後に

ここまでご覧いただきありがとうございました！
見づらい部分もあったかと思いますが、初めての記事制作が結構面白かったので、今後も何かしら発信していけたらと思います。

よければまたぜひご覧ください。



いいなと思ったら応援しよう！