老舗旅館PR動画を制作しました 〜動画生成AIツールのPikaを使い込んでみたの記事 4/4〜
0.はじめに
トヨタコネクティッド株式会社 先行企画部 新技術開発G所属のHalufy(ハルフィと呼びます…)です。
最近ずっと、アニメ制作の研究というか実験というか、にはまっていて、動画生成AIツールPikaについてもいろいろと試している最中なのですが、その中でPikaは入力できる文字数が意外と多いことに気がつきました。
現在のところ500文字までテキストを入力できるようになっています。
なので、この範囲で、キャラクターの見た目、絵柄、動き方などを指定して、より自分のイメージに合った動画を生成してもらえないかと試したりしましたので、それを記事にしようかなってことで、書きます。笑
今回はこの手法を利用して、最終的に、架空の老舗旅館の30秒PR動画を作成してみました。
完成動画はこちらです！
ちなみに、今回の記事のようにあんまり詳しいプロンプトにはせず、オープンな書き方で、出力のランダム性を利用する手法もありますので、それは別の記事に書いています。
1.目次
2.プロンプトによるランダム性の抑制
2-1.キャラクターの指定
まずは、以下のようにプロンプトを書いてみました。
「25歳の男性。髪の毛の長さはミディアムで黒色、目は大きめ、鼻は高く、耳は小さく、口も小さめ、服装は茶色のトレンチコート、コートの中に黒色のタートルネックのニット、ズボンは黒色のジーンズ、靴はグレーのスニーカー。そのキャラクターが、電車の中でシートに座っていて、両手をトレンチコートのポケットに入れて、暗い顔をして俯いている。電車の窓からは、お昼の落ち着いた緑豊かな自然が見えている。」
これを元に生成してもらった動画はこんな感じです。
例えば、黒色のタートルネックは白っぽい色になったりしてますよね。でも、茶色のトレンチコートは全ての動画で着てくれてます。
などなど、言うことを聞いてくれやすい部分とそうでない部分があるようです。
言うことを聞いてくれやすい部分には細かい指定を加えていって、そうでない部分はもうランダム性に頼るかぁ、みたいな勘所が意外とコツになってきそうだなって感じました。
なので、まあ、文字数との相談にもなりますが、この辺りの指定する/しないの匙加減は、Pikaと対話していく中で決めていくのがいいんじゃないかって思ったりしました。。
もう1つ別のシーンを生成してもらいます。今度は電車の中ではなく、駅の構内を歩いているシーンを生成してもらいました。
こんなふうに、うまく的確に指定をすると、ランダム性をある程度は抑えられるんじゃないかなって思います。
まあでも、その的確にっていうのが見つけるの難しいんですよねぇ…。というか、それがこの手法の肝になる印象なんですよねぇ…。
2-2.絵柄の指定
次に、絵柄の指定、色使いだとか、を指定してみます。
色合いは薄めで、手書き感のある、優しい雰囲気、外にいる25歳の男性の日本アニメ、といった指定をして動画を生成してもらいました。
こんなふうに、近い雰囲気を持った、淡い色合いの動画がいくつか出力されてきました。
こういったように、いろんな角度から指定を加えることでランダム性を抑えていき、例えば、キャラクターが同じになるように、絵柄が似ているように、あらゆるシーンで動画を生成してもらう。その中から作りたい動画のイメージやストーリーに合うものだけをピックアップ。それら元にして動画制作をしていく。というのが、今回の手法になります。
補足
絵柄についていろいろと試してみると、こんな古き良きアニメに出てきそうな感じも生成してくれたりしました。枠に白いもやをかけている感じの。
自分の好きな絵柄が出るプロンプトを探し当てるとかも、きっと面白いかなって思います ^ ^
余談
話は変わるんですが、、笑
Pikaの入力には、「〜な動画を作成してください」というような綺麗な文章よりも、「元気な男の子、踊っている、〜」などといった端的な単語を並べていく方が、よりテキストを反映して動画を生成してくれるような気がしてます。
多分、他の動画生成や音楽生成ツールも同様なんじゃないかなぁ…、なんて印象があります。
なんとなく、個人的には…、です。笑
3.今回の手法を用いた30秒PR動画の制作
上記の手法を使って、架空の老舗旅館、春夏秋冬亭の30秒PR動画を制作してみました。
今回は、小さな頃からよくこの旅館に来ていた女の子が、大きくなってからこの旅館で働き始めるといった、ストーリー性を持ったアニメにしてみました！
まずはPikaにて、動画を生成してもらい、想定していたストーリーに近い動画をいくつか集めました。
それをiMovieというMac標準搭載の動画編集ツールに取り込み、ストーリーに沿うように切ったり貼り付けたりしました。
続いて、音楽生成AIツールのUdioにて、BGMを生成してもらいました。
ここでは、メロディが馴染みやすい、アニメ映画のBGM、現代クラッシック音楽、などのプロンプトで、BGMを生成してもらいました。
生成してもらった楽曲は、Mac標準搭載の作曲ツールのGaregebandに取り込んで、ストーリーの展開に合うよう、これまたいい感じに編集しました。
編集とはいっても、音量を調節したり、少しエフェクトの調整をしたり、音の鳴るタイミングを調整したり、のようなものですが…。
次に、今回はプロのナレーションっぽくするよりも、主人公の女の子が、自分の言葉で話している雰囲気にしたかったので、ボーカルAI楽曲制作のためのツールであるMusicfyを使い、生音声をボイス変換をすることにします。
余談
AIボーカル楽曲の制作のためのMusicfyの使い方については、別の記事に書いています。
話は戻りまして、今回の原稿はこんな感じです。
———
幼い頃によく訪れていた旅館。
女将さんたちがいっつも優しくって、大好きだったんだ。
それを打ち明けた、あのとき、 私の道は決まったの。
まだまだ修行の身で、大変なこともあるけれど、
本当にいい旅館なんだよって、もっと伝えられますように…。
ぜひ、来てみてくださいね。
老舗旅館、春夏秋冬亭。
———
↑この生音声データを、Musicfyにアップロードします。まずはMusicfyのホーム画面から、Createボタンをクリックします。
すると、音声データをアップロードできる画面に遷移しますので、先ほどの生音声データをドラッグすることでアップロードします。
続いて、イメージする主人公の女の子の声を、Musicfyのボイス/ボーカル集から探して選択します。
まずは、Select a voiceをクリックします。
すると、多様なボイスやボーカリストが並んだ画面が開くので、イメージする主人公の女の子の声を探し当てることで声が決まります。
あとは、残りの設定をいい具合にいじってGenerateボタンを押すだけで、女の子の声でさきほどの原稿が読まれた音声データが生成されてきます。
テキスト読み上げAIでは出せないであろう素人感が醸し出せたのではなかろうかと、個人的には思ってます。笑
そしてこちらの音声を、またもやGaregebandに取り込んで、BGMとの馴染みやすさとか、音量バランスの調整とか、そんな程度の修正というか編集をします。
もちろんGaregebandに取り込まずに、そのまま使ったっていいんです！
これは多分気持ちの問題です、はい。笑
こうしてGaregebandで編集したBGMと音声を、動画を編集した先ほどのiMovieに取り込んで、これらを気持ちよく混ぜ合わせます。
そうやってできた動画がこちらになります。老舗旅館 春夏秋冬亭 の30秒PR動画です！！
したったらずな声が気に入ってます…笑
4.おわりに
とはいえ、Pikaが生成してくれるキャラクターや絵柄などには制限がまだまだあるような感じがしますね。。
でもきっと、どんどんレパートリーが増えていくんだと思います。なので、その時その時で「Pikaさんが今できることを最大限活かしてみよう」って心持ちで動画制作していくことが効果的なんじゃないかなって、今は思ったりしています。
ではでは。
テクノロジーの力で新たな領域を切り拓く、次世代の事業の柱を共に創造しませんか？
私たちはモビリティに留まらず、革新的なサービスを生み出すことを目指しています。
ニーズや、テクノロジーの進化を常に追い求める、多様なバックボーンをもつグローバルな個性豊かな仲間が集まり、様々な視点からのアプローチで新たな事業やサービスを創出しています。