生成AIを駆使した映像制作の全プロセスを紹介 - Blog 2024/1/4
GenAI パラレルユニバース「Another Tokyo」の5本目を作成。
過去の歴史の再現ではなく、もう1つの日本を生成AIで再構築する実験ショートムービーです。主に動画生成AIの映像表現の可能性を探求・検証する目的で進めています。
関連記事：
Another Tokyo (GenAI Parallel universe) vol.5
画像生成：Midjourney V6 (alpha)
ビデオ生成：Runway Gen-2
音楽生成：Suno AI ／ 歌詞の生成：GPT-4
編集：After Effects
制作者：1人
制作時間：2日間（10時間くらい）
1. アイディエーション
GPT-4 (ChatGPT) を使って壁打ち。
頭の中の漠然としたイメージを言語化していくプロセスになります。
GTP-4 (DALL·E 3) にイメージを生成させたり、こちらから参照画像を読ませたり、マルチモーダルな環境だからこそ可能になったインタラクティブなアイデア出しが実現しています。
※2分以上のムービー制作は、専用のGPTsを作ります。
2. ラフイメージ
断片的なアイデアをカタチにしていくプロセスです。
Adobe FireflyやMidjourneyを使用して、ラフなプロンプトで視覚化していきます。ランダム性、偶然性から得られるインスピレーション、ユニークなイメージの発見、創造を繰り返します。
※Discordではない
大量のバリエーションを生成することで、人間の創造力の限界を突破する多層的なシナジー効果を期待できます。
※Discordではない
3. プロンプティング
カスタマイズしやすい簡潔かつ短いプロンプトを考案します。
影響力の強いトークンを探し、組み合わせる作業です。不要なワード、フレーズは削除します。
※画像生成AIのモデルが異なると、プロンプトの書き方も変わるので注意が必要。例えば、Midjourney V5 とV6では同じプロンプトを共有できない。
Kinemacolor 1960s Japan. Low quality image quality of 16mm film. Hallway of a wooden school building of a Japanese high school in the 1960s. An old wooden school building from the 1960s. Scratches and stains. --ar 16:9 --style raw --v 6
Kinemacolor 1960s Japan. Japanese high school. 18 years old. A Japanese high school boy in the 1960s. School uniforms with buzz cut. --ar 16:9 --style raw --s 50 --v 6
Kinemacolor 1960s Japan. 18 years old. A Japanese high school girl in the 1960s. Sailor uniform with pigtails. --ar 16:9 --style raw --v 6.0
4. モーションテスト
生成した画像をRunway Gen-2でビデオ生成するテストです。
モーション値やカメラ設定、モーションブラシ、プロンプト指定などで意図した映像を生成できるか事前にチェックしておきます。
映像が破綻する原因となる要素がある場合は、Photoshopの生成塗りつぶし、削除ツールで除去しておく。
5. ストーリーボード
大量に生成した生成画像、生成ビデオを比較検討するプロセスです。
数千の画像・ビデオを扱うので、一元管理できるAdobe Bridgeを活用しています。
6. 楽曲制作
ムービーの音楽は今までAdobe Stockライブラリのライセンスを取得していましたが、GenAI パラレルユニバースのシリーズからSuno AIを使用しています。音楽生成AIの検証は1年くらい先のことだと思っていましたが、Suno AIの登場を機に試すことにしました。
まず、楽曲を通して伝えたいメッセージをまとめます。
過去への回顧と不変の想い:
「静かな夜空に、光る一つの星、遠い思い出を照らし出すように。」
この部分は、過去の思い出がいつも心の中に輝いていることを象徴しています。星は、遠く離れたが忘れられない過去の瞬間や人々を表しています。
新しい希望の誕生:
「夜明けの光が、窓辺に射す時、新たな夢と希望が心を満たす。」
ここでは、新年の到来が新たな希望や夢をもたらす瞬間を描写しています。夜明けは新しい始まりの象徴。
経験の積み重ねと感謝:
「歩いたこの道、数え切れぬ足跡、喜びも悲しみも、全てを抱きしめ。」
人生の旅の中で経験した喜びや悲しみを受け入れ、それら全てから学び成長することの重要性を示しています。
未来への希望:
「冬の空気に、混じる懐かしい香り、過ぎ去った日々が今、新しい光を照らす。」
過去の経験が現在の自分を形成し、未来に向けた明るい道を照らすことを意味しています。
共有された経験と永遠の絆:
「過ぎ去った時間（とき）が、織りなす物語、君と僕の道を、永遠に照らし続ける。」
人々が共に過ごした時間と共有された経験が、永続する関係と記憶を形成することを示しています。
強さと再出発:
「夜明けの光が、世界を包む時、新たな始まりが、心に芽生える。」
どんなに困難な時も、新しい始まりには常に希望があるというメッセージ。振り返るたびに感じる強さと、新しい年への願いが強調されています。
曲名や歌詞、音楽スタイルなどを入力して生成します。
意図した曲のイメージに近づくまで繰り返します。まだ、詳細な制御UIが実装されていないので、現在の仕様ではガチャをまわすしかありません。
音楽生成AIはまだスタートラインに立った状態、今後のアップデートに期待しましょう。
7. 生成ビデオの編集
生成したビデオの編集は、After Effectsを使用します。
動画生成AI (Runway Gen-2) の限界は、VFXで補っていく必要がありますので、Premiere ProではなくAfter Effectsが適しています。
とはいえ、それほど高度な処理は必要ありませんので、このプロセスはスムーズに進みます。
現在の画像生成・動画生成では正確に表現できない「人間の手や関節、アクションポーズ、群衆など」は、生成AIで試行錯誤せず、After Effectsで処理します。
現時点では過度に高度化しないで、生成AIで「できないこと」は避けて、「できること」のクオリティを向上させる方が良いので、After Effectsの使用も限定的です。
※ただし、VFX処理は高度化しない（それらしく表現できればOK）
今日のショートムービーは、制作時間「10時間（2日間）」。
1人で作っていますので趣味の動画制作の範疇です。
AIが作品を丸ごと生成してくれるわけではないので、数十秒のショートムービーでも簡単な作業ではありません。映像制作の既存のプロセスとそれほど違いはないので、映像の知識は必須となります。
ただ、撮影無しで、CGも使用せず、ゼロから映像を生成できるAI技術の登場は革新的であり、今後の映像コンテンツ制作に大きな影響を与えるのは間違いないと思います。
引き続き、生成AIを駆使したエクストリームな実制作を通して、表現の可能性やリスクを探っていきたいと考えています。
今月の第10回・報告会は、27日（土）AM10:00 - 11:00 です。
先月の報告会：
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2023年2024年1月4日（木）／公開日：2024年1月4日（木）
この記事が気に入ったらサポートをしてみませんか？