映画制作の進捗報告［9］ 動画生成AIで自主映画制作は可能か？ - Blog 2023/12/21
「動画生成AIで自主映画制作は可能か？」シリーズの第9回目です。
［1］ 動画生成AIで自主映画制作は可能か？（2023/11/17）
［2］ 動画生成AIで自主映画制作は可能か？（2023/11/23）
［3］ 動画生成AIで自主映画制作は可能か？（2023/11/28）
［4］ 動画生成AIで自主映画制作は可能か？（2023/12/06）
［5］ 動画生成AIで自主映画制作は可能か？（2023/12/08）
2週間後の東京の街並みを生成してみる -［6］動画生成AIで自主映画制作は可能か？（2023/12/10）
夢でみた記憶の映像をAIで生成してみる［7］ 動画生成AIで自主映画制作は可能か？（2023/12/12）
プロンプト入力だけの画像生成はそろそろ終了...［8］ 動画生成AIで自主映画制作は可能か？（2023/12/14）
映画制作プロジェクトの概要：
生成AIが今後クリエイティブ業界に与える影響を検証する目的で実施
最長2分20秒のビデオプロトタイプを制作する
ストーリー構築からビジュアルデザイン、映像制作まで全てのプロセスで生成AIを活用する（※サウンドのみAdobe Stockからライセンス取得）
生成AIを最大限に活用して「1人」で制作する
生成AIポリシーを遵守する
画像生成AI Prompting 方針（10月に更新）：
プロンプトに作家名や作品タイトルを入れない（映画監督の名前や映画タイトル、登場人物、俳優の名前等も同様）
プロンプトに著名人の名前やブランド名などを入れない
他人の著作物を Describeしない
Nijiモデルの生成画像は自分の作品として公開しない
生成した画像は作品の素材として利用する
公開する場合はAIで生成したことを表記する
映画制作の進捗報告
引き続き、映画「COLORS」イントロダクションの作業を進めています。
予定では、明後日（23日）の報告会で披露することになっていますので、急がないといけないのですが、次々と新しい生成AIサービスが出てくるので絶え間なく検証作業が続いていて、空き時間の確保に苦労しています。
イントロダクションの時間は、1分40秒程度になりそうです。最長2分20秒という条件でしたが、少々短くなりました。
どのくらいの画像／ビデオを生成したのか数えていませんが、1,000以上はあると思います。Adobe Bridgeのようなアセット管理ツールがないと作業が進みません。自主制作でも必須なので、強くお奨めしておきます。
アニメ制作やゲーム開発のプロジェクト管理ツール「ShotGrid」が理想的なシステムですが、個人制作ではオーバースペックなので簡易バージョンが欲しいですね。
本日は、生成したビデオに対するカメラテストを行っています。
After Effectsによるエフェクト・チェックですが、本格的な編集作業の前にやっておくと効率的です。
Midjourneyによる高画質生成モデル（映画の登場人物）のカメラテスト
再生時間：58秒
上のムービー（カメラテスト）の元画像は、Midjourneyのx4 Upscalerで生成していますので、5824 x 3264 ピクセル／16:9 の高解像度イメージになっています。
カメラテストとは、After Effectsで実写表現するためのエフェクト・チェックのこと。カラー補正やシャープネス、特殊効果、手ぶれの追加などの処理を確認するプロセスです。
今回のイントロダクション制作では、動画生成AIの限界を見極めて、既存の映像テクニックや映像演出とのハイブリッド方式で作業を進めています。
「できないこと」に対しては無駄に試行錯誤せず、映像の演出などで補っていくという方針です。
妥協はしたくないのですが「完成させること（完遂率を高めること）」を優先しないと、先に進まないので生成AIを使って「できること」を追求していきたいと思います。
ビデオ生成しやすいもの
例：小川が流れる自然の風景
小川の流れや自然の風景は比較的静的で、動きが緩やかです。動画生成AIは、水の流れや自然の静かな動きを学習しやすく、これらの要素は予測しやすいパターンを持っています。また、自然の風景は比較的一貫したテクスチャを持ち、再現しやすい。
例：ろうそくの火
ろうそくの炎は小さく、その動きは一定の範囲内で予測可能です。動画生成AIは、火の揺らぎや光の反射など、比較的単純な物理的特性を模倣することができます。そのため、ろうそくの火のような小さくて単純な動きは生成しやすい。
ビデオ生成しにくいもの
例：走っている人間
人間の走りは複雑な動きを含みます。腕や脚の動き、体のバランス、表情など、多くの要素が絡み合っています。これらの動きを正確に再現するためには、AIは人間の動きの多様性と複雑さを理解し、それを正確に予測する必要があります。これは動画生成AIにとって難易度の高い表現になります。
例：ギターなどの楽器の演奏シーン
楽器の演奏は、細かい手の動きや楽器の特性を正確に再現する必要があります。例えば、ギター演奏では、指の位置、弦の振動、演奏者の表情など、細部にわたる正確な表現が必要です。これらの要素をAIが完全に理解し再現することは、現在の技術では非常に困難。
Midjourney Model V6 が利用可能になった！
バージョン6は年内に利用可能になると予告されていたので、写真集シリーズは中断していたのですが、今やっている映画制作に使いたかった！
1週間早く使えるようになっていたら、ビデオ生成のベースイメージをバージョン6で生成できたのですが…
まだアルファなので、調整中のバージョンですが5.2とはかなり違いますね。
新しいMidjourney web (alpha)のセッティングにはまだModel V6は表示されていませんが、「--v 6」パラメータを付加すれば生成できます。
※Discordでは表示されています。
「--v 6」パラメータを付加すれば生成できる
high angle, Cold winter, snow on the ground. film still, Shinjuku Golden Gai. shopping district in Tokyo. --ar 16:9 --v 6
5.2のアップデートの時は、ファッション雑誌プロジェクトの作業中でしたが、大幅に品質が向上したので全ての画像を生成し直しました。
今回の6でも同じことになりそうですが、映画のイントロダクションは明後日に披露するので、このまま5.2で続けます。
5.2 と6.0 (alpha)の違いをご覧ください。
sad, Extreme Close-Up, film still, Skin Detail, Her eyes are as beautiful as emeralds, A super cute Russian girl is sitting in the cockpit of a giant robot, high contrast, High color saturation, High-brand luxury photography --ar 16:9
5.2
6.0 (alpha)
6.0 (alpha) の方が、プロンプトに忠実です。
肌のディテールがかなり違いますね。
Midjourney Model V6 の検証記事は、報告会の後、公開しますので。
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2023年12月21日（木）／公開日：2023年12月21日（木）