プロンプト入力だけの画像生成はそろそろ終了...［8］ 動画生成AIで自主映画制作は可能か？ - Blog 2023/12/14
「動画生成AIで自主映画制作は可能か？」シリーズの第8回目です。
［1］ 動画生成AIで自主映画制作は可能か？（2023/11/17）
［2］ 動画生成AIで自主映画制作は可能か？（2023/11/23）
［3］ 動画生成AIで自主映画制作は可能か？（2023/11/28）
［4］ 動画生成AIで自主映画制作は可能か？（2023/12/06）
［5］ 動画生成AIで自主映画制作は可能か？（2023/12/08）
2週間後の東京の街並みを生成してみる -［6］動画生成AIで自主映画制作は可能か？（2023/12/10）
夢でみた記憶の映像をAIで生成してみる［7］ 動画生成AIで自主映画制作は可能か？（2023/12/12）
映画制作プロジェクトの概要：
生成AIが今後クリエイティブ業界に与える影響を検証する目的で実施
最長2分20秒のビデオプロトタイプを制作する
ストーリー構築からビジュアルデザイン、映像制作まで全てのプロセスで生成AIを活用する（※サウンドのみAdobe Stockからライセンス取得）
生成AIを最大限に活用して「1人」で制作する
生成AIポリシーを遵守する
画像生成AI Prompting 方針（10月に更新）：
プロンプトに作家名や作品タイトルを入れない（映画監督の名前や映画タイトル、登場人物、俳優の名前等も同様）
プロンプトに著名人の名前やブランド名などを入れない
他人の著作物を Describeしない
Nijiモデルの生成画像は自分の作品として公開しない
生成した画像は作品の素材として利用する
公開する場合はAIで生成したことを表記する
「COLORS」イントロダクションの作業再開
中断していた映画「COLORS」イントロダクションの作業を再開しました。日々の空き時間を使っているので、スローペースですが予定どおり23日（土）完成を目指しています。
同日午前の定例報告会で初披露となります。
今日から大量のテストムービーを作成していきます。
作業プロセスは以下のとおりです。
専用GPTsでイントロダクションのシーン構築
GPTsが出力するMidjourney用のプロンプトでイメージ生成
大量の生成イメージをAdobe Bridgeで比較検討
Runway Gen-2でまとめてビデオ生成
同様に、Adobe Bridgeで生成ビデオの比較検討
After Effectsでシーンごとのテストムービーを編集
ビデオ生成時の破綻を軽減する
複数の人物のアクションは、超難易度が高いので事前処理が必要になります。Midjourneyの生成画像をそのまま使用しません。
以下は、比較検討するためのテストムービーになります。
再生時間：17秒
破綻を招く要素を予測します。これは必須の作業になっています。
以下は、上の生成ビデオの中で唯一失敗しているカット。Photoshopによる事前の処理で解決しています。
左の男性は影響なし（ただ後ろにある足は危険）
右の2人は要注意だが（特に後ろの男性）、試行錯誤によって良好な生成結果を得られる可能性あり。試す価値あり
中央の女性の後ろの人物は危険
破綻を招く危険要素は、Photoshopで削除しておきます。
※Photoshopの生成塗りつぶしと削除ツールを使用。
4か月前のRunway Gen-2は何をやっても激しく崩れてましたが、現在は（4秒以内であれば）なんとか耐えられるレベルになってきました。
あと1年くらいでリファレンス設定の機能などが実装されると予測してますが、今の技術進化のスピードを考慮すると、半年程度で実現するかもしれません…
リファレンス設定が追加されたら、「アクションシーンが生成できない」問題は概ね解決すると思います（人間の手の問題はまだ残る…）。
シーン構築はGPTsを活用
イントロダクションのシーンイメージは、映画制作のための専用GPTs「COLORS Planning Alpha」を最大限に活用していきます。
GPTsの作り方については以下の記事を参考にしてください。
映画制作のための専用GPTs「COLORS Planning Alpha」
専用GPTsには、映画に関する全ての情報（ストーリー、キャラクター設定、キャラクターイメージ等）を与えていますので、いきなり「イントロダクションの構成に沿って、ネオ・レイブンズウッドのコンセプトイメージを5案、考えてください。」などと、気楽に依頼することができます。
専用GPTsには、Midjourney用のプロンプトを生成するように、さまざまな条件を与えていますので、以下のように比率やスタイライズ（Stylize）のパラメーターも付加されています。
名前バイアスによるプロンプト：
film still, Evangeline fighting alongside her colleagues Miles Carter, Dr. Aria Sanchez, Leo Fletcher, and Hanna May against a group of high-tech security forces in a futuristic urban landscape --ar 16:9 --style raw
Midjourney用のプロンプトを生成してくれますので、GPTsからそのままペーストして生成することができます。
標準のChatGPTに同じことをやらせると、無駄なワードやフレーズを大量に含む文章のようなプロンプトを出力してしまいますが、最適化されたGPTsならカスタイマイズの手間が無くなります。
それにしても、画像生成AIの表現力、向上しましたね…
今となっては誰も驚かない「当たり前」の生成技術になってしまいましたが、「1年前のMidjourneyでは生成できなかった」ことを思い出してほしいです。
動画生成AIは、Image to Videoが登場して「まだ半年」です。
たった半年で、複数の人物を含むイメージを破綻なく動かせるようになると予想できた人はいなかったと思います。
このページに掲載されている生成画像は、2023年12月14日現在の技術によるものであり、明日、Midjourneyがバージョン6になって、様変わりする可能性もあり得ます。
過渡期の真っ只中…
追記：
地味なアップデートだったのでまだ知らない人が多いようですが…
今のMidjourneyは、x4 Upscalerで生成できるようになったので、16:9だと、5824 x 3264 ピクセルの画像を生成することができます。
生成AIも、いよいよ複雑高度化の入り口に来ました。
ガチャをまわすだけの低品質な動画生成から、既存の画像処理テクニックを駆使したハイブリッドなアートワークに移行中です。
プロンプト入力だけの画像生成・動画生成はそろそろ終わるでしょう。今後主流になっていくのは、Microsoft Copilotのようなエージェント エクスペリエンス、マルチモーダルモデル。
この映画制作も、GPT-4V無しでは完成しません。
※クリエイティブ領域における脱プロンプトでは、Adobe Fireflyが先行しています。
※現在アルファ版、一部のユーザーが使用中
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2023年12月14日（木）／公開日：2023年12月14日（木）