［4］ 動画生成AIで自主映画制作は可能か？ - Blog 2023/12/06
「動画生成AIで自主映画制作は可能か？」シリーズの第4回目です。
映画制作プロジェクトの概要：
生成AIが今後クリエイティブ業界に与える影響を検証する目的で実施
最長2分20秒のビデオプロトタイプを制作する
ストーリー構築からビジュアルデザイン、映像制作まで全てのプロセスで生成AIを活用する（※サウンドのみAdobe Stockからライセンス取得）
生成AIを最大限に活用して「1人」で制作する
生成AIポリシーを遵守する
画像生成AI Prompting 方針（10月に更新）：
プロンプトに作家名や作品タイトルを入れない（映画監督の名前や映画タイトル、登場人物、俳優の名前等も同様）
プロンプトに著名人の名前やブランド名などを入れない
他人の著作物を Describeしない
Nijiモデルの生成画像は自分の作品として公開しない
生成した画像は作品の素材として利用する
公開する場合はAIで生成したことを表記する
生成AIの限界は既存のテクニックで補う
今月の2～3日に「動画生成AIを徹底的に使い込む動画制作トライアル」を実施しました（今回はメンバーシップ向け）。
Runway Gen-2の徹底検証をして分かったのは、PhotoshopやAfter Effectsなどのクリエイティブツールとの役割分担の重要性です。
Gen-2は生成ビデオの品質改善やモーションブラシ等の新機能によって、以前より格段に制御しやすくなってきましたが、意図した映像演出を反映できるレベルにはなっていません。ミュージックビデオ制作の時は、動画生成AIで完結するワークフローにこだわっていたので、映像演出に関しては最初から諦めていました。
今回は映画なので、そう簡単に妥協することはできません。
先月末からベストプラクティスを探っていたのですが、結論としては「餅は餅屋」だということ。生成AIの限界は既存のツールやテクニックで補うということです。
生成した人物の手が崩れていたらPhotoshopで修正する、生成したシーンで煙や粉塵が足りなければAfter Effectsのエフェクトで足すなど、既存の技術・テクニックとの連携技を磨くことで大半の映像演出は実現することが分かりました。
以下の生成ビデオをご覧ください。
生成されたビデオのロボットはピアノ線で吊られたように動きますが、After Effectsの基本機能によって、重量感のある映像に変わりました。
再生時間：12秒
メカが動き出すシーンの煙や粉塵は以下のプロンプトで表現しています。
After Effectsのエフェクトは使用していません。Runway Gen-2で全て表現しています。
Big smoke and countless dust particles, black background --ar 16:9
Runway Gen-2のビデオ生成でもプロンプトを追加しています。
Robotic jets, smoke and countless dust particles
煙や粉塵の生成ビデオを使用したテスト版
再生時間：11秒
生成ビデオの編集は、Premiere ProからAfter Effectsに変更しました。
動画生成AIが得意なジャンルは？
Runway Gen-2では（児童ポルノ対策により）「幼い子ども」を生成できないので、少年・少女が活躍する映画は制作できません。また、暴力シーンの多いストーリーも難しいでしょう（血が飛び散るゾンビ映画などは不可能）。
不適切な映像の生成を回避するためのガイドラインなので、これらの制限は仕方ないと思います。
Runway Gen-2で制作しやすい映画のジャンルは以下のとおりです。
実験映画:
実験映画は、非伝統的なストーリーテリングやビジュアルスタイルを探求するのに最適なジャンル。動画生成AIを用いて未知のビジュアルや抽象的な映像を生成し、新しい映像表現を試みることが可能です。
サイエンスフィクション:
動画生成AIは、未来的な都市の風景、異星の環境、未来のテクノロジーなど、サイエンスフィクションに特有の要素を生成するのに適しています。
これらの要素は通常、3DCGや高度なVFXを要するため、動画生成AIの利用は特に有効です。
ファンタジー:
ファンタジージャンルでは、架空の生物や魔法のような超自然的な要素を含むことが多く、動画生成AIを使ってこれらの要素を生み出すことができます。動画生成AIは、想像力に基づいた独創的なビジュアルを実現するのに役立ちます。
現在制作中の「COLORS」をSF寄りに路線変更したのは、生成しやすさが理由です。動画生成AIの不得意な領域で頑張るより、できることを拡大して映像レベルを上げていった方が得策だと考えています。
film still, space battleship, A giant combat robot stands behind the space battleship, Photography by Pulitzer Prize-winning photographer --ar 16:9
Extreme Close-Up, film still, Skin Detail, Her eyes are as beautiful as emeralds, A super cute Russian girl is sitting in the cockpit of a giant robot, high contrast, High color saturation, High-brand luxury photography --ar 16:9 --style raw
film still, An accident occurs on the space station. A maintenance worker in a space suit is panicking, shiny/glossy --ar 16:9 --s 250 --style raw
生成AI技術の進歩によって、将来的には多様なジャンルでの活用が期待できますが、現時点では動画生成AIの強みを理解し、それを自分のアイデアやスタイルにどのように統合できるかを考えることが重要ですね。
今月23日の報告会でお披露目できるはず…です。
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2023年12月06日（水）／公開日：2023年12月06日（水）