夢でみた記憶の映像をAIで生成してみる［7］動画生成AIで自主映画制作は可能か？ - Blog 2023/12/12

CreativeEdge Vlog

2023年12月12日 21:02

「動画生成AIで自主映画制作は可能か？」シリーズの第6回目です。

映画制作プロジェクトの概要：

生成AIが今後クリエイティブ業界に与える影響を検証する目的で実施
最長2分20秒のビデオプロトタイプを制作する
ストーリー構築からビジュアルデザイン、映像制作まで全てのプロセスで生成AIを活用する（※サウンドのみAdobe Stockからライセンス取得）
生成AIを最大限に活用して「1人」で制作する
生成AIポリシーを遵守する

画像生成AI Prompting 方針（10月に更新）：

プロンプトに作家名や作品タイトルを入れない（映画監督の名前や映画タイトル、登場人物、俳優の名前等も同様）
プロンプトに著名人の名前やブランド名などを入れない
他人の著作物を Describeしない
Nijiモデルの生成画像は自分の作品として公開しない
生成した画像は作品の素材として利用する
公開する場合はAIで生成したことを表記する

動画生成AIの半年後を想像できますか？

最近、やっと動画生成AIの扱い方が分かってきた（ような気がします）。「どのような画像を生成すれば意図したとおりに動くのか」という勘が働くようになってきました。
「この画像は動かない、これは崩れる」など、Midjourneyの生成画像からビデオ生成に適したものをピンポイントで選出することができるようになってきたので、明らかに試行錯誤の時間が減っています。

ただ、形式知化しにくいので、ノウハウは蓄積しません。
あらためて、動画生成AIの現在の課題を列挙しておきます。

現在の動画生成AIの問題点

予測不可能性:
動画生成AIの偶然性は、特定の目的や要件に合った結果を得ることが難しい。計画的なプロジェクトや商業的な用途では、この予測不可能性が問題になっています。
品質のばらつき:
偶然に任せることで、品質が一定しない。素晴らしい生成結果と期待に満たない生成結果がランダムにやってきます。
コントロールの欠如:
生成プロセスにおける偶然性は、ユーザーが望む特定の要素や詳細をコントロールすることを難しくします。これは、特定のビジュアルアイデンティティやブランド基準に沿った作品を作成する際に障害になっています。

これは、2023年12月12日現在の課題です。

7月22日にGen-2の品質が改善されるまで、私は「プリビズ用途にあと1年、プロの要求に対応できるのは2年後」と予測してきましたが、半年経たない間に、想像を超える品質改善が実行され、あと少しでプロトタイプ用途に利用可能なレベルに到達してしまいました。

このスピードのまま進めば、ビデオ生成のコントロール機能が強化され、1年以内にビデオストーリーボード等の生成AIアプリケーションが提供されるようになると考えています。

Future Vision: Adobe Firefly for @AdobeVideo

動画生成AIの半年後を想像することは難しい…

夢でみた記憶の映像をAIで生成してみる

12月はほぼ毎日、Runway Gen-2で20～30秒程度のビデオを作っていますが、スケッチブックにラフを描くように生成作業が進みます。
こんなガチャポンのような仕組みでも、慣れてくると試行錯誤の時間が減っていきます。ガチャをまわす度に、欲しい玩具が出てくる不思議な能力ですが、私自身、この経験から何を獲得しているのかわかりません…

さて、今日は「夢でみた映像」を生成してみます。
昨夜、大量のクリスマスソングのミュージックビデオを観た影響で、「日本のどこかの都市に超巨大なクリスマスツリーが出現し、人々が泣き崩れていく」という…わけのわからない夢をみました。

以下が、先ほど作成したビデオです。
音楽のみAdobe Stockのライセンスを取得しています。映像は全て生成AIです。

再生時間：26秒
Music: Another Christmas (Adobe Stock #331795714)

まず、Midjourneyでイメージを生成。
過度に美化された世界を描くなら、Midjourney一択です。

film still, Giant Christmas tree, Drone photo of Christmas Illumination in Shibuya, Tokyo, night view --ar 16:9 --style raw

film still, Christmas Illumination in Shibuya, Tokyo --ar 16:9 --style raw

film still, Close-up of indoor Christmas tree --ar 16:9 --style raw

登場人物の生成。
笑う、泣く等の喜怒哀楽は、単純なプロンプトで表現できますので、大量にバリエーションを出しておきます。Runway Gen-2のビデオ生成に適したイメージを探すためです。前述したとおり、このプロセスで勘が冴えています。

crying, crying, film still, She's crying hard, super detail, 2020s, a photorealistic super cute Japanese young woman alone on Christmas night, short hair, Skin Detail --ar 16:9 --style raw

film still, Y2K aesthetics, A super cute Japanese young woman alone on Christmas night, light brown Braid hair --ar 16:9 --style raw

下の短いプロンプトは、Runway Gen-2用の「目を閉じる」プロンプトです。

film still, sad, cry, Christmas Y2K aesthetics, Skin Detail, A super cute Japanese young woman alone on Christmas night, light brown short hair, shiny/glossy --ar 16:9 --style raw

closed eyes

film still, Christmas Y2K aesthetics, Skin Detail, A super cute Japanese young woman alone on Christmas night, light brown short hair, shiny/glossy --ar 16:9 --style raw

全カットの生成ビデオが準備できたら、Adobe Bridge上で比較検討。
ここまで約1時間くらい。

生成ビデオと音楽をAfter Effectsに読み込み、編集を開始します。
…といっても、30秒弱のムービーなので、あっという間に終了。

After EffectsにRunway Gen-2が実装されたら、現時点で最強の動画生成AIアプリになると思います。プラグインでもいい！

今回も音楽はAdobe Stock ライセンスですが、そろそろ生成AIで試してみたいですね。
第一候補は日本語の曲も生成できる「Suno AI」。諸々調査して、安全に使用できることが確認できれば、使ってみたいと思います。

Suno AI

今は、過渡期によくある一時的なキャッチアップサイクルで、個人が最も強くなっているので、ひたすら仮説検証を続けることが重要な時期です。
ビジネス化は、後から来る大企業がやってくれますので。

「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。

「動画生成AIの可能性」

更新日：2023年12月12日（火）／公開日：2023年12月12日（火）

夢でみた記憶の映像をAIで生成してみる［7］ 動画生成AIで自主映画制作は可能か？ - Blog 2023/12/12