動画生成AIの使い方が様変わり。今までの記事はもう役に立たない。Runway Gen-3 AlphaによるMV制作 - Blog 2024/07/16
引き続き、Runway Gen-3 Alphaを使用したMVプロトタイプ制作を進めています。Gen-3にImage to Videoが実装されたら、本格的に映画制作を再開しますが、今のところMV制作のみ。
Gen-3 Alphaのプロンプト開発
今やっている作業の流れは、初期プロンプトの生成から始まります。
GPT-4とClaudeを使ってMidjourney V6で生成したイメージを分析させ、プロンプトにしますが、そのままでは使えないので、強度の高いワードを調べて複数のプロンプトを組み合わせます。
これはカスタムプロンプトの素材になる
Gen-3 Alphaで強度の高いワードの調査をします。このプロセスはかなり重要です（時間もかかります）。自分のイメージに近づくまで繰り返し、最適化できたら初期設定でSeed値を固定します。
Gen-3 Alpha カスタムプロンプト：
484字なのでこれ以上の設定を追加できない（500字制限）
Visual: Cinematic. The abandoned futuristic city, littered with broken machines, is windy and swirling with muddy streams of colorful paints, heavy rain, and turquoise and rose-colored fog. A beautiful Russian young lady wearing a huge flower hat and a close-fitting blue and red elaborately embroidered space battlesuit. Her lips are plump and her fair complexion and high cheekbones give her a sculpted look.
Camera motion: A hand-held camera is used to capture facial expressions.
Gen-3 Alphaには、Gen-2に実装されているカメラコントロールやモーションブラシが無いので、全てプロンプトで表現するしかありません。
ただ、たんなるシーンの描写だと何が生成されるのかわかりませんが、強度を持つトークンの構成ならある程度イメージできます。
3つのMVを同時制作
現在、3つのMVを同時制作しています。
検証目的ではよくあるやり方で、表現が異なる複数の画像・映像を比較検証しながら、AIモデルの傾向を探っていくことができます。
MV prototype-1: J-POP
最も作りやすいジャンルで、類似した生成AI作品も多い。ハイスピードなラップソングなら、2～4秒の生成ビデオをテンポよく見せていくことで、一貫性のないキャラクターでも違和感なく表現できる。動画生成AIでMV作りたい人にお奨めのジャンル。
MV prototype-2: Hardrock
マーベル映画のようなVFXが主の映像は、アクションシーンが多いので制作の難易度は高いが、生成AIのハルシネーションを活かせるジャンルなのでイマジネーションで制約を突破できる可能性がある。
例えばハルシネーションで腕が4本の人間が生成されても、そのまま使用できる独特の世界観を持っている。
MV prototype-3: 歌謡曲
1980年代の歌謡曲に当時のテレビドラマのシーンを組み合わせたもの。Gen-2の品質が向上した昨年の7月から1年以上やってきた「Another Tokyo」シリーズのGen-3 Alpha版。ドラマのシーンは同一人物の生成が必要なので、Luma Dream MachineのImage to Videoを使用している。
生成ビデオのテスト編集
再生時間：71秒（MVは3分）
音楽は、Suno AI
作業内容の全てをライブ配信
生成AIは技術進化が速く、作業中に影響を受けてしまうので、ドキュメント（記事）にするモチベーションが減退しています。あっという間に記事の内容が古くなってしまうので、やる気がでてこない…
生成AIサービスのUIは頻繁に変更されていますが、本日Runway Gen-2/Gen-3 AlphaのUIがアップデート。
日々、ユーザービリティが向上して使いやすくなっていますが、これをマニュアル化すると修正地獄が待っています。
OpenAIのSoraがリリースされたら、Dream MachineやGen-3を止めて乗り換えるかもしれませんし…
状況が目まぐるしく変化する過渡期は、特定の何かに依存した強固な取り組みは大変危険で、柔軟に動けるように「蓄積できるノウハウ」だけ追求して、あとは流行対応でよいのではないでしょうか。
そんな状況なので、情報発信も都度ライブ配信が現実的。
昨日、試しに作業の様子を4時間ライブ配信してみました。
無声で作業画面がそのまま流れているだけの生配信なので、環境映像に近いものです。視聴のための配信ではなく、ログですね。
記事では全ての作業を詳細に紹介することはできませんが、作業画面をそのまま流せば、何をやっているのか一目瞭然です（4時間の視聴は大変ですが）。
煩雑で非効率な見せたくない作業も含まれるので、アーカイブを公開する勇気はありませんが、余裕があれば特定の作業だけ切り出してnoteで紹介することも可能なので、メンバーシップの方にはアーカイブデータを保管する予定です。
昨日の配信は途中で落ちてしまったので、後半のAfter Effectsの作業が流れませんでしたが、後日テストを兼ねて再度ライブ配信します。
個人が数百の作品を創出する時代
Dream Machine、Gen-3 Alphaが登場して、動画生成AIの作業が様変わりしています。これ以前の記事は全部削除してよいくらい役に立ちません。昨年のGen-2の品質向上は衝撃的でしたが、それを上回っています。
様子見をしていたプロの映像クリエーターたちも、動画生成AIで積極的にプライベート作品を作り始めています。多分、日本もそうなるでしょう。
今までの動画生成AIの作品は10数年前の古さを感じますね（実際は数か月しか経っていませんが）。
それにしても、Luma Dream Machineは高額…
Runwayの無制限は月額15,781円、400クレジットしかないDream Machineプロプランは月額16,436円。2,000クレジットのプレミアプランは月額499.99ドル（約79,178円）です。
高いけど、アクションシーンの生成はLuma Dream Machineの方が良いので、切り捨てることができない…
性能が低いコンシューマ向け（機能提供）は「無料でカンタン」が基本ですが、プロを含むヘビーユーザー向け（製品提供）はGPU使用料がかなり高くなります。「お金はいらない、計算資源をくれ！」です。
以前ご紹介した海外の映像クリエーターの方々はプレミアプランなので、RunwayやMidjourney、LLMなど含むと、生成AIだけで毎月12～15万円くらい払っているのです（彼らは生成AIを自分のクリエイティビティ強化のための先行投資と捉えている）。プロなので本気度が違います。
動画生成AI技術を「無限の素材集」と割り切り、豊富な計算資源で使いまくることが可能になると、ストーリーテラー型映像クリエーターたちの新時代到来です。
今まであり得なかったスピード感で独創的なストーリーを創り出し、ショートムービーバンクなる一人劇場（個人が数百の作品を生み出すムーブメント）が現実になりそう。
1920年代に考案された「ショートショート」で例えるなら、1000編以上の作品を生み出した星 新一のようなクリエーターが映像の領域から登場する可能性もあるということ。
Midjourney V6のPersonalizationのように自分のスタイルや好みを反映させることが動画生成でも可能になれば、同じ技術を使っていてもオリジナリティで勝負できます。
When you Rank Pairs Midjourney takes note of the kinds of images you prefer and can generate images for you based on your preferences.
Gen-3 Alphaの新しい使い方がまとまってきたので、今夜、突発ライブするかもしれません。
告知は、このnoteで。
追記：
9日に公開した以下の記事で、リップシンク時の画質劣化を取り上げましたが、現在は良好です。極端な品質低下はありません（Runway側の問題だった可能性が高そう）。
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2024年7月16日（火）／公開日：2024年7月16日（火）