MidjourneyとLLMで新規性の高いイメージを導き出す／Runway Gen-3 AlphaによるMV制作 - Blog 2024/07/20
明日、日曜(21日)の夜9時45分頃からライブ配信します。
MV制作の最新ワークフローと新規性の高いイメージづくりのベストプラクティスをご紹介します。
MV制作の最新ワークフローは、ライブ配信で解説しますが、新しいビジュアルの表現方法について簡単に記しておきます。
最初に、Midjourney V6で強度の高いトークンを使ってベースとなるコンセプトイメージを生成します。
Personalizationパラメータを追加して自分の好みのイメージにします。
画像生成でオリジナリティを出すには（自分の嗜好を学習させて）パーソナライズするしかないので、Fireflyや他の画像生成AIにも欲しい機能。
ChaosパラメータとWeirdパラメータを使って、自分の創造力の限界を突破し独創的なビジュアルを見つけ出し、同時にインスピレーションを受けつつ、刺激の度合いで複数のカテゴリに分けていきます。
雑貨店でビンテージマガジンやポストカードを物色している感じ…です。
ChaosパラメータとWeirdパラメータはプロンプトを無視してランダムに生成します。つまり、プロンプトは無いに等しいので、再現したい生成画像はLLMで解析してプロンプト化します。
LLMで生成したプロンプトに必要なパラメータを付加して、ビジュアルイメージを生成します。
元の生成画像が全てPersonalizationパラメータで自分好みになっているので、びっくりするほど「自分が表現したい」イメージばかり生成されます。
しかも、ハルシネーションのおかげで飽きない。
プロンプトに動的表現を追加して、Runway Gen-3 Alphaでビデオ生成します。もし、生成したビデオのビジュアルイメージが良かったら、スクリーンショットをLLMで分析、プロンプト化してMidjourney V6でさらに膨らませます。
静止画と動画に垣根はなく、自由に行ったり来たりできる夢のようなクリエイティブが実現しています。
Personalizationパラメータで自分の好みを反映したイメージに、ChaosパラメータとWeirdパラメータで自分の創造力を拡張する。プロンプト入力とは異なる生成方法ですが、こっちの方が「人間の能力を強化」している感じ。
生成する度に、「そうそう、こんな絵が欲しかった」の連続。これこそ「脱テキストプロンプト」の最も顕著なやり方といえるでしょう。
そして、この自分好みのビジュアルが直ちに映像になるのですから、まさに妄想の具現化。
時代劇のチャンバラのシーンも、そこそこ動かせるようになってきたので、1年前にMidjourneyで作成した紙芝居ムービー「鬼の国」を映像化してみた。
試行錯誤が終わったらライブで紹介します。
たった1年でここまで技術が進み、お金を払えば誰でも利用できるという環境が出来上がってしまった。OpenAI Soraがどのようなサービスになるのか期待が高まる。単独の「製品」として提供されるのか、ChatGPTの1つの「機能」として提供されるのか….
動画生成AIは、この先「世界モデル」へまっしぐら。
映像分野だけではなく、NVIDIA Omniverseのようなプラットフォームの標準的な機能になったり、ロボティクスでも応用されるはず。
今は… 悪用されないことを願うばかりです。
パンドラの箱を開けてしまったLuma Dream MachineはGPU使用料の高さが抑止になっていますが、Klingがちょっとこわい。SNSと安易に結びつくとインプレッション稼ぎで度を超えたビデオが生成されるので…
それでは明日のライブ配信でお会いしましょう。
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2024年7月20日（土）／公開日：2024年7月20日（土）