seedを固定してシーンのバリエーションを構築／Runway Gen-3 AlphaによるMV制作 - Blog 2024/07/18
今夜、Creative.Edge Live 第29回をライブ配信する予定です。
夜11時頃から（いつものように遅れる可能性はあります…）。
追記：第29回のライブ配信は土曜日(20日)にやります。今日はMV制作をこのまま続けます。
Gen-3 Alphaの検証を兼ねたMV制作の現状を報告したいと思います。
Image to Videoが実装されていないことで、散々文句を言ってきましたが、2週間近くText to Imageで試行錯誤してきたので、それなりに意図した映像を表現できるようになってきました。
現在の制作スタイル
まず、seed値の固定。
ライブ配信で解説したとおり、欲しいイメージが生成できたらseedを固定して、プロンプトに強度の高いトークンを追加しながら、シーンを作っていくことができます。
※Gen-3 AlphaにImage to Videoが実装されたら、この手法は不要になりますので暫定的なものです
ChromeだとRunwayの画面がよく落ちるので、現在はEdgeを使用しています。ブラウザーの設定が関係している可能性あり。
生成されたビデオはアセットに保管されていますが、使用したプロンプトやseed値なども確認できます。ただ、探すのが大変なので共有リンクを管理したり、いいねをクリックしておく必要があります。
seedを固定すると、以下のように同じようなシーンを生成できますので、バリエーション展開やモーションの流れを組み立てるときに便利です。
以下は、Gen-3 Alphaによる17曲目のMVプロトタイプ
再生時間：1分31秒
音楽は、Suno AI
リファレンス（参照画像）を使用せず、テキストプロンプトだけで映像を生成できているのが凄い。人間のやることではないと思いますが….
これはリアルタイム自動生成とか、人間が関与しない妄想の世界の映像化とか、そっちの領域かなと思います。
自分のオリジナル作品を作りたいなら、絵コンテを描いて、リファレンスを用意して、カメラの制御や動かす範囲の設定など、可能なかぎり人間の手が入らないと継続的な創作活動は難しいのかなと思います。
技術に依存した創作方法はすぐに真似され、マンネリ化に陥ってしまうので一過性のイベントで終わってしまうことが多いです。
Frame.ioのバージョン4 (ベータ版)
いよいよ、Frame.ioのバージョン4 (ベータ版)を本格的に導入。
生成画像や生成ビデオの管理はAdobe Bridgeを使用していますが、アセットをクラウドで共有できないので複数デバイスの連携が困難でした。Frame.io バージョン4 (ベータ版)で全て解決します。
ただ、こちらはクラウドサービスなのでサブスクの費用がかかります。動画生成のGPU使用料が凄まじいので、あまり贅沢な使い方はできません。しばらくは、Adobe Bridgeとの併用になります。
※Proプランが月額15ドル（約2,347円）
動画生成AIを使った映像制作では、アセットマネジメントシステムは必須。1つの映像作品に数百、数千というアセットを使うので、手作業は不可能です。
利用可能な帯域幅を最大限に使い、チャンク分割・並列アップロードするので、とにかく速い（アップロード速度はDropboxの2倍らしい ←ホント？）。プレビューも速い。
生成しながらアップロードできるので大変便利です。
Firefly 商用利用のための講座と報告会
明日は、Adobe Fireflyの商用利用に関する講座（第2回）をライブ配信します。今回は、権利侵害に関する内容です。
午後7時から。
そして、今週来週土曜日は毎月実施している生成AIプロジェクトの報告会（第16回）があります。こちらの一般参加はZoom配信のみです。XやYouTubeなどの他メディアでは同時配信しませんので、お時間があればぜひご参加ください。
※Zoomの仕様で上限が決まっているので定員になると申し込み終了になります。
1か月も経つと、新機能が実装されたり、ツールの使い方が変わったり、変化が激しい。今回も半分以上は新情報です。
生成AIに没頭できる理由
本プロジェクトは、フルリモートだからこそ成立しており、もしコロナ前の仕事のスタイルに戻ったら、継続することができません。
仕事量はコロナ前の10倍近く増えているのに、時間の余裕が十分あって、さほど忙しくない。これはコロナの3年間で（必要に迫られて）多くの業務プロセスを自動化できたことが大きく、その後のクラウドサービスの技術向上に伴い、さらに空き時間が増えつつある状況。
フルリモートのデメリットは「人に直接会えない」ことですが、何事も一得一失ですから、仕方ありません。
※現在の滞在地には鉄道やバスはなく先月まで寒くてストーブが必要でした…
今の生成AI技術革新の中ではプラスに働いていますので、かなり良い環境だといえます。新しい技術が発表されたら、直ちに業務フローの一部をオートメーション設定して、検証作業に何時間も没頭できますので。
これからの新しいワークスタイルの土台を作る時間を確保できたのですから、コロナ期間でたまたま出来てしまった（仕事の無駄を徹底的に削ぎ落とした）スーパーアジャイルな環境に感謝するしかないと思っています…
更新日：2024年7月18日（木）／公開日：2024年7月18日（木）