本日の勉強会・Adobe FireflyとLuma Dream Machineで映像制作の検証 - Blog 2024/06/23
本日の動画生成AI勉強会のダイジェストレポートです。
勉強会：動画生成AIの技術およびサービスの現状を把握し、将来のビジネス利用について意見交換するオンライン勉強会
前回が4月だったので2か月振りの勉強会となりました。
今月は、Luma Dream MachineのリリースやRunway Gen-3の発表などがあり、大変慌ただしく、まだ検証の途中です。
4月から、この技術進化のスピードに対応するため、ドキュメント（記事化）やSNS投稿より、突発のライブ配信に注力しています。メインのCreative.Edge Liveは、すでに24回配信しており、来週の火曜日に第25回目を予定しています。
今回の勉強会も、このライブ配信の内容に沿って意見交換を行いました。
また、Adobe Firefly とLuma Dream Machineで簡単な映像制作もやってみました。時間が限られているので、あくまで検証を目的とした制作です。
動画生成は、とにかくお金がかかる！
Luma Dream Machineは無料で動画生成できたので、大きな話題になりましたが、毎月無償提供される30クレジットは一瞬で消費します。情報発信者の多くがクレジットを使い切ったことで、SNSでの話題性はやや鈍化してきた感じです。
月額29.99ドル（4,893円）のStandardプランの120クレジットもあっという間に無くなります。ヘビーユーザーの多くは月額99.99ドル（約15,782円）のProプランで400クレジットを無駄遣いしないように慎重に使っているという状況です。
最上位のPremierプランは2000クレジット付与されるので、これでやっと本格的な映像制作が可能になります。
毎月499.99ドル（約78,920円）払うことになりますが...
RunwayのUnlimitedプランが月額95ドル（15,385円）で無制限ですが、もし次世代のGen-3がこの費用で利用できるなら「超お得」ということになります。
Adobe FireflyとDream Machineで映像制作
今回はFireflyの画像をDream Machineで動かすという試み。
映像制作といっても、使えるクレジット数が少ないので、うまくいっても15～20秒くらい。画像生成より「ガチャ」ですから、意図したシーンを生成するのは至難の業です。
Adobe Fireflyには超強力な「構成参照」と「スタイル参照」機能がありますので、少ない試行錯誤で欲しいイメージを生成できます。Fireflyは、プロンプトよりリファレンスが重要です。
リファレンス活用については、Creative.Edge Liveや高校講座（Adobe Firefly）で詳細に解説しています。高校講座は、このnoteでアーカイブを視聴できますので、ぜひご覧になってください。
初期プロンプト：
Kinemacolor 1950s U.S. science fiction television drama. smile pilot super cute young women of a space battleship.
リファレンス（ここではスタイル参照）を適用して、ビデオ生成のための画像を生成。
写真表現とイラスト表現の中間の絵づくりをしていきます。リファレンスに寄せすぎると「AI顔」になってしまうため、強度は下げています。
Photoshopを使って、Fireflyで生成した画像の補正とハルシネーションの修正をします。ビデオ生成用に最適化するための重要なプロセスです。
最後は、Creative Upscalerで画像のディテールを向上。
お奨めのCreative Upscalerは「Magnific AI」ですが高額なので、今回は「Leonardo Ai」のUniversal Upscalerを使用しています。
こっそりGen-2の力を借りる
Dream Machineのクレジットが無くなったので、最後の4秒だけRunway Gen-2でビデオ生成して、After Effectsで仕上げました。
時折デモンストレーションを入れた勉強会向けの作業だったので、トータルで90分くらいかかっていますが、生成AIによる18秒程度の映像が完成しました。
再生時間：18秒
今月12日にDream Machineがリリースされてから、まだ1週間と5日しか経っていませんが、6月12日前とそれ以降では動画生成AIの表現力が様変わりしています。
Runway Gen-3が一般公開されると、Dream Machineも不要になる可能性が高いので臨機応変に動けるように（技術サービスの乗り換えを視野に入れながら）活動指針を変えていく必要がありそうです。
詳細は、第25回目のCreative.Edge Liveでお話しすることになると思います。ライブ配信は、25日（火曜）の夜11時に予定しています。
Creative.Edge Live で生成したビデオ (Dream Machine)：
再生時間：1分13秒
前回の勉強会：
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日：2024年4月23日（日）／公開日：2024年6月23日（日）