本日の日記 - 13秒のビデオを21秒に生成拡張・Premiere Pro ベータ版の生成AI(映像の生成拡張)を試してみる - Adobe MAX 2024／Diary 2024/10/14
Ce journal est une sorte de mémo sur les activités quotidiennes du projet Generative AI.
この日記は「自分用のメモ」であり、SNSの代替
公式のライブ配信がある日は更新されない
PCを使っていると「ですます調」、スマホで書いていると「である調」になりやすい
10月14日（月）夜
今回もAdobe MAX の基調講演が始まる前にアップデートがきた。
Photoshop ベータ版
まずは、Photoshop ベータ版の確認。
「Generative Workspace」が実装された（日本語だと「生成ワークスペース」になるのかな？）。
参考：生成ワークスペース
「Generative Workspace」では、Firefly Webと同等の生成ワークが可能になるので、Photoshopの生成AI機能がさらに高度化したと考えてよいだろう。
Photoshopの使い方が変わるのでベータ版から慣れておいた方がよさそう。
※アプリケーションソフトのベータ版は商用利用できない。テストおよびフィードバックにご協力を。
また、生成塗りつぶしおよび生成拡張は Photoshop（Beta）アプリでも使用できる場合がありますが、Photoshop（Beta）アプリで生成されたコンテンツを商用目的で使用することはできません。
正式版アプリのベータ機能は特に指定されていない限り商用利用可能。
ただし、補償の対象にならないので注意。
商用利用とは、お客様、お客様のブランドまたはお客様のビジネスの商業活動を生み出す、あらゆる種類の使用のことを指します。例えば、販売、印刷物およびデジタルのプロモーション素材の使用、製品およびコンテンツの売り出しでの使用などが挙げられます。ベータ機能からの出力は、製品またはその他の場所で特に指定されていない限り商用利用できますが、ベータ版である間は補償の対象になりません。
macOSの方はアップデータしないとパフォーマンスを発揮できないようだ（私のMacbook Pro M1 のOSはまだ13.1）。
Premiere Pro ベータ版
次は、Premiere Proのベータ版。
さすがに、オブジェクトの選択は近々実装となったが、生成拡張は使用可能。以下は、生成AI機能の利用開始時に出てくる「同意する」ボタン。
早速、Runway Gen-3 Alphaで生成したビデオを「2秒」拡張してみる。ドラッグするだけで続きの映像を生成できる。
公式サイトには最大2秒と書かれているが、SNSなどでは6秒とか8秒拡張した動画が上がっているので裏技？があるようだ（多分、ネスト化されている生成ビデオを拡張生成する操作を何度も繰り返している…）。
参考：生成拡張で作成できるクリップの長さはどれくらいですか？
生成拡張ビデオコンテンツの場合は最大 2 秒、オーディオコンテンツの場合は最大 10 秒追加できます。つまり、ビデオクリップをさらに 2 秒延長でき、ルームトーンや背景音などのオーディオ要素は最大 10 秒まで延長できます。
生成されたビデオと音声は専用のビンに保存される。つまり、元のビデオと生成したビデオをネスト化して配置している。オリジナルを壊さない仕様（非破壊）。
意図した映像にならなかった場合は、ラベルを右クリックし、「もう一度生成」を選択。何度でも再生成できる。
生成拡張できるビデオは、16:9（1920 x 1080 と 1280 x 720）なので注意が必要。縦サイズは対応していない。
いいえ、現在、生成拡張は縦横比 16:9 の横長ビデオのみをサポートしています。具体的には、1920 x 1080 と 1280 x 720 の解像度で機能します。ソーシャルメディアプラットフォームで使用される縦長ビデオやその他の縦横比は、現在サポートされていません。当社では、縦長ビデオ形式の重要性を認識しており、この機能の今後のアップデートでこれを考慮しています。
生成拡張の処理はクラウドで実行される。
生成拡張では、クリップの短いセグメント（通常 1.5～3秒）を取得し、クラウド AI モデルに送信します。AI は、このセグメントを分析し、これに基づいて拡張を作成します。その後、ツールは AI によって生成されたこの拡張を、プロジェクトで使用できる新しいクリップとして返します。元のメディアはそのまま残ります。
いくつか拡張できないビデオもあった。
以下の生成ビデオはその1つ。
「生成拡張を完了できません。」と表示された。
なぜ生成できなかったのか不明。ベータ版なのでフィードバックを送る。
参考：生成拡張では、どのような種類のクリップがうまく機能しますか？
広範囲にわたるテストを通じて、人間、動物、風景など、あらゆる種類のクリップで成功しました。最も効果的と思われるビデオクリップは、カメラの高速な動きなど、ショット内のコンテキストの変化が少ないものです。一貫したノイズや雰囲気のあるオーディオクリップでパフォーマンスは良好です。
うまく動作しないクリップには、フィルム粒子やその他のノイズの多いアーカイブクリップが含まれます。さらに詳しい情報をお知りになりたい方は、ぜひフィードバックをお寄せください。
Frame.io V4のベータが取れて、正式版になった。
現在、Previewとコメントが使用できる（Frame.io V3も引き続き使える）。
まだベータ版なので、期待していたオブジェクトの操作（映像内のオブジェクトを除去する等）は実装されていないが、生成拡張は試すことができる。
アプリケーションソフトのベータ版は商用利用できないので、開発者の方々に協力する気持ちで体験・検証していただきたい。
追記(15日午前)：13秒のビデオを21秒に生成拡張してみる
仕様では「最大2秒」となっているが、ネスト内の生成ビデオを生成拡張できるので制限はない。どのような結果になるのか試してみる。
まず、1回目の拡張生成。これで「2秒」追加される。
13秒のビデオなので、15秒になった。
タイムラインのクリップをダブルクリックすると、生成された2秒のクリップが配置されているので、ここで2回目の生成拡張。
これで17秒になる。
同じ作業の繰り返し。
4回繰り返したので、21秒になった。
Freame.io V4で検証。
2秒拡張した部分はまったく問題ない。
次の2秒から品質低下が進み、全体が溶けたような画質になっていく。
これは当然の結果で、生成されたビデオを参照して生成拡張を繰り返すので、品質は保てない。
…ということで、仕様の「最大2秒」は品質保持の限界を表しているので、一気に4秒、6秒生成できる技術進化を待つしかない。
ただ、2秒といっても使える場面は多数あり、かなり便利な機能だ。
そして…
これが実装されたら、Premiere Proが「動画生成AIを最大限に活用する映像制作」の最強の環境になると思うので期待したい。
動画生成はクレジット消費が激しいので、Runwayでは無制限プランがお奨めだが…
Fireflyの生成クレジットはいつ適用されるのだろう？
（※無料プランなど一部のプランはすでに適用されている）
Creative Cloudコンプリートプランのユーザーなどは、まだ期間限定の無制限なのでかなりお得。
Firefly Video
Firefly Video (Beta)もリリース。
ただ、まだ待機リストの人が多いと思うので、検証記事はもう少し待つことに。
すでにFirefly Videoを使っている人たちがYouTubeにチュートリアル動画をあげているのでご紹介。
更新日：2024年10月14日（月）／公開日：2024年10月14日（月）