期待を超える威力!ローカルPC での動画生成。明らかに時代が変わった「Cog Studio」の脅威!!
この続きです。
次の記事で公開した Leonardo.Ai、LUMA AI の Dream MACHINE、Kling AI
の 3 サイトでの動画生成結果と、Cog Studio でのローカル動画生成の
結果を比較してみました。
動画の並びも上掲の記事に揃えましたので、是非比較してみてください。
動画サイズが小さいのは、Adobe Express での GIF 化で「中(標準画質)」
を選んで生成しないと、note 記事に貼り込めないからであって、
Cog Studio での mp4 オリジナル出力(標準)は 720 × 480 pixels です。
オプションでもっと大きな動画生成も可能ですが、当方のローカルPC
環境(Ryzen7 + CPU VRAM 16GB +Geforce RTX4060(GPU VRAM 8GB))
では、そのサイズと 8 fps での動画生成が限界のようです。
それ以上の欲張りはエラー終了となります。
ただそれは Cog Studio 自体の限界とは関係ありません。
Cog Studio は「Advanced Web UI for CogVideo. Generate videos with
less than 10 GB VRAM」(CogVideo の改良版 Web UI 。10 GB 未満の
VRAM で動画を生成)とありますが、上述の範囲でなら当方の環境
でも使えました。
周囲の黒枠は動画編集でトリミング(クロップ)を使えばカット出来ます。
凄過ぎます!
過剰に踏ん張ったり、炎の中で闘牛の構えをしたり、大きな顔の変形や
表情の仔細な潰れも、暇 OL のハンドクリームマッサージでリラックス
も、過剰に怯える様子も、勝手に画面から出て行くことも、原画の
雰囲気丸つぶれのオラつきも、宇宙ステーションが潰れながら縮んで
行くこともありません。
実用見地で、いずれも「期待を裏切らない」大満足の仕上がりです。
過剰に動くより「地味ながら確実」と評価していた Leonardo.Ai の
Image2Motion の上位互換と言えます。
Leonardo.Ai はもう本当に不要です。
LUMA AI の Dream MACHINE と Kling AI も「あまりに期待外の奇想天外
な動画ばかりになるなら要らん」と少し思わせるほどの充実ぶりです。
先の記事の最後に添えた SVD (Stable Video Diffusion)のお粗末な出来
も原画を探し出して、Cog Studio でローカル動画生成しました。
波頭の動きが期待と逆向きですが、まあこれも悪くないでしょう。
次の 2 例も従来 Leonardo.Ai の Image2Motion での最高傑作レベルと
考えていたので難攻不落かと考えていましたが、あっさりと、ほぼ同等
の動画をローカル PC で生成出来ました。
背景の星が飛んで行ったりもしますが(^^)、原画の段階で補正除去する
とか、何度でも満足するまでローカル PC で動画生成も出来ます。
Leonardo.Ai、LUMA AI の Dream MACHINE、Kling AI の 3 サイト
と同様に、物理法則を踏まえた動画生成が為されています。
当方のローカル PC の環境のために 8 fps 出力しか生成出来ないので、
題材によってはカクカク動くのが気になるケースもあります。
長秒化(半速化)でフレーム補完が為されるので、印象は緩和されるか
と楽観していますが….。
長秒化(半速化)と周囲の枠のカットを VideoProc Vlogger で試して
みました。
それでも気になる場合は、次の技術を適用することも視野に入れます。
あらら….有償ツールか。でも毎月サブスクでなく 1 回支払いのみです。
これらの記事公開当時は無償ツールだったみたいです。残念。
AI によるフレーム補完とサイズの補完変更が可能のようです。
この処理もローカル PC で実行できますので、動画生成をローカル PC
だけで完結することが出来ます。(有益な情報公開を感謝します。)
もう明らかに時代が変わったと感じます。
同様の動きが出現して競合し切磋琢磨する状況もきっと近々にある
でしょう。
数日前までは漠然と「近々こうなる進化があればいいな」と望んで
いたことが、もう現実になっているのでした。
Cog Studio での動画生成を実行する裏では、VRAM の事情や、
オープンする UI の仮想アドレスが競合していることなどから、
Stable Diffusion Web UI Forge での FLUX.1 描画が出来ないこと
ぐらいが欠点でしょうか(^^;)。
クラウド系描画サービスでは、その悩みはありませんでした。
同格(Geforce RTX4060 機)で良いので、もう 1 台、描画 PC が欲しい…。
でもノート機であっても自室に置く場所はもうありません(^^)。
ご覧いただきありがとうございます。
(2024/09/23 執筆)