見出し画像

SVDで絵を動かす

青猫

Stable Video Diffusionでイラスト動かしてみた。楽しい。

動画

ワークフロー

ComfyUIのワークフローはこんな感じです。
公式の推奨設定だと1024×576サイズを8GBのGPUメモリで生成できるらしいです。
今回は1024×1024で25フレーム出力した後、フレーム補完で2倍に水増ししてます。50フレームを10fpsで再生するので約5秒の動画になります。

生成中

ノード毎の解説

動画モデルのロード。svd_xtだと25フレーム行ける。
動画の条件付け。motion_bucket_idは増やすと動きが大きくって、augmemtation_levelは増やすと絵が変わる。それぞれ200前後と0.1くらい超えると絵が壊れる印象。


いつものサンプラー。CFG値は手前にあるなんちゃらGuidanceってノードの値から、ここで設定した値までスライドする感じ。denoiseは1.0固定を推奨。（i2iに見えてi2iじゃない）
フレーム間を補完（アニメの中割り的な）して水増しするやつ。ぬるぬるさせたければmultipiler増やすべし。
画像をつなげてビデオ化する奴。今回の場合、SVDをfps=5で出力してフレーム補完で2倍にしてるから、frame_rateは10に設定。

いいなと思ったら応援しよう！