Stable Video Diffusion
所感
無料での動画生成AIといえばこちら「Stable Video Diffusion」
今年中には大型アプデは入るだろうし、楽しみ。
現状出来る手法は２つ
・１：comfyUIに入れて使う。
・２：「sdbds/SVD-webui」を使う。
「Automatic1111」でも入れてくれるだろうけどまだなのかな～、と期待してます。とはいえ、「comfyUI」もSVD(Stable Video Diffusion）を使えることで、Stable diffusionの主流ツールの一角を占めるに至った契機になった印象。
使い方参照: 1 : comfyUI
comfyUIはこちらに詳しく導入方法が書いてます。大変参考になりました。
comfyUIのよさは、個人的にはワークフローがドラッグ＆ドロップで決められるところ
ぱっとみはとっつきにくそうだけど、3DCGやってたものとしてはわかりやすいノード構成だし、これやってから逆に3DCGやるにもいいきっかけになるのでは。
使い方参照：2 : SVD-webui
なん箇所か記載していただいていた方のおかげでなんとか入れられそう。
（結局は下記本家のreadmeを読むことにはなったが。）
簡単に説明すると、
step1
・上記の「readme」をちゃんと読むことをお勧めします。
結局それが早かった。こちらに書いている通り、githubをインストールして、保存したい場所で下記をcommandに下記入力してダウンロード
git clone --recurse-submodules https://github.com/sdbds/SVD-webui/step2
更にダウンロードしたら、「install.ps1またはinstall_cn.ps1を実行すると、自動的にvenvが作成され、必要なdepsがインストールされる。」
とのことなんで、commandに「install.ps1」をドラッグ＆ドロップ
C:\SVD-webui\install.ps1私の場合はCドライブ直下に「SVD-webui」フォルダが作成されたので上記表示されるので、こちらをエンターキーを押して実行してインストール。
step3
モデルをダウンロード
svd: stabilityai/stable-video-diffusion-img2vid for 14 frames generation NEED 15GB VRAM
svd_xt: stabilityai/stable-video-diffusion-img2vid-xt for 25 frames generation NEED 18GB VRAM
step4
run_gui.ps1を編集して、モデルのバージョンや出力先を変更する。
$model_path="./checkpoints/svd_xt.safetensors"
$outputs="./outputs"step5
run_gui.ps1を実行するとアドレスが表示されるので、それでブラウザを開く。(run_gui.ps1ファイルをcommandにドラッグ＆ドロップし実行する）
その他
モデルごとの違い
14フレームと25フレームの動画生成にチューニングされたものがあるとのこと。
14フレーム用チューニング
25フレーム用チューニング(xt)
As of writing this there are two image to video checkpoints. Here are the official checkpoints for the one tuned to generate 14 frame videos and the one for 25 frame videos. Put them in the ComfyUI/models/checkpoints folder.
これを書いている時点では、2つの画像から動画へのチェックポイントがある。14フレームの動画を生成するようにチューニングされたものと、25フレームの動画を生成するようにチューニングされたものの公式チェックポイントです。ComfyUI/models/checkpointsフォルダに入れてください。
サンプルワークフロー
それぞれ下記にサンプルワークフローまで用意されている。
この記事が気に入ったらサポートをしてみませんか？