見出し画像

Vroidを使ってStable Diffusion Web UIのAnimateDiff（メモ５）

混合順

試したStable Diffusionの設定をメモする。

Vroidを使ったモーション動画作成

Vroidにモーションを与えてVroid HUBの機能で動画を作成する。

今回紹介するAnimateDiffで作成した動画はこんな感じ。


ControlNet

depthのモデルは以下から「diffusers_xl_depth_full.safetensors」をダウンロードする。

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

cannyのモデルは以下から「diffusers_xl_canny_full.safetensors」をダウンロードする。

https://huggingface.co/lllyasviel/sd_control_collection/tree/main


インプットの動画を分割

今回はimg2imgで動画化するため、まずはインプットとなる動画を画像に分割する。
以下のようなコマンドで動画をフレームごとに分割する。

ffmpeg -i input.mp4 -vf "fps=30" frame_%04d.png

FFmpegを使うには、インストールが必要なので、以下の手順でインストールする。

https://taziku.co.jp/blog/windows-ffmpeg

こんな感じで画像に分割する。

stable diffusion webuiの設定は以下で実施する。



この設定だと、だいたい14時間ぐらいで生成される。（RTX 4090の場合）

もちろん、解像度上げれば質がよい動画が生成できるが、その分時間もかかるので断念。


いいなと思ったら応援しよう！