【ComfyUI】動画からポーズを読み取ってアニメにするAnimateDiff v3のワークフローを動かす
AnimateDiff v3のワークフローを動かす方法を書いていきます。
上の動画が生成結果です。
必要なファイルはポーズの読み込み元になる動画と、モデル各種になります。
ワークフロー
このjsonファイルがワークフローです。
ComfyUIからロードするとワークフローが読み込まれます。
モーションの元になるムービー
こちらを使用しました。
このワークフローでは、Load Videoノードに
/content/drive/MyDrive/mv_temp/asuna_dance.mov
とパスが設定されています。
置く場所が違うときは変更してください。
必要なモデル
つぎのモデルをComfyUIの起動スクリプトに追加。
ダウンロードします。
# 画像生成モデル/Checkpoints
!wget -c https://huggingface.co/digiplay/DreamShaper_8/resolve/main/dreamshaper_8.safetensors -P ./models/checkpoints/
# VAE
!wget -c https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -P ./models/vae/
# ControlNet
!wget -c https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/resolve/main/control_v11e_sd15_ip2p_fp16.safetensors -P ./models/controlnet/
!wget -c https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/resolve/main/control_v11p_sd15_openpose_fp16.safetensors -P ./models/controlnet/
!wget -c https://huggingface.co/crishhh/animatediff_controlnet/resolve/main/controlnet_checkpoint.ckpt -P ./models/controlnet/
# Motion Module
!wget -c https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt -P ./custom_nodes/ComfyUI-AnimateDiff-Evolved/models/
# Motion Module用LoRA v3_sd15_adapter.ckpt
!wget -c https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_adapter.ckpt -P ./models/loras/
参考
このワークフローを元に微修正しました。
実行方法は、AnimateDiffで公開されている
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 15, 2023
v3_sd15_mm.ckpt → プラグインのモデルフォルダへ
v3_sd15_adapter.ckpt → Lora フォルダへ
試したらまた動画を公開します！
AnimateDiffhttps://t.co/SmXkaZshDJ#AnimateDiff