遅まきながらAnimatediffを試した話@ComfyUI x ELLA x paperspace
サムネはDALLE3に作成してもらいましたが、表現力はさすがですね。
さて、本題に入ります。
実はSDXLを使用したComfyUIのAnimateDiffは試してみた事があったのですが、SD1.5はしていなかったので試してみたよというやつです。
それだけでは味気ないのでELLAを併用してみました。
過去記事を見るとELLAについてPaperspaceのインストールコマンドを記載していなかったようで、それも記載しています。
今回は備忘録として基本的？な部分を記事にしています。
一時ディレクトリ用のインストールコマンドも追記しています。
☆使うカスタムノード
%cd /tmp/ComfyUI/custom_nodes
!git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved☆必要なもの：SD1.5モデル周りとモーションモジュールとモーションLora、ELLAの準備
①SD1.5まわり：モデルのダウンロード
!cd /tmp/ComfyUI/models/checkpoints && \
curl --progress-bar -L -o lametta_v2012_fp16.safetensors https://huggingface.co/Lasorco/lametta/resolve/main/lametta_v2012_fp16.safetensors?download=trueVAEはComfyUI Managerからダウンロード(Modelもある)
コントロールネット SD1.5用の配置：以下から
lllyasviel/ControlNet-v1-1 at main (huggingface.co)
libsgo/DensePose_sd15-fp16.safetensors at main (huggingface.co)
lllyasviel/sd_control_collection at main (huggingface.co)
!cd /tmp/ComfyUI/models/controlnet && \
curl --progress-bar -L -o animatediffcontrolnet.ckpt https://huggingface.co/crishhh/animatediff_controlnet/resolve/main/controlnet_checkpoint.ckpt?download=true
!cd /tmp/ComfyUI/models/controlnet && \
curl --progress-bar -L -o DensePose_sd15-fp16.safetensors https://huggingface.co/libsgo/DensePose_sd15-fp16.safetensors/resolve/main/DensePose_sd15-fp16.safetensors?download=true
!cd /tmp/ComfyUI/models/controlnet && \
curl --progress-bar -L -o control_v11f1p_sd15_depth.pth https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth?download=true
②モーションモジュール
配置は以下：ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
!cd /tmp/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models && \
curl --progress-bar -L -o yoinkoorlabsNSFWMotionv2.ckpt https://huggingface.co/LarryAIDraw/yoinkoorlabsNSFWMotion_godmodev20/resolve/main/yoinkoorlabsNSFWMotion_godmodev20.ckpt?download=trueLarryAIDraw/yoinkoorlabsNSFWMotion_godmodev20 · Hugging Face
Motion Model Experiments - v0.1 HighlystableItimacy | Stable Diffusion Checkpoint | Civitai
③モーションLora
配置先は以下：ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora
これは各々で配置する以下のものなど。civitaiにいろいろとある。
Animate diff Motion Lora - Dancing Loras - Zero Two Hip Sway | Stable Diffusion Motion | Civitai
Animate diff Motion Lora - Running towards viewer - v2.0 | Stable Diffusion Motion | Civitai
④ELLAのインストールと準備するもの
インストール
%cd /tmp/ComfyUI/custom_nodes
!git clone https://github.com/TencentQQGYLab/ComfyUI-ELLA準備するモデルの配置コマンド
!mkdir -p /tmp/ComfyUI/models/ella
!mkdir -p /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder
!wget -O /tmp/ComfyUI/models/ella/ella-sd1.5-tsc-t5xl.safetensors https://huggingface.co/QQGYLab/ELLA/resolve/main/ella-sd1.5-tsc-t5xl.safetensors?download=true
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/config.json https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/config.json
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/model.safetensors https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/model.safetensors
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/special_tokens_map.json https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/special_tokens_map.json
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/spiece.model https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/spiece.model
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/tokenizer.json https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/tokenizer.json
!wget -O /tmp/ComfyUI/models/ella_encoder/models--google--flan-t5-xl--text_encoder/tokenizer_config.json https://huggingface.co/QQGYLab/ELLA/resolve/main/models--google--flan-t5-xl--text_encoder/tokenizer_config.json
上記の内容で、SD1.5でAnimateDiffを行う準備ができたのではないかと思います。
カスタムノードは、足りないものを順次補う感じにすると良いかと思います。
公式のワークフローから適当に修正？みたいなのをしたワークフローが以下です。
①コントロールネットなし
②コントロールネットあり
コントロールネットを使用したものは、一貫性を上げる目的です。
試してみた範囲では、動いたということで。。
WebUIと同じような感じで生成は出来そうな印象でした。
ComfyUIだと、調整するパラメータが多いので、そのあたりまで検討するかは今後の課題ですね。