ComfyUI で動かす LCM-LoRA AnimateDiff

　こんにちはこんばんは、teftef です。 「Latent Consistency Models の LoRA (LCM-LoRA) が公開されて、 Stable diffusion , SDXL のデノイズ過程が爆速でできるようになりました」という記事を書きました。今回は ComfyUI でその LCM-LoRA をつかって AnimateDiff を使用する方法についてです。
画像生成についてはこちらから。
※この記事は有料となっていますが、最後まで内容が読めます。

　私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。また、この記事を作成するにあたり、GPT-4 による校正、修正が含まれています。

Latent Consistency Models

---

　Consistency Models と Latent Consistency Model について、詳しくは、こちらを見てください。見なくても使えます、でも読んでくれたらうれしいです。

Consistency Models: 1~4stepsで画像が生成できる、新しいスコアベース生成モデル

ComfyUI

---

　よく使っている Stable Diffusion webUI とは異なり、ComfyUI という GUI もあります。

詳しい導入と使い方はこちらから。

AnimateDiff 関連のカスタムノードのインストール

---

　AnimateDiff は text からフレーム間の一貫性がある程度保たれた動画 (GIF) を生成できることができるツールです。ComsyUI で使用するためにいくつかの拡張機能とモデルを入れる必要があります。
とりあえずコマンドプロンプトで ComfyUI の custom nodes まで移動します。

ComfyUI-AnimateDiff-Evolved

　AnimateDiff の拡張機能を入れます。

git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-Advanced-ControlNet

　AnimateDiff で使う ControlNet 拡張を入れます。 (フレーム間の一貫性を取るモジュール (多分))

git clone https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet

ComfyUI-Manager (オプション)

　足りないカスタムノードを探し出してインストールしたり、アップデートをしたりする作業を GUI でできる便利なモジュール (入れなくても動きます。)

git clone https://github.com/ltdrdata/ComfyUI-Manager

motion modules のダウンロード

---

　続いて、以下url から好きなモジュールをダウンロードし、以下の パスに保存しておきます。

ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models

の下に入れておきます。

Motion Model Experiments - v0.1 HighlystableItimacy | Stable Diffusion Checkpoint | Civitai

manshoety/AD_Stabilized_Motion at main

CiaraRowles/TemporalDiff at main

Controlnet

---

Video 2 Video のために、 ControlNet のモデル をダウンロードします。(使うものだけでいい、text 2 image では使わないので飛ばしてもいい)
以下の パスに保存しておきます。

ComfyUI\models\controlnet

の下に入れておきます。

lllyasviel/ControlNet-v1-1 at main

LCM-LoRA のダウンロード

---

　LoRA モデルのダウンロードはこちらから行い、指定の場所 (ComfyUI\models\loras) に入れてください。

latent-consistency/lcm-lora-sdv1-5 · Hugging Face

latent-consistency/lcm-lora-sdxl · Hugging Face

ノード配置 (SD1.5)

---

　以下の画像のような感じで配置します。Sampling の部分を全部 lcm にするのを忘れずに。

配置を読み込む json file はこちらで配布します。

生成速度

　今回、生成に使用した GPU は RTX 2070 Super です。

　context_length = 16 で512 × 512 の動画の生成速度は 40 秒ほどでした。(batch_size = 16)

　context_length = 16 で512 × 768 の縦長の動画の生成速度も 40 秒ほどでした。(batch_size = 16)

こんなかんじ

エラーなど

model.model.memory_required = orig_memory_required

このようなエラーが出るときは ComfyUI をアップデートしてください。

おまけ : 他の LoRA と組み合わせる

　LoRA を複数個利用するときはこのように直列でつなぎます。

最後に

---

　Latent Consistency Models LoRA を使った AnimateDiff を ComfyUI で使う時の方法についてざっくり書きました。 普通の画像生成を行う場合はこちらから。

　最後に少し宣伝です。主のteftefが運営を行っているdiscordサーバーを載せます。このサーバーではMidjourneyやStble Diffusionのプロンプトを共有したり、研究したりしています。ぜひ参加して、お絵描きAIを探ってみてはいかがでしょう。(2,400 字，teftef)

Discordサーバー「A.I.Lab」に参加しよう！

　↓↓もしよろしければこの記事と開発の支援お願いいたします！

※注意 :　支援してくださる方へ

　※注意 :ここから先は何も内容がありません。しかし、この記事をお読みいただき、良かったと感じていただけたのであれば、この記事と開発の支援お願いいたします！