AnimateDiffのmotion moduleとmotion loraの相性 x 胸揺れ＠ComfyUI
以前、Animatediffの「胸揺れ」のアニメーション記事を出しました。
その際はwebuiのAnimatediffで、プロンプトだけで頑張ったのですがなかなか期待通りにならないものだなと思っていました。
結論は、ComfyUIだとより揺らせたという事でした。※A1111は試していない為
最近、ComfyUIのAnimatediffを触り始めて、civitaiを見るとその方法についての記事がありました。
Animate diff motion lora test workflow - v1.0 | Stable Diffusion Workflows | Civitai
これを参考に試してみた感じだと、motion moduleのバージョンとmotion loraが合わないと効果的な結果が得られないという事でした。
civitaiにあるバージョンの記載がないmotion moduleとは相性が良くない印象です。
Civitaiにある「胸揺れ」のmotion loraは、2つありますが、基本的にmotion moduleがv3のものに対応しています。他のだと反応がほぼ無いかプロンプトへの反応レベルでした。
ということで、motion moduleをv3にして、以前の記事で使用したELLA+AnimateDiffにmotion loraを追加してみました。
以下にフローを添付します。
＜Motion lora①＞
Animate Diff v3 Motion Lora - Bouncing breasts - v2.0 | Stable Diffusion Motion | Civitai
手間を省くために出力をgifにしたせいか画面が動いてしまいました。
上記は解像度を512x768で行いましたが、512x512で行うと以下のような感じも出来ました。Loraを加えています。
CFG rescaleについては、上に紹介したCivitaiにあるmotion loraをつけるフローにあったので採用してみました。これを使用した場合に動きが良くなる場合がありました。FreeUもつけるフローもありましたが、これらを使うと余計なものが追加される場合がありますので調整が必要です。
＜Motion lora②＞：上のフローでmotion loraを変えるだけです。
これもv3との組み合わせになります。
※CFG rescaleはない方がよいかも
BOOBS SHAKE | AnimateDiff Motion LoRA - v1.0 | Stable Diffusion Motion | Civitai
こちらのmotion loraはジャンプもするようです。
ということで、motion loraを使用する場合は、motion moduleのv3を使用するのが良いということが分かりました。
v3は単体だと動きがいまいちな印象でしたがmotion lora前提なのかも知れません。
motion moduleは、Civitaiか以下のところからダウンロードして使用できます。
SDXLについても、試してみましたが、自然な感じになるのはSD1.5のmotion loraを使用した場合になりそうです。
ただ、現時点ではSDXL x Animatediffは研究する価値があると感じました。