SDXL LoRAの階層の比較

LoRAを適用すると意図せず画風が変化することがあります。
画風変化を減らすためにLoRA Block WeightやSupermergerで特定の層の強度を0にします。その時どの層を切ればよいかの簡単な比較です。

SDXLのUNetの階層について

※解説記事によって階層の説明が異なるため正確でない可能性があります。
SDXLはIN04,05,07,08,MID,OUT00-05に影響力の大きいAttention(Transformer)があります。
SDXLのU-Netは深層ほどAttention(Transformer)の処理回数が多くなります。処理回数はIN04-05,OUT03-05が2回、IN07-08,MID,OUT00-02が10回になります。

注意!

SDXLのLoRAで層別学習はできません。基本的に推論時にLBWなどで調整する形になります。

比較

LoRA無し、通常のLoRA、DoRA、OUTのみ、Attentionの多い(情報が集中している)
IN07-08,MID,OUT00-02のみの五つで比較。
Supermergerで階層の重みを0にしました。

比較1(Animagine-XL-3.1)

比較2(別のcheckpoint)

OUTのみでは再現度が低下。
IN07-08,MID,OUT00-02のみは品質を保ちつつ線が太くなる現象と赤みがかる現象を軽減。