ノイズ法XLの設定(tile)とネガティブzeroconditioningについて@ComfyUI
以前、ノイズ法とOmostの組み合わせについて取り上げたことがありますが、zeroconditioningなどの知識のアップデートもあり、改めてノイズ法XLの設定の見直しと、ネガティブプロンプトのzeroconditioningを組み合わせについて試してみた話になります。
ノイズ法については本家のリンク先の内容を参照してください。
zeroconditioningについては以下。
zeroconditioningを使用するので、ComfyUIでの設定です。
ノイズ法XLの中で、取り合えず触ってみたtileとanytestの組み合わせで良い感じの結果がでましたので、その設定などを紹介しておきます。
（※Lineartは試していません）
＜使用コントロールネット・モデルなど設定＞
ConfyUI ManagerのModel Managerからダウンロードできます。
Tileはxinsir/ControlNet Tile SDXL
AnytestはCN-anytest_v4-marged.safetensors
モデルはpony系モデルです。
aiosV101foal_aiosV101foal.safetensors
画像の解像度は1024x1024です。
詳細はワークフローを見てください。
デフォルトのタイルの設定
Tileを使用したノイズ法XLを使用した場合にまず起きること
tileの設定をデフォルトで使用した場合、同じシード値でも異なる画像になります。これだと気に入った画像に適応は出来ないことになってしまいます。
ノイズ法XLなし
ノイズ法XLあり：構図が変わる
構図が変化することの対策
⇒ start_percentの値を0.001にすると構図は保たれることがわかりました。
これは、元のlatentのノイズに最初の段階でtileのノイズが加わらなくなる為だと思われます。
start_percentを0.001にしたもの
ただ、これだと大して書き込みは増えていない感じがすると思います。
この設定で、end_percentの時間を延ばしてみます。
end_percent 0.2
end_percent 0.25
end_percent 0.3
tileを利用したノイズ法XLのまとめ
以下のことが想定されます。
①元の構図のままにする ⇒ Startを0.001にする
②書き込みを増やす ⇒ Endを伸ばす(0.2前後になる)
※weightは提示していませんが、上げると若干書き込みが増えますが、上げすぎると構図が変わります。
zeroconditioningの調整
最初の設定は「zeroconditioning」を0にしています。
それぞれの値を調整することでzeroconditioningの数値を変えます。
endが0.25の設定で試してみます。
zeroonditioning 0.001
zeroonditioning 0.15
zeroonditioning 0.3
zeroconditioningを加えると、描写が安定してくる印象でした。
チェックポイントによって異なる可能性がありますが、このモデルでは0.3にするとtileを使用したノイズ法XLだと自然な感じに書き込みが増えました。
Anytestを加えた設定について
デフォルトで提唱されている設定では良い画像は出力されませんでした。モデルによって異なると思います。
以下はウェイトを下げて、時間も変更しました。
※今回の様にtileの設定をぎりぎりにすると、tileが効いている時間にanytestのノイズをかぶせるとそばかすとかノイズに由来した画像が目立つようになります。
そのため、時間を重複しないようにするのと、ウェイトを下げて調整するなどする必要があります。
ということで、コントロールネットの設定とzeroconditioningの組み合わせでノイズ法XLの調整をするという話でした。
＜まとめ＞
流れをまとめると以下の順で、生成画像の条件を同じシード値で検討して良い感じの画像が出たらその設定で生成を開始するという感じ
①Tileの設定をする：endの調整
②zeroconditioningの調整
③anytestの調整
この方法で、ノイズ法XLで構図を変えないで、もともとの画像と比べて明瞭に書き込みが増えると思います。
いくつかモデルを試した感じだとノイズ法XLに反応の良いものと、そうで無さそうなものがありそうです。
Tipsとしては、設定値の調整については、生成時に出てくるサンプラーの画像を見ると良いと思います。設定が強すぎる場合は、最初に出てくる人物の画像が途中から消えます。
おまけ
リアル系モデル(pony)で、tileとanytestをかさねたもの
