Tiled Diffusion+ControlnetでDenoising strength0.45の壁を越えたい
今回は記事タイトルの通り低VRAMGPUの救世主Tiled DiffusionにおけるDenoising strength(ノイズ除去強度)0.45の壁を越える方法を模索していきたいと思います
1：まずはじめに
記事を書くに当たってまず初めに確認しておくことは私自身GW前から画像生成AIを扱い始めたばかりの素人であり説明に間違いがあったり余計な手順を踏んでいる可能性がそれなりにあることです
あくまで素人の試行結果をまとめたものですので参考程度に留めておいてください
2：Denoising strength0.45の壁とは
Denoising strength0.45の壁とはTiled Diffusionが元絵を分割して画像を拡大する際Denoising strength(ノイズ除去強度)が0.45を越えると体や建物などに顔が浮かび上がってくるなど恐ろしい崩壊の仕方をする現象のことを指しています
原因について0.45の辺りでimg2imgによる元画像補正を越えてしまうのではないかと考えましたが実際にどうなのかはわかりません
ですがもし補正が足りないのならより強い補正をかけてみれば良いのではというのが今回の主旨になります
3：Controlnetによる対策
さっそくこちらの画像を使って試していこうと思います
1：lineart_realistic
取り敢えず絵柄の固定と言えばまず浮かぶlineartを使ってみます
2倍のアップスケールを安全圏の0.45から順々に1.0まで試してみました
しっかりContorolnetによる補正が入り最大までノイズ除去の強度を上げても崩壊することなく描き込み量を増やすことができました
いきなり正解を引き当てた感はありますが多少口元の形が変化しているので一応他のものも試してみます
2：softedge_hedsafe
lineartよりは比較的緩い印象のsoftedgeを使ってみましょう
0.55まではlineartと比べて口元の変化もなく順調だったのですが0.75から足元から変化し始め元絵から外れ始めてしまいました
まとめ
取り敢えずControlnetでlineartのような強い補正をかければDenoising strengthを0.45以上にしても崩壊することなく比較的元絵の特徴を維持したままアップスケールできることがわかりました
他の派生やscribble等試せることはまだありそうですが今回はここまでとします