見出し画像

ControlNetのノイズ法とテクスチャ法(カムカム)を試す

おっほ

はじめに

御月望未（みつきのぞみ）さんが公開しているテクニックを試してみました。
このテクニックを使うことで描き込み量を増やしたり色誘導が可能になりクオリティUPに繋げる事が出来ます。

ノイズ法を試す

・ControlNetは必需品なのでインストールを行ってください。
※拡張機能（Extensions）からURLからインストール（Install from URL）を選択、拡張機能のリポジトリのURL（URL for extension’s repository）の欄に以下のURLを入力するとインストールが可能です。


https://github.com/Mikubill/sd-webui-controlnet.git

※AssertionError: extension access disabled because of command line flagsのエラーが出てしまった場合は、launch.py実行時に「–enable-insecure-extension-access」を加えるとエラーが消えます。 私は知らずに最初はこれで半分諦めていました。
・ControlNetをEnableにして、PreprocessorをNoneにしてください。 ・Modelをlineart_animeに設定します。(未インストールの方は以下コードを事前に組み込んでおきましょう。)

%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models
!wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth
!wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.yaml

・ControlNetにノイズ画像を読み込ませます。

御月望未（みつきのぞみ）さん提供のClustered_Vividを使用します

・ControlNetのパラメータを、Weight0.6、Starting0.1、Ending0.6に。
・あとは自分好みのprompt、設定、Hires.fixを使い生成してみましょう。

早速試してみましょう。
今回は森のイラストを生成していきます。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2674472358, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Clip skip: 2, TI hashes: "EasyNegative:

倒木の上に座る女の子のイラストが出来ました。木漏れ日が美しいですね。
上記のイラストをまずHires.fixさせてみましょう。

Hires upscale: 2.5, Hires upscaler: Latentで再生成しました。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2674472358, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, Hires upscale: 2.5, Hires upscaler: Latent, TI hashes: "EasyNegative

素直にこのようなイラストが生成できました。普通にクオリティUPしましたね。今まではこれで満足していました。
今度はノイズ法を足してHires.fixをしてみましょう。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2674472358, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, Hires upscale: 2.5, Hires upscaler: Latent, TI hashes: "EasyNegative
Control Weight 0.6 Starting Control Step 0.1 Ending Control Step 0.6

こうなりました!( ﾟДﾟ)ｴｯ!?
かなりのイラスト変化が起きてしまいましたが、光の表現の強さ、葉っぱの描き込みの増加が凄い事になりました。これはヤバイ。

同条件でX/Y/Z Plotで結果をマトリクス表にしてみました。

Control Weightを0.0のノイズ法の未使用から1.0のフル稼働までをまとめました。
0.0　未使用との事もあり普通のHires.fixしたイラストです。
0.2　服装が変化、草木の描き込み、光の表現が強くなり色温度が上がりました。
0.4　服が変化、草木が更に増加、光の温度が更に高くなりました。
0.6　服は安定、草木の細やかさが最高潮、光も温度が高く美しく強力。
0.8　異常が発生、描き込みは凄いのに変な場所に座りだす。
1.0　もはやノイズが強すぎて木々がメインに。

0.6辺りが凄いバランスが良くて扱いやすいことが分かりました。
慣れないうちは0.6を使いましょう。


step数を20から40に変更して生成しました。やはり0.6がよさそうですね。

ノイズ法はかなり絵柄を細やかにしてくれる事が分かりました。
以下のような広角風景などに相性がいいのではないでしょうか。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2410604652, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, ControlNet: "preprocessor: lineart_anime, model: control_v11p_sd15_lineart [43d4be0d], weight: 0.6, starting/ending: (0.1, 0.59), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, -1, -1)", Hires upscale: 2.5, Hires steps: 10, Hires upscaler: Latent, TI hashes: "EasyNegative
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3795436110, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, ControlNet: "preprocessor: lineart_anime, model: control_v11p_sd15_lineart [43d4be0d], weight: 0.6, starting/ending: (0.1, 0.6), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, -1, -1)", Hires upscale: 2.5, Hires steps: 10, Hires upscaler: Latent, TI hashes: "EasyNegative


Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3444664259, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, ControlNet: "preprocessor: lineart_anime, model: control_v11p_sd15_lineart [43d4be0d], weight: 0.6, starting/ending: (0.1, 0.6), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, -1, -1)", Hires upscale: 2.5, Hires steps: 10, Hires upscaler: Latent, TI hashes: "EasyNegative

逆に失敗したのは室内の料理イラストです。

このイラストをノイズ法で再生成してみました。

爆発しました・・・。どうしてこうなった。


テクスチャ法を試す

もうひとつのテクスチャ法(カムカム法)も試してみましょう。
こちらはまだ勉強不足のため簡単な色誘導のみ試しています。

早速試していきましょう。
今回は滝と川の渓谷風の風景を作っていきましょう。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3208764868, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Clip skip: 2, TI hashes: "EasyNegative

思い通りの状態で生成できました。
こちらを普通にHirs.fixしてみます。

Steps: 20, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 533115920, Size: 1360x1920, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.75, Mask blur: 4, TI hashes: "EasyNegative

普通に綺麗で滝や水面もリアルになりましたね。
さて、テクスチャ法を試します。

・Control netをEnable。
・Control Type Line Artを選択。

Control Weight 0.6
Starting Control Step 0.1
Ending Control Step 1.0

・PreprocessorをLine Art Animeへ。
※未インストールの方は以下のコードを事前に組み込んでおきましょう。


%cd /content/stable-diffusion-webui/extensions/sd-webui-controlnet
/models!wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve
/main/control_v11f1e_sd15_tile.pth!wget https://huggingface.co/lllyasviel
/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.yaml

では、テクスチャを入れてみましょう。
今回は私がペイントで描いた超絶簡単イメージです。

水と木の色合いを表現

上の緑が木々、下の水色が水面を表現しています。
これを読み込ませると・・・。

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2846188705, Size: 544x768, Model hash: cd8732bdc3, Model: ShiratakiMix-add-VAE, Denoising strength: 0.55, Clip skip: 2, ControlNet: "preprocessor: none, model: control_v11f1e_sd15_tile [a371b31b], weight: 0.6, starting/ending: (0, 0.1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (-1, 1, -1)", Hires upscale: 2.5, Hires steps: 10, Hires upscaler: Latent, TI hashes: "EasyNegative

緑面が多いので通常Hirs.fixより木々率が高まりました。
これは便利ですね。


水面、茶木々、緑木々、太陽光

かなり誘導してくれます。面白いですね。
今後細やかなテクスチャを作ってイラスト上に合わせる本当の使い方を試したいと思います。

続く

いいなと思ったら応援しよう！