Coloring on Pony, on A1111

先だっては、Anytest ControlNetにLineartを組み合わせた形での線画自動着色プログラムをComfyUI上で作成しましたが、

設定がいちいち必要なものの、A1111系WebUIでも同じことはできます。

その方法について、記載しておきます。

ベースモデルは、Pony系を使う前提で、以下解説していきます。また、ControlNetとWD14-tagger拡張機能は必須ですが、その導入については此処では解説しません。

ControlNetは、上記事で解説しているAnytestのPony用と、SDXLでLineartを使う為に、以下のXL用Unionを使用します。

xinsir/controlnet-union-sdxl-1.0 · Hugging Face

taggerタブを開いて着色したい画像をロードし、「Interrogate Image」をクリックすると、右側にプロンプトが表示されます。

尚、WD14-tagger用の最新モデルをダウンロードしておくと良いでしょう。A1111系WebUIには、初期設定で自動インストールされません。 

SmilingWolf (Smiling Wolf)

次に下図のように、Txt2imgタブを開き、taggerが抽出したプロンプトを張り付けます。

また、この時、冒頭に「best quality, masterpiece」はじめ品質系のプロンプトを追記し、「greyscale, monochrome」等のカラー化を阻害するプロンプトはコピーしないこと。

 Negative Prompt欄には上図のように、「greyscale, monochrome, worst quality, normal quality」と入力します。SDXL用のEmbeddingsも併せて使用すると良いでしょう。

 次に下図のように、各種パラメーターを設定していきますが、画像サイズは元の画像のアスペクト比に合わせる事。

 次に下図のように、ControlNet Unit0を開き、元画像をロードし、「Enable」と「Pixel Perfect」にチェックを付けます。

 
次に下図のように、Allにチェックを付け、Modelは「CN-anytest_v4-marged_pn_dim256」を選択します。

 次に下図のように、ControlNet Unit1を開き、元画像をロードし、「Enable」と「Pixel Perfect」にチェックを付けます。

 次に下図のように、Lineartにチェックを付けます。Control Weightは0.5程度に設定し、仕上がりを見て適宜調整します。 

 ここまで設定を行い、画像を生成すると下図のように着色された画像が生成されますが、必ずしも最初から理想的な着色が行われる訳ではありません。プロンプトで一定の縛りは可能ですが、この工程では、どうしても一定ガチャ要素が入ります。

 
連続で画像生成を行い、最も最適な着色の図を選ぶと良いでしょう。