【SDXL】描き込みを増やしたい！ ノイズ法を試してみる
はじめに
こんばんは、きまま / Easygoing です。
描き込みの多いイラストが大好きです。高校生の頃に読んだ「攻殻機動隊」の漫画、その描き込みの多さと迫力に強い衝撃を受けました。
作者は、あの１コマにおそらく数日はかかりっきりだったはずです。
AI画像生成を始めたとき、自分もあのような緻密な描き込みのイラストを作ってみたいと思いました。
AIは機械なので（異論はあるかもしれませんが）、こうした描き込み作業は得意なはずです。
通常の絵
前回のアバターシリウスの制作場面です。
まずはプロンプトの通りに描いたイラストです。
いつもながら、このアニメモデルは本当に素晴らしいです。アバターの存在感を見事に表現しています。
ここから描き込みを増やしていきます。
プロンプトで増やす
最初は、プロンプトで描き込みを増やします。
先ほどのプロンプトに、`highly detailed` を加えてみます。
かなり描き込みは増えましたが、もっと増やす方法を探っていきます。
ノイズ法を試す
今回のメインテーマであるノイズ法について説明します。考案者がノイズ法を詳しく解説しているのはこちらのリンクです。
簡単に説明すると、画像生成AIはノイズから復元して画像を生成しますが、復元中もノイズを与え続けることで小さなオブジェクトを量産する方法です。
ノイズ法の効果
まずは、ノイズ法の実際の効果を見てみましょう。
さっきのイラストより、描き込みが格段に増えています！
迫力が増して、とても満足です。
実際の方法
考案者と同じ方法を使用しますが、ここでは Stable Diffusion webUI Forge での利用法を紹介します。
今回は、イラストの構成を決める ControlNet という機能を使います。
まず、有志が公開されている ControlNet の lineart モデル Katarag_lineartXL-fp16.safetensors をダウンロードします。
ダウンロードした Kataragi-LineartXL-fp16 を、\webui\models\ControlNet フォルダに配置します。
次に、このノイズ画像をダウンロードして適当な場所に保存します。
準備が整ったら、Stable Diffusion webUI Forge を起動します。
① 最初にControllNet を開きます。
② ControllNet 0 にチェックを入れ、有効化もチェックします
③ ノイズ画像をアップロードします
④ モデルに Kataragi-LineartXL-fp16 を選択します
⑤ Control Weight を 0.5、Starting Conrol Step を 0.1、Ending Conrol Step を 0.75 に設定します
⑥ 画面から見切れていますが、変形は Clip and Resize を選択します
その他の設定値はデフォルトのままで大丈夫です。各項目の詳しい意味については前述の考案者のページを参考にして下さい。
一度設定してプリセットを登録すれば、ずっと同じ条件で描き続けることができます。
ノイズをもっと強くすると？
先ほど設定した Control Weight の値を上げると、さらに描き込みを増やすことができます。
ただし、上げすぎると構図が崩壊します。
先ほどの例も、実は崩壊のかなり際どいラインです。
別の例で見てみます。プロンプトは Refiner の時に使用した摩天楼の屋上のカップルを利用しています。
きれいなキラキラが出現していますが、実はこれが崩壊の前兆です。さらに強度を上げていくと・・・
キラキラに構図を奪われてしまいました！ さらに１人増えてる！
空白を見つけるとAIが何か書き込むのは、画像生成では良くある現象です。
生成する画像や解像度によって限界値は変わるので、自分の設定を試してみてください。私は崩壊ギリギリのラインで 0.7 に設定しています。
Refiner と併用する
今回紹介したノイズ法で描き込みを増やし、さらに以前の Refiner を組み合わせて背景をぼかすことで、自分の好みに合った絵が作れるようになりました。
絵を全く描けなかった私が、まるで自分の画風を探すイラストレーターになったような気分でワクワクします。
最後まで読んでいただきありがとうございます！