Stable Diffusionを動かすためのメモ
これはモデルのディテールアップのための参考資料を作成する目的で、モデルの画像をもとにimg2imgでアレンジさせる方法
これで作成したものは参考になるが、そのまま使うことはなく、実際にはこれをヒントにディテールを考えながら自前でテクスチャを描き込んでいく
run.batを立ち上げ
（ショートカットを作っておいても良い）コマンドプロンプトが立ち上がり実行、立ち上がりに時間がかかる
立ち上がると、番号のURLが表示されるので、それをブラウザで見る（画像1）
ブラウザ上でインターフェース画面が表示される
img2imgを使うこととする（画像2）
シードより下の覧にあるcontrolnetの▲をクリックして展開、有効化チェックをONにする（画像3）
controlnetのプリプロセッサとモデルを設定、両方が同じものであること（画像4）
（必要に応じて）LORAを設定、生成ボタン下の花札アイコンをクリック、そこで開いたUIからLORAタブを選択、そこにLORAのモデルが表示されるので選択
（選択するとプロンプトに<>で囲まれてLORA指定が自動記入される）もとにする画像の準備
画像は正方形であること
背景透過はないこと用意した画像を、img2imgの指定覧、controlnetの指定覧両方に入れて、生成ボタンクリックで実行される
controlnetでは画像を線画にしてから、新たな絵を生成する
プリプロセッサ、モデルで検出方法を変えたものが何種かあるLORAは画像を水彩調からアニメ調に変えるものを選んでいる
使ったり使わなかったり比較しながら使うimg2imgの画像は線画抽出用、controlnetの画像は再作成時の彩色ヒント用ではないかと思われるが確かではない
画像はフォルダに自動格納される、フォルダへのアクセスは生成画像下のフォルダアイコンボタンクリックで展開する
その②
この場合、LORAは使わない。重要なのは"CFGスケール"と"ノイズ除去強度"ではないかとのこと。
コツは、"ノイズ除去強度"を0.5以下にすると、元絵の形がだいぶ残ってくるので、丁度よい数字を探しつつ、汚い結果なら"CFGスケール"を少しずつ上げる。とのこと。
上の手順の、1～5 までは全く同じ。その次から。
同上
同上
同上
同上
同上
プロンプトに下記条件を入れる(画像7も参照)
上段
masterpiece, (high Quality:1.4), super fine illustration,
下段
Easynegative,bad_prompt_virsion2,(worst quality, low quality:1.4),flat color,flat shading, retro style, poor quality, bad face, bad fingers, bad anatomy, missing fingera, low res, cropped, signature, watermark, username, data, artist name, text, multiple angle, blurry, lowers, extra digit, fewer digits, error, normal quality, 2koma, panel layout, (nsfw:1.4),"CFGスケール"は10、"ノイズ除去強度"は0.44に。(画像8)
とりあえずこの数値で試して、さらに調整は上に書いたようなコツに従う。
実際に幾つか試したところ、これだけで行ける場合も、イマイチな場合もある。ノイズ除去とCFGスケールの調整のほか、上記の様にcontrolnetやLORAを併用して試すのも一定の効果がある。
