WaifuDiffusion×Colab×AUTOMATIC1111(WEB UI)を使ってる時用のメモ
こんにちは、三島です。
Waifu Diffusion×AUTOMATIC1111(WEB UI)を便利に使いはじめて、早一週間くらい経ちました。自分用のメモを残しておきます。
技術的に参考になるかは分かりません。ですが、自分が覚えるためにも放出しておきます。
注意!
当記事では、お絵かきAIWaifu Diffusionv1.3とAnythingv3.0の話が出てきます。ご注意ください。
また著者はおえかきAIを、自創作のインスピレーションのために利用しています。ですので、紹介するAI生成イラストの中には、明らかに破綻した絵も混じっています。
創作に活かした事例もnoteにまとめたいですね・・・!!!
AUTOMATIC1111とは
AUTOMATIC1111とは、Stable Diffusion WEB UIの一種で一番人気のものらしいです。高性能だし納得のひと言アルヨ。
AUTOMATIC1111(WEB UI)をColabで動かす方法は、さまざまな記事にて紹介されています。
特にGIGAZINEの記事はひと通り読んでおくと捗ります。当方もめっちゃ参考にしてます。
Waifu DiffusionをAUTOMATIC1111で動かす方法も紹介されています。
Colabの設定
でも自身は何やかんやあって、Anythingv3.0用に公開されているColab notebookをWD用に改変して使用しています。
改変箇所のみ記述します。
WEB UIで生成したイラストをグーグルドライブに自動保存すると捗るので、ドライブをマウントしましょう。コマンドでも出来ますが、何故かコードを打ち込めとエラーが出るので・・・(手動でも楽なので放置ナゥ)
#ドライブのマウント
from google.colab import drive
drive.mount('/content/drive')
Waifu DiffusionはFULL版を利用するとGPUのキャパオーバーになるので、「float16」を指定しましょう(一敗)
#Waifu Diffusionをインストールする
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float16.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float16.ckpt
AUTOMATIC1111の設定
いちばん重要なところ~!!!!
WEB UIが無事開けたら「settings」に飛びます。
本当は日本語ローカライズも出来るらしいですが、エラーが出て出来ていません。(二敗)
Saving images/grids(ファイル名の変更)
Images filename pattern(生成したイラストのファイル名の法則)を
「[seed]-[sampler]-[steps]-[cfg]」
(シード値・サンプラー名・ステップ数・CFGスケール)に変更します。
生成ガチャを回し直す時に捗ると思います。
Paths for saving(保存先の変更)
Output directory for txt2img images(生成したイラストの保存先)を
/content/drive/MyDrive/好きな保存先
にすると、いちいち保存しなくて良いので楽です。
他の項目の保存先もDriveの任意のフォルダにしとくと楽ですよ。
保存先をドライブに変更するときは、Colabのノートブック側でドライブのマウントを忘れずに行いましょう。
てか地味にコレを解説した記事が見つからなくて困りました・・・
みんなローカライズ出来てるノカナ・・・
ここまで行ったら「Apply Settings」で設定を保存します。
WEB UI操作画面の自分用解説
操作画面の解説はGIGAZINEが参考になります。
自分用のメモなので、毎秒迷う部分だけ解説を残しておきます。
Sampling Steps(ステップ数)
ステップ数は、画像生成のフィードバックを何回行うか設定する項目です。
110くらいまでは増やしても大丈夫らしいです。
いつも60くらいに設定しています。
Width×Height(画像サイズ)
WDの場合512×512px(正方形)が一番打率が高い気がします。
学習元サイズがこのサイズに最適化されているらしいし・・・
・768×512px(NAIのLandscape)
・512×768px(NAIのPortrait)
はAI神絵を生成したい時に使えそうですね!
Batch count(生成する画像の枚数)
AUTOMATIC1111は複数枚生成が出来ます。過去の自分聞いてるか~???
複数枚生成には時間がかかるので、settingsから「Request browser notifications(ブラウザ通知)」をオンにしときましょう。
CFG Scale(AIにどれだけおまかせする?)
CFGスケールは、プロンプトにどれだけ沿うか指定する項目です。
小さくするとAI任せになり、大きくすると指示に沿った内容になります。
7~11辺りがデフォで、たまに5でも面白いかも。
NAIや縁みたいな画風ロック強めのモデルを使うときは、スケール低めの方がマスピ顔じゃない絵が出やすくなると思います。
InpaintのMasked content(マスクした部分の処理方法)
項目一覧のざっくりかいせつ
・fill(背景に合わせて単色塗りつぶし)
・original(元絵に合わせる)
・latent noise(ノイズで塗りつぶし)
・latent nothing(無に置き換える)
「latent noise」以外使ってるよ!
Sampling method全種類選んで出てきたイラスト
サンプラーの種類(17種類)
Euler a
Euler
LMS
Heun
DPM2
DPM2 a
DPM++ 2S a
DPM++ 2M
DPM fast
DPM adaptive
LMS Karras
DPM2 Karras
DPM2 a Karras
DPM++2S a Karras
DPM++2M Karras
DDIM
PLMS
サンプラーを変えると、生成時間や構図の安定度が変わるらしいです。
参照記事はこちら
※検証用にAnythingv3.0(縁)の絵も上げます。
Waifu Diffusion(WD)のイラスト比較
1枚目右下「10.DPM adaptive」が好きだったので、この後めちゃくちゃ量産しました。
Anythingv3.0(縁)のイラスト比較
(ち、違いが分からねぇ・・・!!!)
この中だと「Euler」や「DPM2 Karras」辺りが好きでしたが、無難に?Eulerでしばらく生成していました。
感想
次回WEB UIを開いたとき戸惑わない用のメモでしたが、想像以上に長くなりましたね。WEB UIを導入したことで、より深い沼に入った気がします。
Colab無料枠だといよいよ足りなくなってきましたね…
BANの恐れがあるので、NSFWも生成出来ませんし。
来月辺り別のGPUクラウドサービスを使うか、NovelAIに課金するか迷ってます。
とりあえず12月はじめのWaifu Diffusionv1.4を全力待機します!
WD勢が増えて情報量が増えますように。