初級者編：コラ生成にも元画像生成にも使えるControlNet（３）
ではControlNet実践編です。
まずは元画像を生成してみようと思います。
１．まずはおさらい
前回までの記事で作成したファイルを開き、WebUIを起動して下さい。
今回から見ている方は、GoogleColabで新規ファイルを作成していただき、以下のコードをコピペし、上から順番に再生ボタンを押していって下さい。
URLが２つ並んで表示されたら、下のURLをクリックしてください。
# 上段：AUTOMATIC1111のインストール
# 中段：VAE&モデルのインストール
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors# ControlNetのインストール
%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/Mikubill/sd-webui-controlnet
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_canny-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_canny-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_depth-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_depth-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_hed-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_hed-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_mlsd-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_mlsd-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_normal-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_normal-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_openpose-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_scribble-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_scribble-fp16.safetensors
!wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_seg-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_seg-fp16.safetensors# 起動
%cd /content/stable-diffusion-webui
!python launch.py --share --xformers --enable-insecure-extension-access
以下のようになっていればOKです
再生ボタンを押していくとURLが上下に並んで２つ表示されるので、下のURLをクリックしてください。
２．ポーズを作るか、拾ってこよう
ControlNetはポーズ情報を直接与えてあげるのが早いので、ポーズ作成用のソフトを使って好みのポーズを作りましょう。
棒人間生成ソフト：https://thup.work/miniup/?mode=dl&id=14203
ポース人形生成ソフト：fu1959929.zip
ただし僕はめんどくさがりなので、ポーズ集から適当に使っていたりもします。
他にも同サイトにポーズ集はたくさんアップされてますので、そちらを利用するのが個人的にはオススメですね。
さて、ポーズ集の棒人間を使うことを前提にここから先の解説を行います。
WebUIの下の方に”ControlNetというタブがありますので、◁ボタンを押して展開して下さい。
そして以下の画像を参考に、以下の手順で作業を行って下さい。
①用意したポーズ画像をドロップしてください
②Enableのところにチェックマークを入れて下さい
③何も選択しないで下さい
④"openpose"となっているものを選択して下さい。
この作業が終わったら画面の上に戻り、呪文の入力を行って、画像の生成を開始して下さい。
①（プロンプト）の文章例
(RAW photo:1.2), (photorealistic:1.4),(masterpiece:1.4),(best quality:1.4),ultra high res,Kpop idol
②（ネガティブプロンプト）の文章例
(worst quality:2), (low quality:2), (normal quality:2), lowres,
③を押すと生成が開始される
そして僕はいくつかの不正行為を行って、以下のような画像の生成に成功しました。
ちなみにアジア人系の可愛い顔を生み出す方法は色々ありますが、chilloutmixというモデルと、Korean Doll LikenessというLoRAを使うのが手っ取り早いです。ここではURLの紹介に留めますが、興味がある方はご自身で導入してみていただけると幸いです。
固めコラまで作る予定でしたが、長くなりましたので一旦区切ります。
次回は生成した画像を固めコラします。