画像生成AIの様々なモデルデータをAUTOMATIC1111版WebUIで切り替えて使う方法
最近、画像生成AIの新しいモデルデータが次々と発表されています。こうした様々なモデルデータをAUTOMATIC1111版Stable Diffusion web UIで切り替えて使う方法について説明します。
(2023/04/23追記) 他の画像生成AI用Colabノートとして、Cagliostro Colab UIを追加しました。
(2023/04/29追記) 他の画像生成AI用Colabノートとして、Vladmandic Web UI Colabを追加しました。
(2023/05/07追記) BRA(Beautiful Realistic Asians) V5を追加しました。
1.モデルデータの切り替え方法
(1) 基本コード
ベースとなるコードには、ワンクリックで起動が早いcamenduruさんのGoogle Colabノートを利用(一部改造)しています。
例えば、Stable Diffusion v1.5のコードは以下のようになります。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt
!python launch.py --share --xformers --enable-insecure-extension-access
このコードをColabノートにコピーし、GPUを選択してセルを実行し、Running on public URL:の後のリンクをクリックすると、AUTOMATIC1111版WebUIの操作画面が立ち上がります。
(2) モデルデータを変更する場合
下から2行目の
「!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt」
の部分がモデルデータのダウンロードを指示しているところで、現在は、Stable Diffusion v1.5のモデルデータのダウンロードリンク先とダウンロード後のデータの格納先が記載されています。
この行を書き換えれば、他のモデルデータに変更することができます。
例えば、Waifu Diffusion v1.3に変更する場合は以下のようになります。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.vae.pt
!python launch.py --share --xformers --enable-insecure-extension-access
今回の場合は、VAEも変更するため、「!wget」で始まる行が2行に増えています。このように、VAEやconfigを変更する場合は、「!wget」で始まる行が2行になります。
また、VAEを変更する場合は、操作画面立ち上げ後に、Settingsタブをクリックし、左側のStable Diffusionの文字をクリックして、SD VAEをAutomaticから好きなVAEに変更し、「Apply settings」のボタンをクリックしてください。
(3) 複数のモデルデータを切り替えて使う場合
また、複数のモデルデータを同時にダウンロードして、AUTOMATIC1111版WebUIの操作画面左上のStable Diffusion checkpoint欄で切り替えて使用することも可能です。
なお、単独のモデルデータをダウンロードする場合よりも少し起動に時間がかかります。
例えば、Stable Diffusion v1.5とWaifu Diffusionv1.3を切り替えて使う場合は、以下のようになります。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!python launch.py --share --xformers --enable-insecure-extension-access
今回の場合は、VAEは変更せずに、そのまま使用しています。
複数のモデルを同時にダウンロードする場合は、VAEは基本的に変更しないでください。また、configの変更が必要なモデル(Stable Diffusion v2.1やCool Japan Diffusion)は単独で使用してください。
なお、Google Colabなどの使い方がよく分からない方は、以下の記事を参考にしてください。
2.モデルデータの一覧と修正コード
下記のモデルデータの一覧から、修正コード(モデルのダウンロードを指示するコード)を以下のコードの「!wgetで始まる修正コード」の部分に上書きすると、モデルデータが変更されます。一覧から修正コードをコピーして、Ctrlキー+vで該当部分に貼り付けてください。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
「!wgetで始まる修正コード」
!python launch.py --share --xformers --enable-insecure-extension-access
また、VAEを変更する場合は、操作画面立ち上げ後に、Settingsタブをクリックし、左側のStable Diffusionの文字をクリックして、SD VAEをAutomaticから好きなVAEに変更し、「Apply settings」のボタンをクリックしてください。
なお、モデルデータの詳細は、それぞれのモデルデータの名前をクリックすると見ることができます。
Stable Diffusion v1.5
!wget https://huggingface.co/camenduru/sd15/resolve/main/v1-5-pruned-emaonly.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned-emaonly.ckpt
Stable Diffusion v2.1
!wget https://huggingface.co/stabilityai/stable-diffusion-2-1/resolve/main/v2-1_768-ema-pruned.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1_768-ema-pruned.ckpt
!wget https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference-v.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1_768-ema-pruned.yaml
Waifu Diffusion v1.3
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-3/resolve/main/wd-v1-3-float32.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-v1-3-float32.vae.pt
WD 1.5 Beta 2 & Aesthetic Ver. & Frosty Aesthetic Ver.
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2/resolve/main/checkpoints/wd-1-5-beta2-fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta2-fp16.safetensors
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/kl-f8-anime2.vae.pt
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2/raw/main/checkpoints/wd-1-5-beta2-fp16.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta2-fp16.yaml
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2/resolve/main/checkpoints/wd-1-5-beta2-aesthetic-fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-1-5-beta2-aesthetic-fp16.safetensors
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2/raw/main/checkpoints/wd-1-5-beta2-aesthetic-fp16.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-1-5-beta2-aesthetic-fp16.yaml
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2-extra/resolve/main/wd15-beta2-frosty-aesthetic-fp32.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta2-frosty-aesthetic-fp32.safetensors
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta2/raw/main/checkpoints/wd-1-5-beta2-aesthetic-fp32.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta2-frosty-aesthetic-fp32.yaml
Openjourney v4
!wget https://huggingface.co/prompthero/openjourney/resolve/main/mdjrny-v4.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/mdjrny-v4.safetensors
!wget https://huggingface.co/prompthero/openjourney-v4/resolve/main/openjourney-v4.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/openjourney-v4.ckpt
Anything V3 & Anything V4.5
!wget https://huggingface.co/ckpt/anything-v3-vae-swapped/resolve/main/anything-v3-vae-swapped.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/anything-v3-vae-swapped.ckpt
!wget https://huggingface.co/ckpt/anything-v4.5-vae-swapped/resolve/main/anything-v4.5-vae-swapped.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/anything-v4.5-vae-swapped.safetensors
Eimis Anime Diffusion_1.0v
!wget https://huggingface.co/eimiss/EimisAnimeDiffusion_1.0v/resolve/main/EimisAnimeDiffusion_1-0v.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/EimisAnimeDiffusion_1-0v.ckpt
Dreamlike Photoreal 2.0
!wget https://huggingface.co/dreamlike-art/dreamlike-photoreal-2.0/resolve/main/dreamlike-photoreal-2.0.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/dreamlike-photoreal-2.0.safetensors
Cool Japan Diffusion 2.1.2
!wget https://huggingface.co/aipicasso/cool-japan-diffusion-2-1-2/resolve/main/v2-1-2.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1-2.safetensors
!wget https://huggingface.co/aipicasso/cool-japan-diffusion-2-1-2/raw/main/v2-1-2.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/v2-1-2.yaml
Untitled:Replicant
!wget https://huggingface.co/alfredplpl/untitled-replicant/resolve/main/untitled_replicant.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/untitled_replicant.safetensors
!wget https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference-v.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/untitled_replicant.yaml
Plat Diffusion v1.3.1
!wget https://huggingface.co/p1atdev/pd-archive/resolve/main/plat-v1-3-1.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/plat-v1-3-1.safetensors
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/plat-v1-3-1.vae.pt
!wget https://huggingface.co/p1atdev/pd-archive/raw/main/plat-v1-3-1.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/plat-v1-3-1.yaml
Counterfeit-V2.0&Counterfeit-V2.5
!wget https://huggingface.co/gsdf/Counterfeit-V2.0/resolve/main/Counterfeit-V2.0fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Counterfeit-V2.0fp16.safetensors
!wget https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5_pruned.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Counterfeit-V2.5_pruned.safetensors
!wget https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5.vae.pt -O /content/stable-diffusion-webui/models/Stable-diffusion/Counterfeit-V2.5.vae.pt
!wget https://huggingface.co/datasets/gsdf/EasyNegative/resolve/main/EasyNegative.safetensors -O /content/stable-diffusion-webui/embeddings/EasyNegative.safetensors
AbyssOrangeMix3
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3_orangemixs.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AOM3_orangemixs.safetensors
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1_orangemixs.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AOM3A1_orangemixs.safetensors
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A2_orangemixs.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AOM3A2_orangemixs.safetensors
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A3_orangemixs.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AOM3A3_orangemixs.safetensors
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3A1B_orangemixs.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/AOM3A1B_orangemixs.safetensors
!wget https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt -O /content/stable-diffusion-webui/models/Stable-diffusion/orangemix.vae.pt
BRA(Beautiful Realistic Asians)V5
!wget https://huggingface.co/BanKaiPls/AsianModel/resolve/main/BRAV5finalfp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/BRAV5finalfp16.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/BRAV5finalfp16.vae.pt
AltDiffusion-m9
!wget https://huggingface.co/webui/AltDiffusion-m9/resolve/main/Alt-Diffusion-M9-fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Alt-Diffusion-M9-fp16.safetensors
!wget https://huggingface.co/webui/AltDiffusion-m9/raw/main/Alt-Diffusion-M9-fp16.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/Alt-Diffusion-M9-fp16.yaml
Pastel Mix
!wget https://huggingface.co/andite/pastel-mix/resolve/main/pastelmix-better-vae-fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/pastelmix-better-vae-fp16.safetensors
Illuminati Diffusion v1.0
!wget https://huggingface.co/IlluminatiAI/Illuminati_Diffusion_v1.0/resolve/main/illuminati_diffusion_v1.0.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/illuminati_diffusion_v1.0.safetensors
!wget https://huggingface.co/IlluminatiAI/Illuminati_Diffusion_v1.0/raw/main/illuminati_diffusion_v1.0.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/illuminati_diffusion_v1.0.yaml
!wget https://huggingface.co/IlluminatiAI/Illuminati_Diffusion_v1.0/resolve/main/embeds/negative/nfixer.pt -O /content/stable-diffusion-webui/embeddings/nfixer.pt
※モデルデータは、頻繁に更新されたり、ダウンロードリンク先が変わったりします。上手くダウンロードできない場合は、Hugging Faceのモデル紹介ページの「Files and versions」でckptデータを探して、ダウンロードリンク先を確認してください。
3.他の画像生成AI用Colabノート
参考にしているプログラムなどが変更された時に、普段使っているColabノートのコードが上手く起動できなくなることがありますので、代替手段として、他のColabノートも用意しておいた方がよいと思います。
(1) Colabで動かす Stable Diffusion
こうした画像生成AI用Colabノートとして、teftefさんの作成したColabで動かす Stable Diffusionを紹介します。
Stable Diffuson V1.5, V2.1, Trinart Diffusion , Anything V3, Cool Japan Diffusion 2.1.0, Waifu Diffusion 1.4 e1, Openjourneyなどよく使われるモデルデータが揃っており、あまり多くの機能を求めないのであれば、使いやすいと思います。
◯ 852話さんの日本初の画像生成AIイラスト集
(2) Cagliostro Colab UI
無料ColabでのSD WebUI利用規制に対応して、AUTOMATIC1111版WebUIの代わりに使えるCagliostro Colab UIを紹介します。
具体的には、最新版のCagliostro Colab UIは、stable-diffusion-webuiを削除して、 Anapnoe UIを使用するように設定されています。
Cagliostro Colab UIの使い方は以下のとおりです。
1.最初に、以下のサイトをクリックして、Colabノートを開いてください。
以下のように、Cagliostro Colab UIのColabノートが開きます。
2.次に、ランタイムのタイプをGPUに変更して、最初のセル「Install Cagliostro Colab UI」を実行します。設定はそのままで構いません。
3.その次に、2番目のセル「Download Model and VAE」の必要なモデルとVAEにチェックして、セルを実行します。複数のモデルを選択して、切り替えて使うこともできます。
デフォルトで選択できるモデルとVAEは以下のようになっています。
モデル:anything_v3_0、anime_pastel_dream、anylora、chilloutmix_ni、replicant_v2、waifu_diffusion_v1_5_e2_aesthetic
VAE:anime、waifu_diffusion、stable_diffusion
4.ControlNetを利用する場合は、3番目のセル「ControlNet v1.1」の必要なモデルにチェックして、セルを実行します。利用しない場合は、このセルをスルーしてください。
SDv1.5用のControlNet v1.1以外に、SDv2.1用とWD1.5用のControlNet v1.0にも対応しています。
5.デフォルトの設定の無いモデルやVAEを使用したい場合は、4番目のセル「Custom Download Corner」にモデル等のダウンロード先のURLを記入して、セルを実行します。デフォルトの設定でよい場合は、このセルをスルーしてください。
ダウンロード先のURLは、上記「2.モデルデータの一覧と修正コード」を参照してください。
例えば、AbyssOrangeMix3を使いたい場合は、上記修正コードのURLを参考にして、
custom_model_url:に「https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/Models/AbyssOrangeMix3/AOM3_orangemixs.safetensors」
custom_vae_url:に「https://huggingface.co/WarriorMama777/OrangeMixs/resolve/main/VAEs/orangemix.vae.pt」と記入します。
6.最後に、5番目のセル「Start Cagliostro Colab UI」を実行します。設定はそのままで構いません。
そして、「Running on public URL:」又は「Public WebUI Colab URL:」の後のリンクをクリックすると、操作画面が立ち上がります。
Promptに描きたい画像の指示を入力して、Generateボタンをクリックすると、画面の右側に生成された画像が表示されます。
(3) Vladmandic Web UI Colab
AUTOMATIC1111版WebUIの代わりに使える Vladmandic Web UIのColabノートへのリンクを以下に掲載します。
使い方は、(2) のCagliostro Colab UIのColabノートと同じです。
上記のVladmandic Web UI Colabが不調の場合は、以下のコードをお使いください。
このコードをColabノートにコピーしてセルを実行し、Running on public URL: の後のリンクをクリックすると操作画面が立ち上がります。
!git clone https://github.com/vladmandic/automatic
%cd /content/automatic/
!mkdir -p models/Stable-diffusion
!wget https://huggingface.co/BanKaiPls/AsianModel/resolve/main/BRAV5finalfp16.safetensors -O /content/automatic/models/Stable-diffusion/BRAV5finalfp16.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O /content/automatic/models/Stable-diffusion/BRAV5finalfp16.vae.pt
!python launch.py --no-hashing --share --skip-extensions
デフォルトでBRAV5のモデルデータが入っていますので、他のモデルデータを利用したい場合には、上記「2.モデルデータの一覧と修正コード」を参考に、コードの該当部分を書き換えて使用してください。
例えば、Openjourney v4を使用する場合の修正コードは以下のとおりです。修正コードが「stable-diffusion-webui」→「 automatic」に変わっていることに気を付けてください。
(今回使用する修正コード)
!wget https://huggingface.co/prompthero/openjourney/resolve/main/mdjrny-v4.safetensors -O /content/automatic/models/Stable-diffusion/mdjrny-v4.safetensors
(上記2の修正コード)
!wget https://huggingface.co/prompthero/openjourney/resolve/main/mdjrny-v4.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/mdjrny-v4.safetensors