Stable DiffusionのVAEとは?種類別おすすめVAEや環境構築なしでVAEを使う方法を解説!
(2023年10月30日更新)
はじめに
まずはこちらの画像をご覧ください。
左はStable DiffusionモデルのデフォルトVAEを使った画像、右はカスタムVAEを使った画像です。( 「VAEなし」と言っていますが、VAEがなければ画像は得られないので、正確には"VAEなし"ではないです)
カスタムVAEを適用した画像のほうが、彩度があるように見えます。モデルと組み合わせるVAEを変えることにより、ぼやけた画像がよりくっきり鮮やかになるといった効果が得られます。
このように、VAEはイラストの印象を決定づけます。
Stable DiffusionのVAEとは?
VAEはVariational Auto Encorder(変分オートエンコーダ)の頭文字です。
モデルが出力した情報を、人間が知覚可能な画像に変換します。Stable Diffusionにとって不可欠な技術要素です。
基本的にVAEは、LoRAやTextual Inversionsと同じようにダウンロードしてくる数百メガバイトのファイルです。ファイルの拡張子は .pt 、 .ckpt 、 .safetensors が一般的です。
Stable DiffusionにはすでにデフォルトのVAEがありますが、モデルによってはカスタムなVAEが推奨させている場合もあります。
Stable Diffusionで画像生成する時におすすめのVAE
Stable DiffusionモデルやLoRAと同様に、HuggingFaceやCivitAIにたくさんのVAEが公開されており、好きなものをダウンロードすることができます。
イラストの画像生成で人気のVAE
Clear VAE
アニメ調のモデル向けに調整されており、イラスト系の画像生成で人気を得ています。
kl-f8-anime2
SD1.5のころからある古いVAEですが、イラスト、描画系でよく使われるVAEです。
Color101
Color101 VAEは他のVAEと比べて、より高い彩度、よりHDR効果に近い色、より肌に赤みを加えることができます。濃厚な色彩がお好みなら、ぜひお試しください。
リアル系画像生成で人気のVAE
「vae-ft-mse-840000-ema-pruned」
Stability AI社が公開している代表的なVAEです。「mse」が名前に入ったVAEは実写系(リアル系)でもイラスト系でも対応ができる一般的なVAEだと覚えておきましょう。
※VAEを使う際は、ライセンサーの規約を必ずご確認ください。
HuggingFaceからダウンロードする方法
例としてStability AIが提供するVAE「vae-ft-mse-840000-ema-pruned」をHuggingFaceからダウンロードします。
1) HuggingFaceでダウンロードしたいVAEを検索します
あるいは以下のリンクにアクセス
https://huggingface.co/stabilityai/sd-vae-ft-mse-original
2) 「Files」タブをクリックする
3) ダウンロードしたいVAEファイルの下矢印をクリックして完了です。
CivitAIからダウンロードする方法
1) VAEの名前で検索
あるいは以下のリンクにアクセス
https://civitai.com/models/76118/vae-ft-mse-840000-ema-pruned
2) 下矢印ボタンを押して、ダウンロードしたいファイルを選択すれば完了です。
環境構築・GPUなしで画像生成したいなら…
Stable Diffusion web UIのクラウド版「Akuma.ai」
Akuma.aiはどんなStable Diffusionモデルを使ってでも画像生成ができるサービスです。好きなモデルやVAEを使うために環境構築やGPUは必要ありません。アカウント登録だけで、web UIのように設定を自由自在にコントロールできます。
今なら無料クレジットがもらえるので、ぜひお試しください。
サービスURL👉 https://akuma.ai/ja/
AkumaでVAEを切り替える方法
先ほどダウンロードしたVAEファイルをAkuma.aiで利用する手順を紹介します。
1) 左のメニューからモデル一覧画面(https://akuma.ai/models )にアクセスします。
2) 新たにVAEを追加したい場合は、VAEタブを選択し、右上の「VAEをアップロード」をクリックします。
3) 先ほどダウンロードしたVAEのファイルを選択またはドラッグ&ドロップし、「アップロードを開始」ボタンをクリックします。
ファイル形式は .safetensors、.ckpt、または.ptファイルのみで、最大1GBになります。SDXLのモデルはアップロードできません。
4) 右下にアップロード中のモデルが表示されるので、アップロード完了を待ちます。
5) 左のメニューから生成画面にアクセスし、VAEを選択します。環境構築なしで、VAEが簡単に利用できます。