VAEを変えたら絵柄が変わりすぎ

るぺったん

2023年5月12日 23:18

みなさん、VAEをご存知でしょうか？

AIイラストを触っているなら大体の方は知っていると思います

ただ、たまにVAE使ってなさそうなイラストが目に入ることもあるのでどういうものなのか簡単に解説してみたいと思います

1.VAEとは

まずはVAEとはなんぞやということですが、学術的な詳しい話は私も知りません

AIイラストを生成する上で重要となるのは出力の際の色や線の出方に影響するということです

こちらはVAEなしで出力したイラストになります

こちらはVAEありで出力したものです

VAEなしの場合は、全体的にくすんだ色合いをしていますね
このようにVAEの有無によって明確な違いが発生します

VAEはモデルの製作者さんのおすすめのVAEを内蔵している場合もありますが、大半は含まれていないと考えたほうが良いと思います

また、色調を変更したい場合などでもVAEの変更で可能ですのでできるだけ自分で用意するのが良いでしょう

VAEはモデルのように数は多くありません
定番と呼ばれているものもありますので迷ったら定番を使うのが無難だと思います

私のおすすめについては比較検証の後に紹介したいと思います

2.比較検証

今回は私が使っているVAEの中で比較検証を行ってみたいと思います

まずは一覧です

autoencoder_fix_kl-f8-trinart_characters.ckpt
kl-f8-anime.ckpt
kl-f8-anime2.ckpt
clearvae_main.safetensors
vae-ft-ema-560000-ema-pruned.safetensors
vae-ft-mse-840000-ema-pruned.safetensors

下記はとしあきdiffusionにあったVAEです

flat_paint_b.safetensors
flat_paint_b_v2.safetensors
flat_paint_b_v3.safetensors
flat_paint_b4.safetensors
flat_paint_b5.safetensors
proto_1_vae.safetensors
proto_2_vae.safetensors
proto_3_vae.safetensors
proto_4_vae.safetensors
proto_41_vae.safetensors

おそらくAIイラストを触っている方なら知っている定番ばかりだと思います

では、実際に比較してみたいと思います

長くなりますのでおすすめだけ知りたい人は次の項目まで飛ばして下さい

並べ見ると色の違いが分かりますね
デザインにも若干影響があります

では、続いてとしあき製VAEをどうぞ

こちらも差がはっきりと分かりますね

1つずつ特徴を見ていきたたいと思います

・autoencoder_fix_kl-f8-trinart_characters.ckpt

彩度がかなり高いです
鮮やかなアニメ系のモデルに合うと思います
ただし、色が濃くなりすぎるので注意です

・kl-f8-anime.ckpt

こちらは彩度と明度が高いです
より透明感のあるアニメ調モデルに合うと思います
ただし、色合いに若干クセがありますので使いこなすのは難しいかもしれません

・kl-f8-anime2.ckpt

先の2つに比べると落ち着いた雰囲気に感じますね
こちらはアニメ調モデルの定番VAEです
迷ったらこれでいいと思います

・clearvae_main.safetensors

線が細くかなりシャープな雰囲気になります
色合いも透明感がある感じです
私が最近愛用しているVAEになります
このVAEは繊細な画風のイラストにはぴったりだと思います

ただし、このVAEには注意点があります
配布ページにも記載がありますが、このVAEを使用すると結構な頻度で真っ黒な画像が生成されます
1111版のWebUIを使用しているかたはデフォルトのオプションではこのエラーが発生した際に処理が中断されてしまいます
つまり、複数枚出力中に1枚でもエラーがあれば全体が止まってしまいますオプションの設定を行った場合でも20枚に1枚くらいは黒塗りになる印象です

そのため、あまりおすすめは出来ないのですがこのVAE独特な繊細で透明感のある雰囲気が好きな人は使ってみて下さい！

・vae-ft-ema-560000-ema-pruned.safetensors