「Stable Diffusion」の呪文(14) vaeファイル

vaeとは

　vaeは、Variasional Auto Encorderの略で、学習した元画像を再現するためのアルゴリズム。しかしstable diffusionではほとんど作成されたイメージの彩度と精度にしか影響しないようだ。特にアニメ系モデルの場合、ほぼ彩度にしか影響しない。modelによってはvaeファイルを同梱していないので適切に指定する必要がある。またvaeファイルを差し替えることにより色合いを変化させることが可能。

vae未適用 色飛びが起きる場合も

vae適用後

　古いファイルがvae.ptの拡張子で提供されているもののWindows Defenderがトロイとして検出してくれるのでいっそのことsafetensorsに変換してみた。safetensorsは従来のpt(pickle)フォーマットに比べるとロードが速い変わりに融通が利かないが、ptフォーマットはスクリプトが埋め込める仕様なので誤検出される可能性も高い。その点safetensorsの方が安全。

pt形式のvaeファイルをsafetensorsに変換してみる

　このツールを起動して、vaeの拡張子をptからckptに変換して、フォルダごとckpt2safetensorsすれば終わる。インストールの方が時間がかかる。変換する前はフォルダごと除外しておかないと弾かれる可能性があるので注意。

　Textual Inversion(embeddings)のptファイルは変換できなかった……細部がckptとは違うらしい。

　ついでに確認したところ、以下のvaeファイルのsha256は全部同じ。つまり全部同じファイルだな。全部NAI Leak？

• anything-V3.0.vae.pt

• anything-v4.0.vae.pt

• Counterfeit-V2.5.vae.pt

• orangemix.vae.pt

　ckptに関しては、専用のコンバーターがいくつかあるので適当なのを探して使った方が良い（モデル本体にゴミと欠落があるので、その部分を修復してfp16-noema. safetensorsで吐きだしてファイルサイズを小さくした方が画像生成をするだけなら早い）