新版ForgeでFLUX.1とnf4モデル使える！という話＠Paperspace

2024年8月12日 16:49

新版のForgeはFLUX.1に対応しているとの記載がありました。
すでに記事を書かれている方も多いので、こちらではPaperspaceでの使用についての結果を記載しておきます。

※BitsandBytes（ビッツアンドバイツ）て？
となりましたので、GPTに聞いてみたところ、コンピュータがデータを処理するための単位を指すとのことでした。
AIが大量のデータを処理するとき、BitsandBytesを効率的に使うことで、より早く、より少ないリソースで計算が行えるようになるとのこと。
その中にfp8やnf4とかがあるようです。
※nf4とは、モデルの重みを4ビットに圧縮して使います。通常、こうした圧縮は計算精度を犠牲にすることがありますが、NF4では特定の技術を用いて、可能な限り精度を保ちながら圧縮を実現しています。この技術により、低スペックのGPUでも、高度な画像生成を行うことができるようになります。(fp8は8ビットに圧縮しているもの)

上のサイトでは、既存のfp8モデル(e4m3fn/e5m2)よりもnf4モデルを以下の理由で推奨しています。
＜nf4モデルの利点＞
①fp8よりも生成速度がとても速い
②ベンチマーク上はfp8より良い結果を出すこともある
③モデルのサイズをより小さくすることが出来る(半分近く)
※ただ、bnb-8bitという8ビット圧縮技術はnf4よりも精度が高いので、混同しないようにとのこと

使用してみると分かりますが、生成速度がとても速くなります。
あえて採用しない理由はないと感じました。

以下、Free-A4000でのFLUX.1の使用です。

全部入りのやつで動くかどうかの試してみることにしました。

モデルダウンロードコマンドは以下
①ComfyUIのschnell版(fp8)：17.2GB

!cd /tmp/stable-diffusion-webui-forge/models/Stable-diffusion && \
curl --progress-bar -L -o flux1-schnell-fp8.safetensors https://huggingface.co/Comfy-Org/flux1-schnell/resolve/main/flux1-schnell-fp8.safetensors?download=true

②Forgeで推奨しているモデル(dev-fn4モデル)：11.5GB

!cd /tmp/stable-diffusion-webui-forge/models/Stable-diffusion && \
curl --progress-bar -L -o flux1-dev-bnb-nf4.safetensors https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/resolve/main/flux1-dev-bnb-nf4.safetensors?download=true

③Schnellのnf4モデル：11.5GB

!cd /tmp/stable-diffusion-webui-forge/models/Stable-diffusion && \
curl --progress-bar -L -o flux1-schnell-bnb-nf4.safetensors https://huggingface.co/silveroxides/flux1-nf4-weights/resolve/main/flux1-schnell-bnb-nf4.safetensors?download=true

＜手順＞
最初はこんな感じの設定なので、UIで種類を選びます。

fluxを選択すると右側が変化します

A young girl playing baseball. The girl swinging a bat with both hands and hitting a ball. she gaze at a ball. in a park with sunny day. She wears baseball uniform. She is slender and has cute and beautiful face. normal anatomy.

サイズはデフォルトから変えて、1280x720にして生成してみました。
①ComfyUIのschnell版(fp8)
4step

生成時間　

vram消費

6step

生成時間

vram消費

A old lady playing baseball. The lady swinging a bat with both hands and hitting a ball. she gaze at a ball. in a park with sunny day. She wears baseball uniform. She is slender and has cute and beautiful face. normal anatomy.