web-ui-foregeでFP8を使用してVRAM消費を減らせる！検証
<追記>この記事を作成した後に、FP8の内容について詳しく記載したものを作成しています。参考にしてください。
先日、上のissueでFP8についての議論がありました。
そこで、forgeでFP8を使用していることについての質問がありました。
まあ、そこでは「使えない」との質問でしたが。。。。
ただ、その議論を追っていくと、「使えない」から「プレビューが表示されない」に変更されました。
したがって、「使えることは使える」状態になったと思われます。
され、設定で「ＦＰ8」と調べると、以下のように項目がありました。
前回の記事でFP8について調べたことを記載しています。
ここで分かることは、
①使用VRAMが減少する
②画像の質は維持もしくは向上する
③時間は少し増えるかもみたいなところです。
FP8の使用の注意点としては、設定部にも記載されていますが、pytorchのバージョンが2.1.0以上必要ということです。
ローカル環境でforgeをインストールしている場合はデフォルトでpytorchのバージョンがそれを満たしています。
次の段階の話になりますが、ローカル環境の場合でも、Githubのサイトの議論で、チェックを入れるだけでは機能しないとありました(再起動を含む)。
そこで、前回記事のきっかけとなったAnimateDiffの作者さんが以下のようにコメントされていました。
訳：コマンドラインに「 --unet-in-fp8-e4m3fn 」を入れる
以上の内容に関して、ローカルで試してみました。
何もしていない場合
＜プロンプト＞
1girl,Valentine, spy x family, chibi, laughing, charisma:1.3, (field of flowers,flowers petals), pop art pose, ultra detailed,blouse, cardigan,upper body,
best quality, masterpiece
AND_SALT ((Valentine's day:1.2):0.6
AND_TOPK (unhappy:1.1):0.8
Time taken: 16.9 sec.
＜FP8にチェックを入れた場合＞
Time taken: 17.4 sec.
変化なし。
再起動して使用してみても同じ結果。
＜コマンドラインに文言を追加した場合＞
これは、web-uiを使用しているときと同様に
COMMANDLINE_ARGS=の後に入れます。
これは「webui」フォルダー内の「webui-user.bat」で行います。
立ち上げたときのコマンドプロンプトで、今のコマンドラインが記載されていることが確認されました。
先ほどのところにチェックが入っているのを確認して生成してみます。
Time taken: 15.6 sec. ※他の生成だとTime taken: 16.6 sec
ということで、使用VRAM量が減少していることが分かります。
前：12.1 ⇒ 9.1GB
無事にFP8が適応されたということでしょうか。
＜補足＞
Paperspaceの場合、デフォルトで使用しているフォーマットだと対応していないものになっていますので、そのあたりの変更も必要になってきます。
以下の記載のところですね。2.0.0になっているので、使えません。
このあたりは追加で検討していますが、うまく行ってません。。。