reForge:dev_upstreamのインストールコマンドとコントロールネットのプリプロセッサーの動作確認となんだかVRAM消費が低くなった件＠paperspace(2024/10)

先日、paperspaceのコンテナを作成したのを受け、インストールを簡便にする方法について再検討しました。
また、後半にコントロールネットのプリプロセッサーの動作確認をしています。
基本的に、このコンテナの使用で行うこととしています。

一応以下の3つの手順で起動することが出来ました。

インストールコマンド

①追加のpythonモジュールのインストール
多分いらないモジュールもインストールしていると思われますが、そのままwebuiを立ち上げようとすると無理でしたので。。。
deepspeedはインストール時にエラー画面に出てきたのでアンインストールしています。

!pip uninstall -y deepspeed
!pip install xformers Pillow blendmodes clean-fid diskcache einops facexlib fastapi>=0.90.1 gradio==3.41.2 inflection jsonmerge kornia lark omegaconf open-clip-torch pydantic piexif psutil requests resize-right scikit-image>=0.19 tomesd transformers==4.40.0 pillow-avif-plugin==1.4.3 openai-clip spandrel insightface basicsr

②reForgeのインストール

%cd /tmp
!git clone --branch dev_upstream https://github.com/Panchovix/stable-diffusion-webui-reForge.git

③reForgeの起動コマンド

%cd /tmp/stable-diffusion-webui-reForge
!python3.10 launch.py --enable-insecure-extension-access --share --gradio-queue --xformers --pin-shared-memory --cuda-malloc --cuda-stream

その他、モデルやコントロールネット、拡張機能などは追加でインストールします。

モデルとかは格納場所は同じなので過去記事の内容を使用するなどして下さい。

VRAM消費について

このDev_upstream版を使用してみて気がついたのですが、VRAM使用が低いですね。
SDXLで1024x1024の解像度で作成した画像が以下です。

この数値はfp8にしていない状態でのものですが、以下に2か月ほど前に計測した数値がありますが、同じ条件なのですが、以前のreForgeはSysが11GBぐらいになっていました。
追加で、以下のリンクにあったTAESDにしてもVRAMは変化なく、fp8はうまく設定出来なかったのでこれ以上のVRAM削減は出来なさそうです。

コントロールネットのプリプロセッサーについての検証

せっかくなので、上から順に全て試してみた結果(Previewのみ)
※revision,reference onlyは試していない。
エラーで動作しないものは以下の5個でした。
nomal bae
nomal bae variant
impaint only lama variant
impaint only lama
depthanything v2

コントロールネットのdepthanything v2については、モジュールが無いみたいなエラーが出てきたので、修正できるかなと思い、いくつか試してみたのですが上手くいきませんでした。。。。
＜参考：試した内容＞
一時ディレクトリに、depthanything v2をgitcloneする
ini.pyを追加する
sys.path.append()で追加

日ごろ使わないプリプロセッサーも多く、新鮮な感じでしたので、気分転換にどうぞ。