Autmatic1111時代終了　Forgeの使い方〜応用まで

◆Forgeとは

Forgeとは一言で言うと、
ControlNetの作者が作成したstable-diffusion-webuiの上位互換webui
です。

建築で画像生成Aiを使用する場合ControlNetが重要という話はXの方でもよくしていますが、

ForgeはそのControlNetの作者lllyasviel さんが作成したということもあり、建築にも大きく関係するアップデートになります。

◇Forgeメリット

Forgeのメリットを挙げると、

・低VRAMのGPUでの生成時間が大幅短縮
・ControlNet for SDXLの生成時間の短縮
・ControlNetで使用できなかったInpaint(部分適応)
・新Samplerの追加
・Preprocessorの追加可能に　　　　　　　　　　　　　　　　　　　　　など

Forgeメリット

これまでGPUのスペックが低く、画像生成に時間がかかりすぎて諦めていた方にとって、非常に有益なアップデートとなります。

低VRAMのGPUでの生成時間が大幅短縮

8GB VRAMを搭載した一般的なGPUの場合:

・推論速度が約30～45%向上します。
・GPUメモリのピーク使用量が約1.3GBから700MBに低減します。
・最大拡散解像度は約2倍から3倍に増加し、OOM（Out of Memory）を回　　
　避できます。
・最大拡散バッチサイズも約4倍から6倍に拡大します。

メリット：一般的なGPUの場合

6GB VRAMを搭載した性能の低いGPUの場合:

・推論速度が約60～75%向上します。
・GPUメモリのピーク使用量が約1.5GBから800MBに低減します。
・最大拡散解像度は約3倍に増加します。
・最大拡散バッチサイズも約4倍に増大します。

メリット：性能の低いGPUの場合

24GB VRAMを搭載した強力なGPU（例: RTX 4090）の場合:

・推論速度が約3～6%向上します。
・GPUメモリのピーク使用量が約1.4GBから1GBに低減します。
・最大拡散解像度は約1.6倍に増加します。
・最大拡散バッチサイズも約2倍に増大します。

メリット：強力なGPU（例: RTX 4090）の場合

ControlNet for SDXLの生成時間の短縮

ControlNet for SDXLを利用することで、ControlNetの最大利用可能数をOOM（Out of Memory）になることなく約2倍に増やすことができ、

SDXLとControlNetを組み合わせた場合の処理速度が約30～45%向上します。

ControlNetで使用できなかったInpaint(部分適応)

inpaintにおいて、マスク画像を使用して部分的に画像を生成する作業はimg2img機能を介してのみ可能であり、Hires.fixは使用できなかったため、高品質な画像を生成することが困難でした。

ForgeではControlNetにマスク画像のアップロード部分が増え、
マスク画像を使用したinpaintとHires.fixが同時に使用できるようになりました。

個人的にもずっと欲しかった機能なので、テンション上がりました笑

Use Maskの追加

Use Mask使用時

inpaintのマスクを使用した画像生成は領域わけがはっきりしている場合に有効で、建築は内壁の変更やファサード検討など特定の領域に対しての変更が多い為重要なアップデートになります。

新Samplerの追加と生成比較

Forgeには新たに７個のSamplerが追加されています。

DDPM
DDPM Karras
DPM++ 2M Turbo
DPM++ 2M SDE Turbo
LCM Karras
Euler A Turbo

新しく追加されたSampler

以下はDPM++2M SDE Karrasと新Samplerの出力比較です。