今話題の 新・SDWebUI『Forge』ってなに？⇨ 実は、導入するだけで生産性が激増するやばいツールです... / Stable Diffusion WebUI Forge を徹底解説！
皆さんこんにちは！今日Controlnetの開発者である、lllyasviel（イリヤスフィール）氏がStableDiffusion用の新webUI「Stable Diffusion WebUI Forge」を公開したと話題になりましたね！
ですが、実際にどんなものか、「A1111版」とどんな違いがあるのか、どんな点が優れているのかわからないことが多いですよね。
こちらの技術を一言で言えば、「少ないVRAMで実行できる高速化したStable Diffusion WebUI」ということになります！
具体的には『8GB程度のVRAMの場合、約30～45%の高速化が見込めて、VRAMが節約できるため CUDA out of memoryエラーを起こさずにアップスケールで 2倍から3倍ほどの画像を生成できる』といった形になります！
12GBくらいのVRAMを使用している方ですと今までできなかった SDXL Refiner の利用ができるということも報告されているみたいです！
実際にこの技術、乗り換えたいという人も多く、WebUIと同じ機能のままなのに生産性がとても上がったり、他にも特殊な便利機能が追加されていたりなど、知らないとヤバイ技術であるとも言われています。
今回はそういった疑問を解消するためにこちらのStable Diffusion WebUI 『Forge』という素晴らしい技術について、葉加瀬がわかりやすく噛み砕きながら詳しく解説して行きたいと思います！
おそらく、『Forge』の網羅的な日本人で解説記事を出したのは私が最初なので、変わった点などがあれば記事を更新したり補足記事を出したりしようかと思います🙇♀
『１万円』以上の ＡＩ知識 が 『980円』で学べる。
Note メンバーシップ - あいラボ で『お手軽＋お得な』プロの情報収集を。
AIの情報って難しかったりよくわからなかったりしますよね。しかも最近は怪しいものも多い…
私の『Note メンバーシップ - あいラボ』では、実際に複数のＡＩプロジェクトに参画しているノウハウを基にした最新＋プロ視点の生成AI情報を、月980円という本一冊分よりも安い料金で分かりやすく見ることができます。
実際、生成AIの情報記事はとても高く、私のNote メンバーシップと他のサービスを比較すると以下のような違いがあります。
Tips やココナラ等：1万円 ~ 5万円以上（１ジャンルのみの料金）
あいラボ：月額 980円 （さまざまなジャンルのAI記事が読み放題）
生成AIについてもっと知りたいと言う皆さんの思考はとても素晴らしいです。
私も、生成AIをいろんな人にに知ってもらいたいという思いから、高校生でも出せる金額ということでこのサービスを運営しておりますので、ぜひ私のメンバーシップで様々な知識を吸収して行ってください。
日本は今後、人口減少でもっと一人一人の生産性が重要になってきます。
私や皆さんの成長が、必ずこれから生まれてくる子供たちのためになります。
古い価値観の人間として時代に取り残されたくない方、生成AIについて勉強してもっと価値のある人間になりたい方はぜひ以下のリンクからメンバーシップに登録して私の記事を読み漁ってみてください。
ただし、ご入会するかどうかは皆さんの自由意志に委ねますので、ご自身で決めてもらって大丈夫です。
それでは、つづきの解説を行っていきます！
新『SDWebUI - Forge』とは、実際にどのような技術なのか？
先ほどもお伝えしたとおり、こちらの技術を一言で言うと「少ないVRAMで実行できる高速化したStable Diffusion WebUI」ということになります！
今まで高画質化やアップスケールなどを使用したかったけどvramが足りなくてできなかったというユーザーにとってはすごく朗報ですよね！
こちらの画像を見ていただければ分かるかと思うのですが、このように画面や設定などは元のA1111版 SDwebUIとほとんど変わりません！
つまり、見た目は殆んど変わらないのに追加の機能や画像生成の速度などいろいろな恩恵が受けられるということになります！
これはもうただのSDwebUIのアップデートみたいな感じですよね...！
実際にどのくらい速度が速くなるかということに関しては公式のページで以下のように解説されています！こちらについても私が詳しく噛み砕いて説明して行きますのでご安心ください！
なお、StableDiffusion についての基本的な操作や説明に関しては以下の記事で無料公開しておりますのでぜひこちらをご覧ください。
5万文字で隅々までとてもわかりやすく噛み砕いて解説をしています！
おそらくこちらを読めばStableDiffusion についての基礎的な理解はすべて網羅できるかと思います！
アップスケールや Controlnet を使用する際にとても高速化が目立つらしいです！
こちらは実際に、SDXLを使用して作成してみた例のようです！
作成自体は単純なプロンプトで行ったらしいですが、8GBのVRAMだと50%くらい早くなっているみたいですね！
ちなみに、単純なプロンプト＋アップスケールだけの場合は 一枚あたり約5秒ほど短縮できているみたいです。
つまり6枚の生成ですと30秒ほど短縮できるみたいですね！
ただ、真価を発揮するのはコントロールネット・アップスケーラーを併用したときのようなので、例えば100枚とかで画像生成するとしてもかなり時間の短縮につながるかと思います！
つまりは画像生成の量が増えれば増えるほど時間短縮の恩恵を受けられるようになります！
さらにGoogleColabなどのクラウド上で実行できるノートブックがリリースされれば、私のこちらの投稿でも説明している方法でクラウド環境上で一気にこちらのツールを2個から3個ほど立ち上げるということも可能です！
もし仮に一枚5秒程度の短縮だとすると100枚作れば500秒なので、 2個の立ち上げで17分ちょっとぐらいは節約できるということになります！
もし仮にこれを10日間実行したとすると、トータルで170分なので約3時間分の時間が節約できます！生産性が一気に上がりそうですよね！
特にこちらで解説しているフロントの作り方を参考にしてダイナミックプロンプトなどで画像生成をすれば多ジャンルの画像が大量に作成されますので、こちらのツールと合わせて使用することでとても効率的になります…！
早いだけじゃない！新技術「Unet Patcher」によって新しい拡張機能やControlnetが使える❗
こちらは開発者用の新しいフレームワークのようなのですが、これによって何が変わるかというと、システムの内部のコードなどがよりスマートになったおかげでさまざまな拡張機能の競合がなくなったということです。
つまりA1111SDwebUIで使用することのできなかった拡張機能や Controlnet の新機能なども使えるようになりました！
例を挙げるとこのような感じになります！次の行こちらの例のように、Controlnetをマスクした部分にだけ適用するみたいな使いかたもできるようになりました！
これとても便利です…すごい技術なのでぜひ使ってみてください...！
やっぱりControlnet周りは開発者だけあってさすがですね…
ちなみに日本語化についてもできるみたいです⭕
なお、『Forge』の特徴を具体的に羅列すると以下のような感じになります。
高速化（8GB程度のVRAMなら約30～45%の高速化が見込る）
8GB程度のVRAMならだいたい約2倍から3倍程度の高速化が見込めるとのことなので例えば1分の画像生成であれば40秒から45秒ほどで作成できることになります。
6GBのvramのような性能の低いGPUを使用すると、推論速度(it/s)が約60~75%向上する。つまり性能の低いVRAMを使用しているほど画像生成の速度が向上する。
ControlNet for SDXLを使用すると、ControlNetの最大数(OOMにならない)が約2倍になり、SDXL+ControlNetで約30~45%高速化。
高速化した分画像の細かい部分（ディテール）は甘くなる模様。
ちなみに16GBほどのvramですと約25%ほど生成時間が短縮されるとのことなので、今後Google Colab のページなどで実行できるようになれば、いつもの画像を生成が早くなってとても嬉しいですよね！
以下は実際にオリジナルとこちらの技術を比較した場合の画像になります！
8GBのvramを使用して作成しているようなのですが、確かに画像生成のスピードが上がっています。
こちらが今回のツールで生成したものになります。速度としては単純なプロンプトで生成しただけですが7秒ほど短縮されていますね！
既存の拡張機能や設定は今までのStable Diffusion WebUIお全く同じ。
こちらに関してはもともとのソースコードをすべてコピーして作成しているとのことなので設定や拡張機能は同じように使用できるとのことです。
ただし学習モデルいや拡張機能のファイルなどはインストールしたforgeに移動したりインストールすることになります。
具体的にはこちらのように今までと全く同じ設定で使用することが出来ます。拡張機能の詳細については後述したいと思います！
プロンプトの特殊の構文は今までどうりそのまま使える
Stable Diffusion WebUI Forge では以下のような特殊なプロンプトの構文をそのまま使用できるとのことです！
fantasy landscape with a [mountain:lake:0.25] and [an oak:a christmas tree:0.75][ in foreground::0.6][ in background:0.25] [shoddy:masterful:0.5]これらのような構文については私のこの記事でも解説をしておりますので、興味のある方は是非見てみてください！
このプロンプトの構文知っておくだけで、画像生成がとても楽しくなりますし、周りと簡単に差を付けることもできます！
現在発見されているバグ
ちなみに現在発見されている問題としては、このようにバッチサイズを2以上に指定してControlnetを使用すると二枚目以降にControlnetの適用が効かなくなるということです。
バッチサイズは何枚の画像を並列実行で一気に画像を生成するかというものを決める値になりますので、一枚一枚生成するようにすれば問題ないということになりますね。
つまりはプロンプトのみが反映される形で画像生成されるということを覚えておいてください！
こちらに関してはアップデートを待つしかないですね…
こちら引用元の方が問題として報告してくれたみたいなので、既に対応されたみたいです！
これの対応に関しては時間がかかると予想されていたのですが、わずか一日で対応してくれたみたいですね✨
初期バージョンをインストールしてアップデートがまだの方はアップデートすることをお勧めします！
Controlnet ネットのカスタマイズや最新機能が利用できるように。Controlnetのマスク機能、IP-Adapterのマスク機能、PhotoMakerなど…
この記事が気に入ったらチップで応援してみませんか？