2秒でStable Diffusion 3に対するあなたの一番の疑問を解消するぞ!(SD3の説明、使い方とかもあるよ)
※ 本記事の画像はすべて Stable Diffusion 3 Medium で作成しています
Q.
SD3にしないとヤバいですか!?
SDとSDXLはオワコンですか!?
A.
ぜんぜんヤバくないよオワコンじゃないよ
以上です
ありがとうございました
というわけで2024年6月12日にモデルの配布がされた Stable Diffusion 3 Medium について
そもそも 3 とか Medium って何?とか
どうやって使うの?みたいな話です
モデルのダウンロードはこちらからできます
"Stable Diffusion" って何?
画像生成をするモデルの規格の名前?みたいな?
その規格にもとづいて作られたベースモデルから派生してみんなでいじくりまわしたものが、普段みなさんが使っているいろんなモデルです
Stable Diffusion "3" って何?
それはもちろん Stable Diffusion 1.X、Stable Diffusion XL (SDXL) につづく3個目の Stable Diffusion シリーズで…
というのは嘘です
Stable Diffusion シリーズにはだいたい以下のバリエーションがあります
Stable Diffusion 1.X (2022年8月~)
いわゆる SD と呼ばれてるやつは大体これ
Stable Diffusion 2.0 / 2.1 (2022年11月 ~)
ぜんぜん普及しなくて使ってる人泣いてた
Stable Diffusion XL (2023年7月 ~)
SDXLと呼ばれしもの
Animagine XL 3.0 と Pony Diffusion V6 XL のおかげで割と流行ってる
Stable Diffusion 3 (2024年4月 ~)
今回配布されたやつ。令和最新版
う~んややこしい
あと兄弟に Stable Cascade とかもいますが失踪してしまったようなので忘れてください
これらの世代ごとに中の仕組みとか色々変わります
だから LoRA とかなんかいろいろが使えなくなる!
仕組みが違うので生成ソフトも対応されないと使えません
(2024年6月13日現在 ComfyUI のみ対応している。webui はまだ)
Stable Diffusion 3 "Medium" って何?
Stable Diffusion 3 の中に、なんとさらにバリエーションがあります
違いはパラメータ数(戦闘力みたいな)
大きいほど強いけど、動かすのにハイスペックなPCが必要になります
配布されたのは Medium なのでそこそこのPCあれば動かせるって感じですね
設定にもよりますがVRAM 8GBあれば動かないこともなさそうな気がする
(SDXL よりちょっと小さいぐらいらしい)
おそらく以下のバリエーションがあります
Stable Diffusion 3 Medium
戦闘力 20億 (2B)
今回配布されたやつ
一般のご家庭で動かせるレベル
Stable Diffusion 3 Large
戦闘力 80億(8B)
Stability.ai社の公式サービス経由じゃないと使えない
RTX4090 レベルがあれば動かせるらしい
Stable Diffusion 3 Ultra
戦闘力 不明
Large 同様に公式サービスでしか使えない
謎だけど多分すごい
Stable Diffusion 3 Small?(名称不明)
戦闘力 8億(800M)
最初のリリースに存在が示されてるけど、その後続報なし
存在しないかも?
ちなみに SDXL の戦闘力は26億(2.6B)らしい
でも戦闘力20億の SD 3 Medium のほうが余裕で強いらしい
筋力では負けてるけど "技" とか "スキル" で勝つみたいなの
少年漫画でよくあるよね!
で、Medium 以外のやつは配布されるの?というのは多分不明です
(知らないだけかも)
どうやって使えばいいの?
現時点(6/13)でローカルで扱うには
ComfyUI か StableSwarm を使うしか多分ない!
ComfyUI で使う場合は
ComfyUI をインストールする
ここの Direct link to download 押してダウンロードされたの実行したら終わるらしいこのファイル(sd3_medium_incl_clips_t5xxlfp8) をダウンロードして ComfyUI の models/checkpoints フォルダに入れる
ワークフローファイルをダウンロードして
ComfyUI の画面にドラッグアンドドロップするか Load ボタンを押して読み込む
(↓のじゃなくて公式の配布しているワークフローファイルを使う場合はモデル名が微妙に配布されてるものと違ってるので注意!)
けどそう遠くない未来にみんな大好き stable-diffusion-webui で使えるようになると思うので、それまで待ってるのがよいと思います
ちょっと試してみたいぐらいの場合は公式のお試し用環境(無料)があるのでそれを使おう!
混んでないときは結構快適です
https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium
幣 Discord サーバーでもプロンプト盛り盛り機能付きの生成用ボットを動かしてるのでこちらでもお試しいただけます
で、早めに使ったほうがいいの?
半年ぐらいは記憶から抹消しておいて大丈夫です
この記事を読んでいる人は多分AIイラストと呼ばれる系統の画像を生成したいタイプの人がほとんどだとおもいます
が、その方向性で実用的になるのは早くても数か月はかかる!はず!
過去の Stable Diffusion シリーズでも国内外で普及するまで時間はかかりました(SD1系でも2~3か月、SDXLは半年ぐらい)
世代ごとの最初のモデルは様々な表現(写真とか絵とかロゴとか)ができるように作られているというのもあって、前世代のイラスト専用に魔改造されつくしたモデルには勝てない!
結局、前の世代を明確に超えてる感がすごいイラスト系モデルを誰かが作らないと別に流行らないとおもわれます
逆にアニメ絵のイラスト系でない方面では全然使える!気がする!(Midjourney とか DALL-E みたいな方向性)
商用利用ができるとかできないとか言われてるのどうなの?
なかなかややこしいので国内外で結構みんな混乱してるみたいです
かなり自信ないので間違ってても許して!
これに関する内容は、
Stability AI Non-Commercial Research Community License
Creator License / Enterprise License
です
自分の認識だと
モデルとかソフトウェア?の商用利用は基本的に禁止
SD3を使って第三者が生成できるようなサービスやアプリを作ること?
つまりほとんどの人には関係ない気がする
Creator License を取得すれば上記の商用利用禁止が緩和される
(=小規模の生成サービスが提供できるようになる?)プロの画家、デザイナー、開発者、AI狂い向けとされている
ライセンスページの記載的には収益100万ドル未満、資金提供100万ドル未満、月間アクティブユーザー100万人未満が対象らしい
あと月産6000枚が目安とかなんとかも書いてある
Enterprise License を取得すれば無制限の商用利用が可能になる?
そして、一般的に一番気になる生成した画像の商用利用について
Stability AI Non-Commercial Research Community License に以下の記載があります
これらの内容から考えると、モデルの出力(≒画像)はそもそもライセンスの対象外になるんじゃないか?とおもってます
(ただしモデルの出力を使って学習したモデルは Derivative Worksになるからライセンスの対象)
だから99.99%の人は気にしなくていいんじゃない?と思うけど
わたくしは専門家ではないのでわかりません
そもそも Creator License の適用範囲が SD3 の場合だけ異なるのかな?
正直 FAQ 見てもよくわからん!
不安な人はお布施と思って Creator License に申請するのもよいでしょう
(審査とかなく個人情報とメールアドレス入力して金払って終わりだけど)
詳しい人よろしく!
てか公式がなんかわかりやすい説明して!
まとめ
なんだかんだ新しいのも配布してくれてありがとう
𝓣𝓱𝓪𝓷𝓴 𝔂𝓸𝓾, 𝓢𝓽𝓪𝓫𝓲𝓵𝓲𝓽𝔂.𝓪𝓲. 𝓑𝓘𝓖 𝓛𝓞𝓥𝓔