見出し画像

2秒でStable Diffusion 3に対するあなたの一番の疑問を解消するぞ!(SD3の説明、使い方とかもあるよ)

※ 本記事の画像はすべて Stable Diffusion 3 Medium で作成しています

Q.
SD3にしないとヤバいですか!?
SDとSDXLはオワコンですか!?

A.
ぜんぜんヤバくないよオワコンじゃないよ

以上です
ありがとうございました


というわけで2024年6月12日にモデルの配布がされた Stable Diffusion 3 Medium について
そもそも 3 とか Medium って何?とか
どうやって使うの?みたいな話です

モデルのダウンロードはこちらからできます

"Stable Diffusion" って何?

画像生成をするモデルの規格の名前?みたいな?

その規格にもとづいて作られたベースモデルから派生してみんなでいじくりまわしたものが、普段みなさんが使っているいろんなモデルです

Stable Diffusion "3" って何?

それはもちろん Stable Diffusion 1.X、Stable Diffusion XL (SDXL) につづく3個目の Stable Diffusion シリーズで…

というのは嘘です

Stable Diffusion シリーズにはだいたい以下のバリエーションがあります

  • Stable Diffusion 1.X (2022年8月~)

    • いわゆる SD と呼ばれてるやつは大体これ

  • Stable Diffusion 2.0 / 2.1 (2022年11月 ~)

    • ぜんぜん普及しなくて使ってる人泣いてた

  • Stable Diffusion XL (2023年7月 ~)

    • SDXLと呼ばれしもの
      Animagine XL 3.0 と Pony Diffusion V6 XL のおかげで割と流行ってる

  • Stable Diffusion 3 (2024年4月 ~)

    • 今回配布されたやつ。令和最新版

う~んややこしい
あと兄弟に Stable Cascade とかもいますが失踪してしまったようなので忘れてください

これらの世代ごとに中の仕組みとか色々変わります
だから LoRA とかなんかいろいろが使えなくなる!

仕組みが違うので生成ソフトも対応されないと使えません
(2024年6月13日現在 ComfyUI のみ対応している。webui はまだ)

まあ気にしなくていいです

Stable Diffusion 3 "Medium" って何?

Stable Diffusion 3 の中に、なんとさらにバリエーションがあります

違いはパラメータ数(戦闘力みたいな)
大きいほど強いけど、動かすのにハイスペックなPCが必要になります

配布されたのは Medium なのでそこそこのPCあれば動かせるって感じですね
設定にもよりますがVRAM 8GBあれば動かないこともなさそうな気がする
(SDXL よりちょっと小さいぐらいらしい)

おそらく以下のバリエーションがあります

  • Stable Diffusion 3 Medium

    • 戦闘力 20億 (2B)

    • 今回配布されたやつ

    • 一般のご家庭で動かせるレベル

  • Stable Diffusion 3 Large

    • 戦闘力 80億(8B)

    • Stability.ai社の公式サービス経由じゃないと使えない

    • RTX4090 レベルがあれば動かせるらしい

  • Stable Diffusion 3 Ultra

    • 戦闘力 不明

    • Large 同様に公式サービスでしか使えない

    • 謎だけど多分すごい

  • Stable Diffusion 3 Small?(名称不明)

    • 戦闘力 8億(800M)

    • 最初のリリースに存在が示されてるけど、その後続報なし

    • 存在しないかも?

ちなみに SDXL の戦闘力は26億(2.6B)らしい
でも戦闘力20億の SD 3 Medium のほうが余裕で強いらしい
筋力では負けてるけど "技" とか "スキル" で勝つみたいなの
少年漫画でよくあるよね!

で、Medium 以外のやつは配布されるの?というのは多分不明です
(知らないだけかも)

現時点で配布されているのは一種類だけ

どうやって使えばいいの?

現時点(6/13)でローカルで扱うには
ComfyUIStableSwarm を使うしか多分ない!

ComfyUI で使う場合は

  1. ComfyUI をインストールする
    ここの Direct link to download 押してダウンロードされたの実行したら終わるらしい

  2. このファイル(sd3_medium_incl_clips_t5xxlfp8) をダウンロードして ComfyUI の models/checkpoints フォルダに入れる

  3. ワークフローファイルをダウンロードして
    ComfyUI の画面にドラッグアンドドロップするか Load ボタンを押して読み込む
    (↓のじゃなくて公式の配布しているワークフローファイルを使う場合はモデル名が微妙に配布されてるものと違ってるので注意!)

そして Queue Prompt を押せば完了だ!

けどそう遠くない未来にみんな大好き stable-diffusion-webui で使えるようになると思うので、それまで待ってるのがよいと思います

ちょっと試してみたいぐらいの場合は公式のお試し用環境(無料)があるのでそれを使おう!
混んでないときは結構快適です
https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium

幣 Discord サーバーでもプロンプト盛り盛り機能付きの生成用ボットを動かしてるのでこちらでもお試しいただけます

で、早めに使ったほうがいいの?

半年ぐらいは記憶から抹消しておいて大丈夫です

この記事を読んでいる人は多分AIイラストと呼ばれる系統の画像を生成したいタイプの人がほとんどだとおもいます
が、その方向性で実用的になるのは早くても数か月はかかる!はず!

過去の Stable Diffusion シリーズでも国内外で普及するまで時間はかかりました(SD1系でも2~3か月、SDXLは半年ぐらい)

世代ごとの最初のモデルは様々な表現(写真とか絵とかロゴとか)ができるように作られているというのもあって、前世代のイラスト専用に魔改造されつくしたモデルには勝てない!

結局、前の世代を明確に超えてる感がすごいイラスト系モデルを誰かが作らないと別に流行らないとおもわれます

逆にアニメ絵のイラスト系でない方面では全然使える!気がする!(Midjourney とか DALL-E みたいな方向性)

まあ全然十分だけどね

商用利用ができるとかできないとか言われてるのどうなの?

なかなかややこしいので国内外で結構みんな混乱してるみたいです
かなり自信ないので間違ってても許して!

これに関する内容は、
Stability AI Non-Commercial Research Community License
Creator License / Enterprise License
です

自分の認識だと

  • モデルとかソフトウェア?の商用利用は基本的に禁止

    • SD3を使って第三者が生成できるようなサービスやアプリを作ること?

    • つまりほとんどの人には関係ない気がする

  • Creator License を取得すれば上記の商用利用禁止が緩和される
    (=小規模の生成サービスが提供できるようになる?)

    • プロの画家、デザイナー、開発者、AI狂い向けとされている

    • ライセンスページの記載的には収益100万ドル未満、資金提供100万ドル未満、月間アクティブユーザー100万人未満が対象らしい

    • あと月産6000枚が目安とかなんとかも書いてある

  • Enterprise License を取得すれば無制限の商用利用が可能になる?

そして、一般的に一番気になる生成した画像の商用利用について

Stability AI Non-Commercial Research Community License に以下の記載があります

"Derivative Work(s)” means (a) any derivative work of the Software Products as recognized by U.S. copyright laws and (b) any modifications to a Model, and any other model created which is based on or derived from the Model or the Model’s output. For clarity, Derivative Works do not include the output of any Model.

https://huggingface.co/stabilityai/stable-diffusion-3-medium/raw/main/LICENSE

"Derivative Work(s)" とは、(a) 米国著作権法により認識されるソフトウェア製品の派生作品および(b) モデルの改変およびモデルやモデルの出力に基づくまたは派生したその他のモデルを意味します。明確にするために、派生作品には、モデルの出力は含まれません。

訳していただきました

a. Subject to your compliance with this Agreement, the AUP (which is hereby incorporated herein by reference), and the Documentation, Stability AI grants you a non-exclusive, worldwide, non-transferable, non-sublicensable, revocable, royalty free and limited license under Stability AI’s intellectual property or other rights owned or controlled by Stability AI embodied in the Software Products to use, reproduce, distribute, and create Derivative Works of, the Software Products, in each case for Non-Commercial Uses only.

https://huggingface.co/stabilityai/stable-diffusion-3-medium/raw/main/LICENSE

a. 本契約、AUP、およびドキュメントに従うことを条件に、Stability AIは、非商用利用のために Software Products を使用、複製、配布、および Derivative Works を作成するための非排他的、全世界的、非譲渡可能、サブライセンス不可能、取り消し可能、ロイヤリティフリーの限定的なライセンスを付与します。

訳していただきました

これらの内容から考えると、モデルの出力(≒画像)はそもそもライセンスの対象外になるんじゃないか?とおもってます
(ただしモデルの出力を使って学習したモデルは Derivative Worksになるからライセンスの対象)

だから99.99%の人は気にしなくていいんじゃない?と思うけど
わたくしは専門家ではないのでわかりません

そもそも Creator License の適用範囲が SD3 の場合だけ異なるのかな?
正直 FAQ 見てもよくわからん!
不安な人はお布施と思って Creator License に申請するのもよいでしょう
(審査とかなく個人情報とメールアドレス入力して金払って終わりだけど)

詳しい人よろしく!
てか公式がなんかわかりやすい説明して!

全然わからない。俺たちは雰囲気で画像を生成している

まとめ

なんだかんだ新しいのも配布してくれてありがとう

𝓣𝓱𝓪𝓷𝓴 𝔂𝓸𝓾, 𝓢𝓽𝓪𝓫𝓲𝓵𝓲𝓽𝔂.𝓪𝓲. 𝓑𝓘𝓖 𝓛𝓞𝓥𝓔

いいなと思ったら応援しよう!