Stable Diffusion 3 Mediumをローカル環境に導入
日本時間で６月１２日、遂にSD3Mediumが商用利用に関しては制限付きながらオープンソースで公開されました。
Stable Diffusion 3 シリーズの最新かつ最も洗練されたモデルである Stable Diffusion 3 Medium をご紹介します。
— Stability AI Japan (@StabilityAI_JP) June 12, 2024
このリリースは、生成 AI の進化における大きなマイルストーンであり、オープンな生成AIに対する私たちの取り組みを継続するものです。
詳細は、こちらをご覧ください。… pic.twitter.com/01ZoA9UW8p
発表以来OpenAIのGPTシリーズのように、料金を払ってAPI経由で使用するしか方法がなく、
正直な処、昨年来StablityAI社の累積赤字問題なども報道にあったことから、オープンソース化されるかを不安視しておりましたが、これで世界中のユーザーが無料で使用できる道が開かれました。
SD1.5やSDXLと同様、これから世界中のエンジニアたちが研究、開発を進めてくると思われるので、それらの開発結果を私たちが利用できる日も、また近いと思います。
ComfyUI用のサンプルノードも同時に公開されていたので、早速ComfyUIでテストしてみました。
これまでにないSD3の特徴として、「Text Encorder」という恐らく文字生成に関わるローダーを使用する点にあります。
メインのベースモデルも当然用意されていますが、Text Encorderを最初から内包したモデルもあるようです。
ここではとりあえず、普通に標準モデルを使用し、Clip Encporderはそれぞれ３個を使用しました。
これらのファィルは、下図のように"\ComfyUI_windows_portable\ComfyUI\models\clip"に保存します。
KSamplerの設定としては、下図が推奨設定と思われますが、サンプラーの相性はかなり神経質なようで、愛用しているDPMPP 3M SDEなどをテストしてみた処、全く使い物になりませんでした。これから、新しいサンプラーの開発にも期待したいところです。
プロンプトはこれから色々テストしていきたいと思いますが、まだ登場したばかりなので、LoRAやControlnetも当然使用環境は整っておらず、これからそれらの開発をゆっくり待ちたいと思います。
