WaifuDiffusion 1.5 beta3が公開されたよ
こんにちは！なかゆーです！
画像生成AIの黎明期より開発が続けられている WaifuDiffusion 1.5 beta3が2023/5/15に公開されました。
WaifuDiffusion (以下WD)をご存知でしょうか？
WDが登場したのはあのNovelAIよりも古く、初期バージョンは2022年9月に公開されました。当時はアニメ調イラストが出せるStableDiffusionのモデルはWDくらいだったのではないでしょうか。
NovelAIが登場したとき「次のWDはNovelAIを超えるぜ～」っていう勢いで開発が進んでいたので、個人的には期待しているプロジェクトです。
WD 1.5 beta3は StableDiffusion 2.1(768)をベースとして、多数の画像を追加学習させファインチューニングしたモデルです。最近の主流はいろいろなモデルをマージしたマージモデルですが、WDはマージモデルではなく、学習により強化したモデルとなっています。
マージモデルはこういったベースとなるモデルがあって初めて作れるものなので、ベースの部分の性能が上がることで、今後、ここから派生するマージモデルの性能向上も期待できます。また、マージモデルは特定の絵柄に偏り、出力できるバリエーションが少ない傾向となる気がするので、できればファインチューニングモデルを使いたいと思っています。
WDはライセンスが Fair AI Public License 1.0-SD となっており、商用でも自由に使うことができるのも良いところです。
そして、WD 1.5 beta3の特長として、4種類のaeathteticモデルも公開されています。
4つのモデルは、Illusion、Radiance、Ink、Mofuという名前がついており、絵柄にそれぞれ特長があります。
それぞれの出力を見て見ましょう。
Illusion
Illusionは立体感のあるイラストになります。汎用的に使えるモデルと思います。
Mofu
mofuは淡い水彩ような感じのイラストが作れます。ふわっとした絵柄が作れそうです。
Ink
Inkは平面的で線が強めなイラストになります。コミカルで可愛らしい感じにできそうです。
Radiance
Radianceは、Illusion+Ink+mofuを合わせたような感じでしょうか。Illusionほど主張しない優しい感じの絵柄ですね。
どれも他のモデルにはない特長のある絵柄が出るモデルで、発色も綺麗でいいと思います。
4つのほかにaeathteticなしのモデルもあるのですが、そちらは試していません。
それから、ご紳士の方々はNSFWが気になると思いますが、WDでそちら方面はあまり試したことはないので、皆様の研究報告をお待ちしてます。
最後にWD1.5の入手方法です。
モデルはこちらのサイトで公開されています。
また、ご利用の際は以下のリリースノートのページをよく読んでください。プロンプトや各種パラメータの例、ライセンスなどが載っています。
使い方は、基本的にはほかのモデルと同様にsafetensorファイルをダウンロードして使います。
ただ、WD1.5はStableDiffusion 2.x系のモデルですので、StableDiffusion 1.x系のembeddingsやLoRA、Controlnetとは互換性がなく、使えませんので、 SD 2.x系のものをご用意ください。
蛇足ですが、リリースノートの最後のほうに開発環境が書かれていまして、
The fine-tune was performed using a single machine, which was equipped with eight A40s.
「ファインチューニングは、A40 GPUを8基搭載した1台のマシンで行われれました。」ですって。これを作った人たちはGPU屋さんでしょうか笑
こういうのを自由に使えるようにオープンに公開できてしまうってすごいなぁって思います。
ではまた！