StableDiffusionの冒険12 WebUi1111版のCKPTのマージマネージャーを試して見る。

すっかり秋ですね。朝晩は過ごしやすくなりました。
秋の夜長は趣味に没頭しやすくて助かります。(*^_^*)
というわけで、二次系StableDiffusionモデルのWaifuDiffusionとTrinartを混ぜませしてみたらどうなるのか？　という実験をしてみました。

WaifuDiffusionは2022年10月10日にバージョン1.3へのアップデートが予告されており、10月1日時点ではβ版とでもいうべきエポック５までのチェックポイントファイルが公開されています。
今回はこのWaifuDiffusionのep5とTrinartバージョン２のstep115000版を混ぜ混ぜしてみたいと思います。

まず、マージしていない２つのファイルを比較してみたいと思います。
promptなどは次の通りです。

Prompt
portrait of beautiful CG painting 8k wallpaper cool anime,
kawaii girl and ikemen boy taking a class in a school classroom
(kawaii girl and ikemen boy playing sports in school yard)
※こちらは体育の授業のpromptになります。
with perfect symmetrical face with full body with intricate human hands fingers body feet

NegativePrompt
((((mutated hands and fingers)))),((poorly_drawn_face)), ((poorly drawn hands)), ((poorly drawn feet)), fat, (disfigured), ((out of frame)), (((long neck))), (big ears), ((((tiling)))), ((bad hands)), (bad art), (((censored))),((flower)),(text title)

Step数20　サンプラー：Euler　サイズ：1024x407
Highres. fix：ON　Scale latent：OFF　Denoising strength：0.6
CFG Scale：12　seed：2480631012

WebUI 1111

Waifu ep5←教室の授業風景→Trinart v2

Waifu ep5←体育の授業風景→Trinart v2

このような感じになりました。概ねWaifuDiffusionの方が大人しいというか真面目な感じですね(笑)　Trinartの方はいかにも漫画っぽい印象です。
さて、この2つをベースに３つの中間チェックポイントを作成してみました。

ep5が70のTrinartが30。ep5が50のTrinartが50。ep5が30のTrinartが70。
結果はこちらになります。

それぞれの授業風景

それぞれの体育風景

このような結果になりました。
ご覧のように、チェックポイントファイルを加算マージするとかなり理想的な中間チェックポイントとして機能するようです。

結果としては50：50の時に登場している人物の特徴はTrinartの方によりつつも雰囲気としてはep50の真面目さのようなものも感じられるというところでしょうか(笑)

StableDiffusionには極めて多くの変数がありますが、さらにチェックポイントのブレンド具合まで考慮する必要が出てきたかもしれません。
今はまだ黎明期であり過渡期なので、これという方法に絞るのはなかなか難しそうです。
おまけに、本家のStableDiffusion1.5やさらにその先のバージョン2や3も見え隠れしていますしね。

今後もまだまだ楽しめそうです。
あとは噂にちらほらと聞こえてくる、NovelAIのストーリー反映モード。これが1111やStableDiffusionに搭載されれば一気に強力になりそうですね。

それでは、今回はここまでとさせていただきます。
お読みいただき、ありがとうございました！