Pancake Mixのillustriousモデルが面白いと思った話

これまでの記事で、一つのモデルに焦点を当てた記事はあまり作成していないのですが、reForgeの記事を作成している際に、たまたまサンプラーとスケジューラーについて複数のモデルで試していたら、このモデルだけ変化が強く、面白いと思いましたので記事にしています。おすすめというわけではありませんのでご注意を。

Pancake Mixのillustriousモデルは以下のcivitaiのサイトで公開されています。

Pancake Mix - PancakeMix Illustrious | Illustrious Checkpoint | Civitai

VXP Hyperというモデルをベースに作成したもののようです。

おすすめの設定は以下と記載がありました。
DPM++ SDE
CFG 3-4
10-13 steps

推奨のポジティブプロンプト
"masterpiece, best quality, very aesthetic, absurdres,newest,ai-generated,"

＜凄いと思ったポイント＞

同じプロンプトでも、サンプラーとスケジューラーの組み合わせで、絵が全く変わる！！

＜事例紹介＞
以下のプロンプトは、TIPOで作成したものです。
※Kohya HRFix Integratedを併用しています。

1girl, 

(solo:1.1), large breasts, shirts, skirts, (sound effects:1.2), detailed skin texture, natural skin, outdoors, ^_^, belt, :d, grey skirt, backpack, holding strap, shirt tucked in, tented shirt, bag, long sleeves, black belt, collared shirt, speech bubble, medium skirt, smile, breasts, straight-on, waving arms, school uniform, day, white shirt, long hair, closed eyes, cowboy shot, white hair, facing viewer, english text, blush, pleated skirt, open mouth,

Sound effects of "shounen" and "a little bit of shit. her eyes are closed and her mouth is open, as if she is singing or dancing. she is wearing a white blouse, black skirt, and a green backpack. the background is a light blue sky with white clouds.

(best quality:1.1), (masterpiece:1.1), very aesthetic, absurdres,newest,ai-generated

推奨の設定で画像を生成すると上記のような画像が通常出てくると思います。これは、他のillustriousモデルでも近い画像になります。

このモデルはサンプラーがDPM++ SDEだと安定しているようです。他のスケジューラを使用した場合でも同じような感じになりました。

ただ、サンプラーを変えると雰囲気が変わっていきます。

例えば、安定していそうなDPM 2M Karrasだと以下のようになります。

変なもやもやが増えました。

これは最近追加されたgradient estimationです。同様ですね。

こういったじゃじゃ馬系のモデルのようですが、たまたま遊びでサンプラーとスケジューラーを色々と組み合わせていたら、以下のようなのが出てきました。

※プロンプトは常に同じです。

改めて最初の設定の画像を下に提示しておきます。
比較すると、めちゃくちゃ背景の文字が増えています。これらは、サンプラーとスケジューラーとシード値以外は全て同じ設定で生成しています。

効果音的な文字を出すのは、Loraでもありますが、今回はそれなしで、サンプラーとスケジューラーを変えるだけで大量に出てきたというものです。

同じプロンプトで、サンプラーとスケジューラーここまで違うものになるというのは非常に興味深いです。

下のは、CFG値やステップ数を変えてみたものです。
この記事を作成するために、設定を調整していたら、このモデルに関しては、文字の量の傾向はCFG値やステップ数で変動することがわかりました。

同じサンプラーとスケジューラーの設定を他のillustriousモデルにも試してみましたが(10個ぐらい)、残念ながら同じような変化は再現はしませんでした。

これがベースにしたモデルの影響かもしれませんが、モデルによる個性のようなものなのかもしれません。
今回の事例を経験して感じたこととして、気に入ったモデルがある場合に、reForgeでサンプラーとスケジューラーでXYプロットを作成して試してみると面白い発見がありそうだなと思いました。

この記事では、今回のサンプラーとスケジューラーの設定について記載しませんが、reForgeでXYプロットすれば分かります。