見出し画像

SDXLのモデルを多重マージして自分好みのオリジナルマージモデルを作る

SDXLのモデルマージ事情

 Pony Diffusionのモデルマージをいろいろ試したときのメモです。

 Ponyの特徴は「人体ポーズ(おもにエッチ系)で出力できるバラエティが非常に豊富」という強烈なアドバンテージがある一方で、「絵柄が西洋風の濃いタッチ」「背景が弱い」といったデメリットもあります。

 これらのデメリットを補う手段の一つが「モデルマージ」です。

 モデルマージを行うことで、絵柄をある程度コントロールできますし、背景描写力の向上もねらえます。

 一方でPonyのアドバンテージである「構図力」ですが、マージモデルは本家よりも「バリエーションが減る」ことが多いです。
 プロンプトを組んだときに、派生モデルだとだいたい想定内のものがでてきますが、本家Ponyだと「え、こんな構図まで出せるの?」って感じでしょ
うか。

 ワイルドカードで珠玉の一枚を狙う場合は本家Ponyの方が楽しいです。 

 一方で、本家だとプロンプトやLORAの効きが強すぎて人体がグロいことになっている画像がしばしば生成されるのですが、派生モデルだと出力が落ち着いてグロい画像率が下がることも多いです。
 スッキリした絵柄で安定した画像を生成したい場合は派生モデルは有力な選択肢といえるでしょう。

 要は使いワケなので、本家と派生(マージ)モデルを適材適所で使っていくとよいと思います。

 あと、モデルマージの目的である「画風のタッチの変更」と「背景力の強化」ですが、これらはLORAでも可能です。
 LORAは適用時に強度を変更できるので、応用力という意味ではLORA適用の方がいいです。

 モデルマージの強みは「いちいち使うLORAを吟味しなくていい」「強度の微調整をしなくていい」といった、使いかっての向上による部分が大きいです。
 いくらLORAで調整可能といっても、生成するたびに組み合わせや強度を微調整するの面倒くさいですからね。



 モデルマージはWEBUIのextentionである「Super Merger」を使います。
 Super Mergerはかなり有名な拡張なので、「super merger, webui, stable diffusion」少し検索すれば解説ページがいくつか見つかるので、インストール方法や機能についてはそちらのページを参照してください。

 以下、マガジン購読者向けに、簡単なマージのやり方と、個人的な「マージするのに向いているモデルの選び方&おすすめモデル」について書いています。

ここから先は

3,818字
この記事のみ ¥ 300

この記事が気に入ったらチップで応援してみませんか?