【Stable Diffusion】"sd webui supermerger"でモデルのマージ＆階層LoRAマージやったメモ

2023年6月4日 22:39

前回、前々回と書いた記事への”いいね”を押してくれた方、ありがとうございました。

今回は「複数のモデルを一つにマージする」、「マージしたモデルにLoRAを階層マージする」というのをやってみた。
例のごとくネットで調べて適当にやってみた感じなのだが、マージ自体は低VRAMでもできるので、『自分のモデルを作ってみたいけどメモリ不足でちゃんとした学習をさせられないよ』って人はやってみてもいいかも。

【前提①：sd webui supermerger】

前回と同じく、Super Mergerを使う。

Super Mergerの使い方はelnaさんの記事を参考に。後述するとーふさんの記事もおすすめ。

他にも記事を見つけたので貼っておく。

【前提②：階層マージとLoRA Block Weight】

階層とはなんぞ？って人は先にU-Net系記事とかも読んどけばいい。
階層LoRAマージのレシピ作るのは後述するLoRABlockWeightPlotHelper見ればいいが、モデルの階層マージもやるなら以下記事とか見ればいいと思う。

とーふさんの記事。情報量多め。
Super Mergerの記事だけどU-Netについても書いてあるのでこっちへ貼っておく。

U-Netの記事。↓

LoRA Block Weightについて。
今回はインストールする必要はないけど(多分)一応貼っておく。

LoRA Block Weightとは何か？理解するには以下記事を。

【実証①モデルとモデルのマージ】

モデルは階層とか気にせず単純にマージした。
今回使用した4種類のモデルと結果はこちら。↓
(各モデル製作者様に感謝いたします。)

https://civitai.com/models/22294/high-quality-cgmix

Negative prompt : EasyNegative, (worst quality:2), (low quality:2), (normal quality:2), painting by bad-artist,(bad_prompt_version2:0.8),
ネガティブプロンプトはこれらのものを使いつつ、必要なものを都度追加する感じ。

masterpiece, (best quality,high resolution),(3D portrait,3D rendering),cinematic composition, depth of field, solo focus,octane, unreal, girls,red eyes, solid eyes, wide-eyed, eyelashes, horror theme, fangs,head tilt, facing viewer,witch hat,eye glasses, twin braids, black hair, long hair ,huge breasts , blood, black cloak,bird,Red Moon, flower,floating hair,

(masterpiece, best quality,high resolution),(3D portrait,3D rendering),cinematic composition, depth of field, solo focus, astronaut sitting in a field of yellow flowers with resting on the ground, gloves, yellow flower, black gloves, spacesuit, science fiction, sunlight, pale blue hair, yellow eyes, looking at viewer

masterpiece, (best quality,high resolution),(3D portrait,3D rendering),cinematic composition, depth of field, solo focus,octane, unreal, portrait of Mads Mikkelsen from Hannibal posing in a dark studio,(blood),smile, (rim lighting,:1.4) two tone lighting, sharp focus, teal hue, dimly lit, low key,floating hair,looking at viewer,

【実証②モデルにLoRAを階層マージ】

①で作ったマージモデルにLoRAを階層マージしてみた。
ダウンロードしたLoRAと、以前いくつか作ってたまたま出来た自作のオイルペイント系LoRAをマージする。
絵柄系は強く使うと顔が変わってしまったのでほんの少し混ぜてみる。

ダウンロードしたLoRAに以下のプリセット指定をしてモデルとマージ。
NF:1,1,1,1,1,1,1,1,0,0,0,1,1,1,1,1,1
※やもぺろさんのレシピをお借りしました。

(masterpiece, best quality,high resolution),(3D portrait,3D rendering),1girl, solo, best quality,masterpiece, super fine illustration,(death stranding,luminous cyberpunk mask,),assault rifle, wearing black techwear jacket and orange trousers with buckle and tape,ruined city,(rim lighting,:1.) two tone lighting,It is a dynamic and attractive work that skillfully uses light and shadow to create depth and depth,

masterpiece, (best quality,high resolution),(3D portrait,3D rendering),portrait of Hugh Dancy from Hannibal posing in a dark studio,((small eye,blood)),(sallow face),eyewear,(rim lighting,:1.) two tone lighting,teal hue, dimly lit, low key, solo focus,octane, unreal,sharp focus, floating hair,looking at viewer,

【まとめ】

以上が色々マージ作成した報告。
配布されているモデルのみを使うのではなく、こうして自分好みのモデルを作れるのもやってみると面白い。
ちなみに、AIイラスト作るときに作成した画像を商用利用したい人も多いと思うがライセンス違反はくれぐれも注意。

あと当たり前のことだが、元モデルやLoRAを作ってくれた方へちゃんと感謝しましょう。例えばツイッターやYouTubeなどで利用したなら、自分のマージモデルであってもソースモデルを記載するのは礼儀かなと。
ライセンスがcreativeml-openrail-m、もしくはCIVITAIのUse the model without crediting the creatorが〇となっていても、ソースモデルは記載しておくほうが作成してくれた方へのお礼にもなると思うので。

今回も参考になった記事などを再度記載しておく。
この記事や、引用元記事が参考になったらいいねを押していただけると嬉しいです。
ここまで読んでいただき、ありがとうございました。