【自作LoRA】自作のキャラLoRAと服LoRAを同時に使用してイラストを生成する②【Stable Diffusion】

zetaと申します。今回は自作した服LoRAを使用して生成するイラストの質を高めるために試した事をまとめてみました。
正直なところ新たな知見は得られませんでしたが、服LoRAの生成方法にある程度自信が持てるようになったので、モチベ向上も兼ねて記事にしようと思います。

やったこと

・服LoRAの作成時に教師画像を増やす
・拡張機能を試してみる
・キャラLoRAと組み合わせてイラストを生成する

服LoRAの作り方

前に書いた記事で経験則に基づいた服LoRAの作り方をまとめています。今回も同様の方法で作成→生成しています。

服LoRAの作成

今回作成する衣装LoRAはドルフィンウェーブの制服です。（前にも作ったことがあるのですが、精度が悪かったので作り直しです）
既にキャラLoRAは作成しているので、制服のLoRAを作成して組み合わせることで以下の画像を再現するのが目的です。

ドルウェブの推し　住之絵紫苑です

教師画像枚数は100枚で作成しています。（前回25枚）

本当はキャラの顔を削除した方が良いのですが、教師画像流用しているのでそのままです

合計step数は6000～8000程度だったと思います。

ちなみに、私は画像のトリミングにペイント３Dを利用しているのですが、記事書いている途中にこんな案内が…

もっといい方法あると思うので調べます…

キャラLoRAと組み合わせて生成

とりあえず作成した服LoRAをキャラLoRAと合わせて生成してみました。
服LoRA側のプロンプトからは学習の際、全ての画像に追加したタグは指定せずに、「school uniform」のような元画像が持っていた個別の要素のみ追加します。

今回生成

服LoRA抜きで生成した場合の参考画像

今回の画像・キャラLoRAのみの画像を比べると、元のキャラLoRAの画風を維持しつつ、服の影響だけ反映できていることがわかります。
服LoRAのタグのみ部分的に学習させる手段はなかなか安定しそうです。
教師画像を増やした影響か、再現度もなかなか高めです。

連続生成でサンプルをとってみました。

スカートの色は違いますが、かなり元画像に近いイラストが安定して生成できました。

拡張機能を試してみる

Stable Diffusionの拡張機能に「CutOff」というものがあり、簡単に言うとプロンプトに指定した色の影響を部分的に強めることができるそうです。
※「CutOff　拡張」などで調べるとインストール方法まですぐ見つかります。

実際に生成してみました。

正直あまり変わらないような…

何回か試しましたが劇的な違いは見られませんでした。LoRAの影響なのかはわからないですが、あまり効果はありませんでした。

まとめ

今回のまとめです。
・教師画像の枚数を増やすことは服LoRAにおいても有効
・キャラLoRAと同時に適用する服LoRAの要素は特定のタグにまとめない方が良い
・服LoRAに対する「CutOff」の有効活用にはもう少し調査が必要

今回で服LoRAを作ったのは２回目ですが、生成自体は安定してきたので次はもう少し難しい衣装にチャレンジしてみたいと思います。

おまけ
着せ替え可能なキャラLoRA・服LoRAを作るのが目標ということで、civitaiからキャラLoRAを拝借して着せ替えてみました。

有志の方のカズサLoRA＋自作服LoRAです

自作LoRAの趣旨からは外れてしまいましたが、こんな感じで遊びの幅が広がるので、服LoRAって良いなと思います。

ここまでお読みいただきありがとうございました。