【自作LoRA】公式画像だけでブルアカのルミを生成したい②【Stable Diffusion】
zetaと申します。
前回の投稿から間が空いてしまいましたが、以下の記事の続きになります。
やりたいことは、ブルアカのルミのLoRAを公式画像のみで作成してイラストを生成することです。
今回は画像枚数を増やすと生成結果がどのように変わるのかといった検証も含んでいるので参考にしていただけたら嬉しいです。
今回やったこと
教師画像を増やす（SDキャラの画像を追加）
プロンプトを駆使して粘る
教師画像
教師画像に使用したものは以下80枚になります。
※直前で画像枚数増やしたので一部白背景にできていないです
LoRAモデルを作成
80枚×10回×50epochで8000step学習させました。総step数は前回と変わっていないです。
生成結果
前回・前々回と同じ呪文・乱数を使用してYuzuで生成した結果になります。
SDキャラの画像を含めたことで少し丸くなっている気もしますが明らかに生成画像の質が良くなっていますね。やはり教師データは質より量なのかもしれないです。
プロンプトでもう少し粘ってみる
上に貼った画像は比較用に学習時に削除したタグのみで生成しています。
※LoRA作成やったことない人向けに簡単に説明すると、教師画像が持つ特定のタグを削除して学習させることで、その単語に教師画像の特徴が出るようになるといった感じです。
プロンプトを色々調整して以下の画像を生成してみました。
※右の方にプラナちゃんのヘイローみたいなハートができたのでお気に入りの一枚です。
特徴的な部位（今回は前髪）の単語を強調してから質が良くなってきました。
一応この画像でGoogle画像検索をかけると２割ほどはルミの画像・イラストがヒットしました。
最後に
一応Google君のお墨付きももらえたので、公式画像のみでブルアカのルミを生成できたということにしたいと思います。
次にやることですが、ヘイローの形は全く再現できなかったので、そこを再現するLoRAとかを作ってみたいなと思っています。
ある程度案は浮かんでいるのでうまくいったらまた投稿したいと思います。
ここまで読んでいただきありがとうございました。
追記（ヘイローつけてみました）
追記です。ヘイローの生成のため、学習時に「halo」のみに絞って別のLoRAを作成しようとしました。
中々上手くいかずに自分でヘイローの絵を描いて教師画像を増やし始めたところで「そのまま頭に乗せれば良いのでは？」と思い以下の画像ができました。
本末転倒のような気がしますが、あくまでもルミのイラストが欲しいということなのでこれはこれでOKと考えてます。
自作LoRAの場合、描くコストが低いパーツなどは学習対象から外して後で描き足すアプローチも有効なのかもしれません。（ミカとかヒナのヘイローは難しそうですが…）
この記事が気に入ったらサポートをしてみませんか？