素材1枚でキャラクターLoRAを作成する：SDXL編

2024年2月20日 14:55

　以前「素材が1枚で作るキャラクターLORA」をいう記事を書いたんですが、最近のAIイラスト環境の変化にあわせて、SDXLでも素材1枚でキャラLORAが作れるのかを試してみました。

　今回試した方法は２つ。

１：正則画像を使い、LORAそのもののポーズバリエーションを増やす。
２：1ポーズLORAの強度調整でバリエーションを増やす。

　「１」は前回と同じ手法で、「２」はSDXLの表現力の高さを活かした手法です。

１：正則画像を併用してLORAを作成

　SDXLに合わせて学習パラメータを少しいじっただけで、それ以外は素材もやり方も前回と同じなので、概要は前回記事を見ていただければと。

　出力自体は以前より綺麗になっていると思います。ちょっとリボンが暴走しがちでしたが、そのへんはネガティブプロンプトなどで制御できる範囲ということで。

　なお、モデルはPONYでつくりました。
　Animagine系では「それっぽいナニか」がでました。非対応です。

２：1枚絵でLORAを作って、プロンプトでなんとかする

　「１」と同じ素材・設定ですが、正則画像を使いません。
　つまり1枚の学習イラストの絵柄にほぼ固定されたLORAです。
　これを「強度を下げて、プロンプトでバリエーションを付ける」やり方を試してみました。

　SDXLってSD1.5より表現力があがってるんで、プロンプトでかなりのことができます。
　なので、1枚絵LORAでもプロンプトでごまかせるんじゃないかな…と。

　実際、なんとかなりました。

　むしろ、正則画像の余計な情報が入ってこない分、純粋な再現度はあがっているかも…。

　ただ、このやり方だとモデルの影響が大きく「ebaraだといいけど、ponyはちょっと…」みたいにはなりました（というかebaraが強すぎる…。ebara　ponyは「ebara pony」「huggingface」「SDXL」などで検索すると見つかるかも）。
　欠点である反面、「モデルの特徴を活かしやすい」ともいえるので、これはこれでアリかなという気もします。

　なお、今回はPonyで作りましたが、エロいことをさせたいのでなければ、Animagine系で作った方が、キャラ再現度は高そう＆派生モデルが多いので後々融通が効きそうな気はします。

　ともあれ、SDXLでも素材1枚でキャラLORAが作れることを確認。むしろSDXLの方が高性能なので作りやすいかも。
　面倒なので試しませんが、「２」の手法で「再現度高めのイラストを大量出力」して、それを正則画像に使うと、「再現度高めでポーズの自由度も高いLORA」が作れるかもしれませんね。

学習方法および元画像について
　元画像はゲーム内スクショのキャラ立ち絵を撮影した1枚と、顔部分をトリミングした1枚の計2枚。
　権利配慮で掲載は止めておきます。というかゲーム画面のSS撮ってる暇がなかった…。
　「戦国ランス」「マリア」で画像検索すると出てくるバストアップの立ち絵が、今回使用したイラストです。

　2枚の画像を繰り返しで500回学習。
　前回はオプティマイザーにAdaFactor使いましたが、今回はProdigy使用。　
　Prodigyは元絵をガッツリ固定する傾向があるので、今回のような「元絵プラスα」を多めに出したいときは、AdafactorやAdamの方がいいかもしれません。

1枚＋顔トリミング＋正則画像使用版