「浮世絵」をお手軽学習してLoRA化してみよう

学習素材のセレクト

　ふと、「浮世絵ばっかり学習したら、AIで浮世絵風イラスト描けるはずだよな」と思ったので、早速試してみました。

　浮世絵画像できるだけたくさん集めたうえで、学習素材に適していなそうな絵を弾きます。

• 構図が複雑（AIは複数の物が絡んだ構造を理解し難い）

• 人間がぱっと見て、なんの絵か理解できない（同上）

• モノクロ（今回は「浮世絵の華やかさ」が欲しいのでカット）

• 画質が極端に悪い（ノイズになりかねない）

　浮世絵という画風学習の場合、「雰囲気」が学習できればいいので、キャラや構図LORAほど学習素材のクオリティに神経質にならなくても大丈夫なことが多いです。というか僕はしません。楽で楽しい。

　今回もキャラ構図LORAであれば、細部の加筆修正や解像度アップなどの前準備をするところですが、絵柄LORAということで、素材の取捨選択だけですませました。

SD Scriptで学習

　上でも述べましたが、絵柄学習は「素材の雰囲気をざっくりと学んでくれればOK」なので、ディテールを学ばなければいけないキャラ・構図LoRAと比べると、LoRA作成時のパラメータ設定も、あまり詰めなくてなんとかなることが多いです。

　今回はDadaptのAdamかLIONで作成しました。
　細かいパラメータは有料部分で公開しておきますので、興味がある方はどうぞ。

　といっても、あまり特別なことはしていません。
　Dadaptなので学習率はある程度自動設定してくれます。
　dim/alphaも慣れている数字でやってみて、おかしいなと感じたときに微調整すれば十分だと思います。

浮世絵LoRA完成

　完成したので早速出力。

ukiyoe\(style\), 1girl,mini dress, casual_dress, bare shoulders, long hair, glasses, sleeveless <lora:last-000003:1>

ukiyoe\(style\),1girl, school uniform, ponytail, longhair,sidelocks, sea, moonlight <lora:GoodHands-beta2:1> <lora:ukiyoe_lycoA:0.8>

ukiyoe\(style\),monster, demon, samurai, kabuki, outdoor, moonlight <lora:GoodHands-beta2:1> <lora:ukiyoe_lycoA:0.8>

　即興で作った割には、良い感じの出力になってくれました。
　モデルと重みの影響を受けやすく、もっとガチガチの「日本画美女」っぽいものが出てくるものもあれば、最近のアニメテイスト美少女に浮世絵背景が重なるだけのものも出てきました。

　ちょっと困ったのは、LoRAの影響力が弱いのか、他のLORAと組み合わせると、浮世絵っぽさがかなり出にくくなります。
　学習強度上げればいけるかな？　と思いましたが、ちょっと上げただけですぐ過学習してしまい、良い感じに調整できませんでした。
　DadaptじゃなくてAdfactorとか通常Adamでじっくり調整すれば解決しそうな気もしますが…今回は、あくまで思いつきだったので、そこまで煮詰めないでおきました。
　単体であれば綺麗に動きますしね。

 ともあれ、絵柄LoRAはLORAの中では手軽で簡単と手を付けやすいジャンルなので、気に入った絵柄があれば自分で試してみると楽しいと思います。

おまけ：印象派LoRAも作ってみた　

　コローとかルノアールあたりの印象派絵画を集めてLoRAにしてみました。
　浮世絵よりは、雰囲気が出にくかったかも…？

「マイクロビキニ着た印象派美女」とか、ありえない設定でイラスト作成できちゃうのが楽しいです（笑）

　今回作成したLORAを有料コンテンツとして配布しておきます。
　すでに書いたとおり「それっぽい画像を集めてLoRA学習しただけ」なので、手間暇かければ誰でも似たような物が作れると思います。
　いつもの「時短コンテンツ」なので、ご了承の上、お買い上げください。

　配布物：浮世絵LORA（3種）・印象派LORA（2種）

　パラメータ違い数種類アップしておきます。
　学習の設定もいくつか付けておくので、気になった点などの質問はお気楽にどうぞ。