見出し画像

【SD1.5】インペイントこそ簡易LoRAの真骨頂【レタッチ】

はじめに

Flux.1も各種ツールが整ってきましたが、ローカルで特殊な利用をするには何かと重く自由が利きません。すべてAIまかせならば高性能なのですが、手動や手書きで調整する事を前提とするなら、SD1.5ベースのものが最も自由度が高く品質も良くなります。

下記で作成したSD1.5 LoRAを使ってインペイントしていきます。「簡易」と表現しているのは、変化のないセーラー服だけをアップにして学習しており、あまり分離に拘った作りをしなかったからです。

インペイントで利用(人間が手動でセグメントを分離)する事を前提にすると、少ない画像でも高品質な画像を作れます。

※ LoRA作成時に、分離を重視すると画質が下がります

※ Krita-ai-diffusionで作業していきます

インペイント練習その1

以前の作品をさらにインペイントしていきます。

オリジナル(Flux1ベース)
女性だけインペイント(前回の作品)

男性もレタッチします。大きくインペイントする時は、構図が変更しないようにControlNetを利用します。人物の場合は、ポーズが便利です。

まずはContorlNet(ポーズ)レイヤーを作ります

100% AIまかせにしても出来る事もありますが、あまり上手くいかない事が多いので、手書きでリファレンスを書いておきます。

セーラー服を大雑把に書き込みます

Jsailor005 LoRAを設定します。チェックポイントはリアル系のカスタムモデルです。

チェックポイントの設定
鮮明すぎるので☓
インペイント範囲を大きくしてDOF(ボケ)効果を入れます
微調整は手書きです
完成

インペイント練習その2


オリジナル(Flux.1ベース)

基本的には同じ手順です。

レイヤーを利用して必要な箇所だけを利用します
完成(へそ出しにしたかったのですが、スカート・インで妥協しました)

インペイント練習その3

オリジナル(Flux.1ベース)
完成

まとめ

本記事で利用したLoRAは、手書き中心で丁寧にAI生成したセーラー服を学習したものですが、服に限らずAIで生成したものをインペイントで”固定”したい場合にもLoRAは利用できます。この手法を使うと(3D素体や学習写真・画像がなかったとしても)基本的に何でも可能になります。

技術を駆使してAIまかせで画像を生成するのも面白いですが、手書きの誘導を混ぜながらアナログ的なインタラクティブ生成も楽しいものです。



以下、関連する記事の【PR】です。

※ 本記事で利用したLoRA(Jsailor005)は下記よりダウンロード可能です


いいなと思ったら応援しよう!