見出し画像

簡単にできるコピー機学習法によるLoRA

いろいろやるのが面倒でしたがhako-mikanさんが簡単にできるようにしてくれました。
精度高めるにはたくさんの画像があったほうが多分良いのですがただ試すには楽でいいですね
(画像指定じゃなくてフォルダ指定でやるみたいなのも実装されたらよさそう)



TrainTrain拡張をインストールしてTrainTrainタブを出現させます


TrainTrainインストール

Difference_Use2ndPassを選択して読み込みます


Difference_Use2ndPass

使うモデルを選択して、use gradient checkpointingにチェックを入れます


モデル選択

元、変化後の画像を一番下のところに追加します


追加前


追加後

Start Trainingを押して待ちます


実行

LoRA完成!

背景がないキャラ上半身画像をエッジ画像にしたのでキャラだけが白くなるような面白い感じになりましたね
+:キャラの線が増える、強いと真っ白に
ー:キャラの線が減る、絵柄チェンジ
みたいな感じ
マイナスで適用とかしたらちょっと需要ありそう

おまけ:今回の学習画像の作り方

Nijijourneyの画像を用います
(ここの画像、学習させるモデルで出力したほうがなんか精度よくなりそう)

Niji raw image

適当にSmoothingかけて白黒画像にしてFind Edges(X,Yの3x3ソーベルフィルタの平方和の平方根)取って輝度を逆転させて生成!
(CNのプロフェッサー?だかで作ったほうが精度よさそう)

Find Edges image

今回のファイル

civitaiに上げようとしたらエラー出て萎えたのでここに貼っておきます

ここから先は

0字 / 1ファイル

¥ 500

この記事が参加している募集

モチベーションの増加につながるのでよろしければサポートお願いします。