好きなベースモデル、好きな画像の組み合わせで簡単に画風LoRAが作れる『CoppyLora_webUI_V2』Google colabノートブックとローカルビルド版fanboxにて限定公開!
【追記】
2024/11/09に以下のモデルを更新しましたので、それ以前のバージョンをDLした方は『models/LoRA』以下にDLしなおしてください。
【はじめに】
簡単に言うと1枚のイラストを描くだけで、自分の絵柄でラフを線画化できる追加学習モデル(所謂Lora)が作れます。(カラーイラストやモノクロ陰影イラスト画風も学習できます)
ちなみに今回の更新で『SimpleTrain/DetailTrain』モードを追加し、自由なベースモデルでかつ、好きな画像の組み合わせで学習できるようになりました。
【公開場所】
【必要なもの】
・Googleのアカウント(Colabo版を使う場合は)
・ネットがつながるPC、スマホ。
・↓の画像をベースに自分で描いた絵(男女別)
例:
【規約】
ユーザーは、このソフトウェアを適切に利用し、法的な規制や他人の権利を侵害しないように注意する必要があります。ソフト開発者は、ユーザーがソフトウェアを適切に使用することに関して責任を負いません。
基本的には『手書きでやってはいけないことはAIでもやってはいけない』というルールで運用してください。
【ノートブック利用法】
①fanboxで公開しているCoogle colaboのURLを開く
②ランタイムのタイプをT4 GPUにする
③すべてのセルを実行を押して10分位待つ
④しばらく待ったら一番下のセルに
Running on public URL:http以下略
のようなURLが表示されるので、そこをクリックしてようやく起動です。
なおこのリンクは誰のPCからでもアクセスできるURLなので、念のため、公開しないよう気を付けて下さい
【ローカル版必要スペック】
簡単に言うと、ある程度高性能なグラフィックボードが搭載されたPCじゃないと動きません。
PCに詳しい方向けに言えば「CUDAに対応したRTX〇〇系GPUを積んだ環境推奨」となりますが、「PCにグラフィックボードが搭載されているかどうか分からない」「自分のPCで動くか自信がない」という方はこちらのアプリで判定してみてください。
ちなみにゲーミングノート
AMD Ryzen 7 5800HS 16GB 512GB RTX 3050 Laptop GPU・VRAM4GB
で1時間位でした!
【ローカルビルド版インストール方法】
①zipファイルをDLし適当な場所に解凍する
クソデカファイルです。
『パスが長すぎて解凍できません』的なエラーが出るときはWindows標準の解凍機能ではなく7-zipというアプリを使って解凍してください
CoppyLora_webUI_V1\CoppyLora_webUIのようにファイルが展開されるので
CoppyLora_webUIフォルダを適当な場所に配置してください。
②セキュリティーソフトの設定で、フォルダと実行ファイル名を除外リストに追加する
例:Windows Defenderの場合、Windows セキュリティ→ウイルスと脅威の防止→ウイルスと脅威の防止の設定→設定の管理→除外
CoppyLora_webUI.exe(プロセス)
E:\Documents\Freesoft\CoppyLora_webUI(フォルダ)
のように指定する。
③各種モデルDL
CoppyLora_webUI.exeを実行の前にに『CoppyLora_webUI_DL.cmd』を右クリックして管理者権限で実行して下さい。必要なモデルがDLされます。
失敗する場合はブラウザから以下を手動でDLして下さい。
models\SDXL\animagine-xl-3.1.safetensors
models/tagger
models/LoRA
copi-ki-base-boy_cl_am31.safetensors
copi-ki-base-boy_cnl_am31.safetensors
copi-ki-base-boy_ncl_am31.safetensors
copi-ki-base-boy_ncnl_am31.safetensors
copi-ki-base-girl_cl_am31.safetensors
copi-ki-base-girl_cnl_am31.safetensors
copi-ki-base-girl_ncl_am31.safetensors
copi-ki-base-girl_ncnl_am31.safetensors
④CoppyLora_webUI.exeを実行
exeファイルをそのままダブルクリックで起動できます。
【使い方】
SimpleTrainモード
切り替えタブから選択可能
①SimpleTrain/DetailTrain
学習モード切替タブです。基本わからない人はSimpleTrainモードを使いましょう。
②Base Image/Sample Image
ギャップを学習させるベースとなる画像とそのサンプル画像。
学習者はサンプル画像の女の子を模したイラストを自分の絵柄で描いてください。
(トラブルの原因になるので、許諾なしに他者に上記の女の子のイラストを描かせて勝手に学習させないで下さい)
③Input Image
学習させたい画風のイラスト。
線画、グレスケ(線画あり)、グレスケ(線画なし)、カラー(線画あり)、カラー(線画なし)
が入力できます。
④LoRa Name
学習させるファイルの名前になります。
⑤Character Type
"girl_mode"、"boy_mode"から選べます。
⑥Mode
"Lineart"、"Grayscale"、"Grayscale_noline"、"Color"、"Color_nolineから選べます
⑦Train
学習を開始させるボタン。RTX3090で25分位かかります
⑧Download Output File
学習されたモデルをDLできます。学習されたモデルはoutputディレクトリに出力されます。
DetailTrainモード
①SimpleTrain/DetailTrain
学習モード切替タブです。基本わからない人はSimpleTrainモードを使いましょう。
②Base Model
学習のベースとなるモデルです。Animagin3.1以外で学習したい時は、models/SDXLにお好みのSDXLモデル(.safetensors形式)を入れてください
③List Update
models/SDXLにベースモデルを追加した時、反映させるのに使います。
④Detail Base Input Image
学習に使うベース画像を入力します。なるべくベースモデルの素の絵柄に近くするのが学習成功のコツです。
⑤Caption Text
Detail Base Input Imageの特徴をとらえたキャプションを入力します。
⑥Analyze Tags for Base Image
Detail Base Input Imageの特徴をとらえたキャプションを自動解析します。
⑦Detail Input Image
覚えさせたい画像を入力します。
⑧Analyze Tags for Input Image
Detail Input Imageの特徴をとらえたキャプションを自動解析します。
⑨LoRa Name
保存されるLoRAの名前を入力します。
⑩Train
学習を開始させるボタン。RTX3090で1時間位かかります
⑪Download Output File
学習されたモデルをDLできます。学習されたモデルはoutputディレクトリに出力されます。
Google無料枠の場合、1時間ほど放置したらDownload Output Fileにファイルが表示されるのでそこからDLしてください。
おつかれさまでした!
【学習させたLoraの使い方】
https://note.com/tori29umai/n/nae0239c58bf1
AI-Assistant\models\Loraにファイルを保存して、
拡張UIモードでLoraを読み込んでください。(AI_Assistant_exUI.bat)で起動。