DMD2の4step Loraで好きなモデルを高速化する
以前の記事でDMD2について紹介しました。
SDXLについては4step版のLoraが公開されていましたので、それを使用してみたという記事です。
使用方法は非常に簡単です
①SDXLにLoraを付ける
②マージして使用する
ここの議論の後半にLoraのウェイトは0.5だとうまくいったとの記載もありましたので、モデルによってウェイトの調節が必要なようです。
＜注意点＞
サンプラーの設定が通常と異なるので注意です。
以下に設定を直す必要があります。
①ステップ数 ４
②CFG １
③サンプラー LCM
④スケジューラー Simple
ここで使用したebara ponyの結果です。
1girl, young child, kawaii, long hair, happily picking flowers in a colorful flower field under a bright blue sky. She is smiling brightly, surrounded by blooming flowers of various colors.masterpiece, 4k, uncensored, prefect lighting, very aesthetic, anime
モデルによって相性などがあると思われますので参考まで。
ウェイト：1.2
ウェイト：1
ウェイト：0.8
ウェイト：0.6
ウェイト：0.5
ということで、ウェイトが高いと色が濃くなり、ウェイトが低いとぼやけてきます。
このあたりはLCMと同じですが、色合いはこちらの方が自然な感じで良いと思われます。
4stepなので生成は速いです。
PaperspaceのFree A4000だと、1024x1024を1枚生成するのに1.3s程度。
4stepなので、tiled diffusionも早いです。
1.5倍のupscaleだと10秒程度でした。
ただ、ステップ数が少ないこともあり、設定を調整する必要がありそうです。
この方法に関しては、非常に早く画像生成が出来ますが、ステップ数に関連した機能については使用できなくなるデメリットもあります。
①AYSスケジューラー：10ステップ以上必要
②Omost：部位指定の反映はステップ数が多い方が良い
③ノイズ法XL：追加したノイズが収束しなくなる
ここまで読まれた方は、想定されると思いますが、A1111やforgeでも同様に使えます。参考まで。