LayerDiffuseでキャラの切り抜きと背景固定方法

2024年8月15日 20:31

Stable diffusionで背景固定と調べるとinpaintなどがでますが、そういった手間は不要で、ワンクリックぐらいの勢いで背景固定ができないかを調べているとLayerDiffuseで背景固定とキャラの透過処理を簡単にできるようになりました。

LayerDiffuse

透過画像またはレイヤー構造を保った画像が生成できるStable diffusionで使える拡張機能です。
下記簡単に導入できるEasySdxWebUiからforgeを起動することで初めからあります。

LayerDiffuseがない方は、「Extensions」タブ内の「Install from URL」に以下のURLを張り付けて、installボタンで導入してください。

https://github.com/layerdiffusion/sd-forge-layerdiffuse

checkPointによって透過処理できる等があります。
下記参考にしてください。

LayerDiffuseで使用するベースのキャラ

早く連載再開してほしいハンターハンターのキルア君です。
プロンプトを入れた際に上記画像が生成されるので彼をベースでLayerDiffuseを使用していきます。

LayerDiffuseの設定パラメータについて

Method：SDXL用とSD用があります。

Only Generate Transparent Image(Attention Injection)-画像透過処理
Only Generate Transparent Image (Conv Injection)-画像透過処理
From Foreground to Blending-キャラ固定でプロンプトで背景等設定
From Background to Blending-背景固定でプロンプトでキャラ等設定

Weight
デフォルトは１だが、内容によっては、ベースが改変されるケースがある。
低すぎると透過処理が中途半端になります。

Stop At
デフォルトは、１で０だと中途半端な透過処理で、0.5で完全な透過処理ができればできなかったりで、１だと完璧な透過処理を実施。
低すぎると透過処理が中途半端になります。

生成が2枚でます

生成後に２つの画像がでます。
グレーとホワイトグレーの四角が多数あるものと完全透過処理されているものが生成されます。
outputに保存されるのが、四角が多数あるものです。
透過処理のは、まだフォルダーに保存されないので、必ず生成した際に手動で保存しましょう。
最悪忘れてしまった場合でも下記になります。

c/user/ユーザー名/AppDate/Local/Temp/gradio

ただプログラムやツールが実行されると、一時ファイルはセッション終了時やツールの終了時に削除されることもありますので必要なものは忘れず保存しましょう。

Method:Only Generate Transparent Image (Attention Injection)

Only Generate Transparent Image(Attention Injection)は、画像生成のプロセスで、背景や指定された部分が完全に透明な画像のみを作成することを意味します。
Weight:1で実施。

ん？？ベースと違ったキャラでなおかつ顔だけだったものが全身映ってます。
Weightを1から0.5に実施。

近づきましたが、ちょっとかっこよくなっている気がするので画像を比較してみます。

Method:Only Generate Transparent Image (Attention Injection)のベースとの比較画像

LayerDiffuseの方がかっこいい！？影や色彩の影響・・・・かな。
Weight:0.4で実施。
いい感じで近い。

Weight:0.6で実施。
変な文字と顔ちょい違いますね。

Only Generate Transparent Image (Conv Injection)

「Conv Injection」は「Convolutional Injection」の略で、畳み込み層の注入を指します。
畳み込み層を使うことで、画像生成モデルがより詳細で精密な画像を生成できるようにします。
特に、画像の一部が透明である場合、その透明部分のエッジや質感を正確に処理するために用いられるとのことです。

Weight1で実施。
全然違う・・・だれ？