Stable Diffusionで「背景画像」や「立ち絵」を生成する方法

お世話になっております。坂井です。
今回の記事は、ビジュアルノベルゲームを制作するうえで必要となる「背景画像」や「立ち絵」をStable Diffusionで作っちゃおうという記事です。
※前提として、Stable Diffusionをある程度触れる方向けの記事です

使用モデル

Vすき焼きさんが作ったShiratakiMixを使用します。
（非常に助かっています。Vすき焼きさん、ありがとうございます。）

Vsukiyaki/ShiratakiMix · Hugging Face

背景画像の生成

■作成例
このような感じの背景画像の生成が可能です

背景画像の例

■プロンプトの例
prompt（no humansを指定すること、shrineの箇所は背景を指定）

shrine,no humans

Negative prompt（humansを指定すること）

humans, (easynegative:1.0),(worst quality,low quality:1.2),(bad anatomy:1.4),(realistic:1.1)

Sampler: DPM++ SDE Karras
Steps: 20,
Size: 768x544
CFG scale: 7.5

shrine（神社）から別の単語に変更するだけで生成できます
例：beach（ビーチ）、busy street（繁華街）、castle（城）など

beach（ビーチ）で作成した例

立ち絵の生成

■作成例
立ち絵の土台となるキャラを生成します

■プロントの例
prompt（simple backgroundを指定すること、bikiniの箇所は服装を指定）

1 girl,full body,standing,simple background,bikini

Negative prompt

(easynegative:1.0),(worst quality,low quality:1.2),(bad anatomy:1.4),(realistic:1.1),nose,lips,adult,fat,sad, (inaccurate limb:1.2),extra digit,fewer digits,six fingers,(monochrome:0.95)

Sampler: DPM++ SDE Karras
Steps: 20,
Size: 544x768
CFG scale: 7.5

bikini（ビキニ）から別の単語に変更するだけで生成できます
例：cardigan（カーディガン）、dress（ドレス）、sailor suit（セーラー服）など

必要に応じて、高解像度補助（Hires upscale）を行いましょう
拡張機能の「ABG Remover」を使い、背景を削除するのをおすすめします

■表情差分をしたい場合（ADetailerを使う場合）
「ADetailer」をインストールします
上記で生成した画像のseedを設定し、ADetailerにチェックを入れ、
face_yolov8n.ptを選択。promptに表情を指定し、再度生成します

設定例

※指定例
smile（笑顔）、angry（怒）、cry（泣く）など

smile（笑顔）を指定

open mouth（口を開ける）を指定

しかし、この方法だと細かい表情差分ができません。
細かい表情差分は、次のサイトに書かれているinpaintで生成が可能です

inpaintの詳しいやり方は、別の記事でまとめたいと思います

実際にWebGALで動かしてみた

上記で生成した画像をWebGALで動かしてみました

参考サイト

AIイラスト呪文生成器
背景や服装のプロンプト全般は、こちらのサイトがおすすめです

AIイラスト呪文生成器(AIプロンプト生成器・AI画像・NovelAI・nijijourney・stable diffusion)

表情の描写に関するプロンプト
表情を指定する際のプロンプトは、こちらのサイトがおすすすめです

表情の描写に関するプロンプト【Stable Diffusion web UI】

以上です
何かご不明な点がございましたら、ご連絡ください
それではまた