【Stable Diffusion】inpaintによる表情差分作成

2023年3月26日 08:53

前書き

使用したマージモデル：7th_anime_v3_B

「良い構図が出来たけど表情が違う！」という時、inpaint機能で任意の表情に変更できるのでその研究。随時更新。
なお、表情はAIイラスト作成の最後の調整で良い。無理に最初から表情を変えようとするのは構図に悪影響なので非推奨。

AIイラストの表情は基本同じ（微笑、困り眉）なので表情を変えるだけでAIっぽさは大分なくなる。多少手間はかかるものの、イラストに味を加えたい場合はこだわろう。調整の幅は広いので狙った顔は必ず出せる。

主に「重複表現の記入」「異なる箇所を個別に指定」「プロンプトの重み付け」「negativeに出てほしくないプロンプトを記入」で調整。

「CFG Scale」の数値を上げると元イラスト＜プロンプトを優先するようになる。また、数字が大きいと漫画的表現になる。漫画の小さなコマでもキャラの表情がわかりやすくなる過剰表現といったところ。変化は少ないがキャラの特徴を残したまま変えたいなら7～9。ガッツリ変えるなら9～11がおすすめ。
しかし数値を上げ過ぎると別のキャラっぽくなってしまうので注意。主に目の形・大きさが変わる影響だと思われる。数値を下げたりして良い塩梅を見つけよう。

「Denoising strength」の数値は元のイラストにどれだけ忠実にするか。
微調整用0.6～0.68くらいがおすすめ。

また、二次元キャラクターの表情とは主に眉、眼、口の３つのポイントで構成されている。それぞれの感情表現のウェイトは等しいが眼に関してはキャラクターの印象を左右するので注意が必要。

眉は形
眼は開き具合と瞳孔の大きさ（目尻の角度や睫毛が変わるのは避けるべき）
口は横と縦それぞれの開き具合と歯を見せているか。