見出し画像

階層別マージについて各階層ごとの影響について調べました　IN編

サンブンノイチ

前書き


サンブンノイチです。
男の子のキャラクターを生成するとき、通常のモデルでは意図しない女体化や女装が頻繁に起きてしまうので
それを避けるために自分用のマージモデルを制作しています。

その過程で、階層別の変化について検証したため簡単なレポートを作ることにしました。何かのお役に立てば幸いです。

検証方法について

使用モデル
A: Counterfeit V2.5
　言わずと知れたイラスト系モデル。こちらがベース
    https://huggingface.co/gsdf/Counterfeit-V2.5

B: BasilMix
　リアル系の画像が出力できるモデル
    https://huggingface.co/nuigurumi/basil_mix

この二つを使用し、
階層ごとにAが0%、Bが100%という設定にします。

M_00に対してA = 0, B = 1とした図

この画像のように、M_00階層に対してはA = 0, B = 1と設定し、
その他の階層に対してはA = 1, B = 0と設定しています。

この設定を適用したマージモデルを作り、

  • Counterfeit V2.5で出力した画像

  • BasilMixで出力した画像

  • 検証用モデルで出力した画像

これらを見比べて、M_00の変更が画像のどこに影響が及んだかを考察するというアプローチです。
※あくまでシロートの思いつきなので、検証方法の適切性を保証することはできません。
使用したプロンプト及びコンフィグは下記の通りです。

Prompt:
(best quality), ultra-detailed, 14-year-old, 1boy, (wearing matched school uniform), looking at the viewer, blond hair, light blue eyes, standing straight, cowboy shot, from the front,

NegativePrompt:
EasyNegative, (badhandv4:0.9),

Sampling method: DPM++ 2M Karras / 25steps
W x H: 512 x 768
CFG Scale: 10
Seed: 3255564711

検証結果

では、M_00の出力結果を確認します。

M_00の検証結果

M_00については色々なサイトで「全体に影響」する旨紹介されていることが多いですが、今回は背景部分がBasilMixにかなり寄っていますね。

Counterfeitの出力と比べて大味な描き込みになっていて、
背景部分のオブジェクトの数やカラーバリエーションが激減しています。

今回のようにタイプの異なるモデルをマージする場合、慎重に扱わないとコンセプトの統一感が失われてしまうかもしれません。
（あえて崩す、みたいなクリエイティブなアプローチには活用できそうですが…）

続いて、細部に影響すると言われている表層部の結果を確認します。

表層部

比較用の元画像
IN_00からIN_03

最深層であるM_00の変更結果と対照的に、ほとんど間違い探しみたいな状態ですね。IN_00に至っては元絵と全く同じように見えます。

IN_01以降で若干の変化が見られるようになり、
手指や服の一部、足の角度など少し変わっています。

ただし、BasilMixの影響を思わせる要素は見当たりません。
しいて言えばパンツのセンタープレスの強調くらいでしょうか。

基本的に元モデルの良さは維持できそうなので、このように細部のデティールを取り込みたい場合は大胆に使ってもいいかもしれません。

続いて中層部を確認していきます。

中層部

IN_04からIN_07

このあたりからわかりやすい変化がありますね。

特に上半身部分の採用色の減少はBasilMixの影響を思わせます。
青色のリボンやインナーのベストに採用されていたカラシ色はほぼ使われなくなり、全体的に黒系統の色使いで統一されています。

帽子の解釈や髪のハネなど、頭部にも変化が見られ、
特にIN_07では様々な箇所でBasilMixに寄っており、

  • 帽子が外れる

  • 口を結ぶ

  • ポケットに手を入れる

など、構図にも影響が現れるようになってきました。

続いて、最深層を確認していきましょう。

最深層

IN_08からIN_11

IN_08に関してはIN_07で言及した点に加えて、
右手が下がり、上半身の装飾がほぼ無くなるなど
大きくBasilMixの出力画像に寄ってきたのがわかると思います。

しかし、興味深いことにIN_09以降ではキャラに対するアプローチは大幅に減り、ライティングのニュアンスや背景部分の微妙な変更など、限定的な差に留まりました。

他サイトでは色彩などへの影響を指摘されていることもあり、
IN_10やIN_11に関しては、被写体に対しての有意な影響はほぼないと捉えてよさそうですね。

活用シーンとしては、元モデルのキャラクターデザインを崩さず、色合いや雰囲気などを取り入れたい場合に調整するといいかもしれません。

OUT側について

今回の検証でもう一つ興味深かった点として、
IN側と比べてOUT側の変更は影響がかなり大きかったことが挙げられます。

もちろんOUT側についても紹介させていただきますが、
このまま続けて書くと縦に長くなりすぎてしまうので、OUT側パラメータの検証については次回、記事を分けて紹介したいと思います。


この記事が気に入ったらサポートをしてみませんか？