SDXLアニメ系モデルの破綻軽減モデル？
こちらに書かれている事を日本語にするだけの記事です。
（比較的）アニメ系よりもリアル系の方が指が破綻しにくい為、アニメモデルとリアル系モデルをマージしようと言う話です。
～下記、翻訳～
このモデルの目的は、モデルNoobAI-Epsilon075の解剖学的な問題を修正することにあり、その知識とスタイルを100%保持することを目指しています。NoobAI-Epsilon075は非常に優れたモデルであり、Danbooruのほぼすべてのキャラクターやスタイルに精通していますが、解剖学的な問題がありました。この統合は、その問題を完全に解決します。NoobAI-Epsilon075をSFW（Safe for Work）目的で使用する場合、この統合とオリジナルモデルとの違いはほとんど感じられないでしょう。目指したのは、NoobAI-Epsilon075の知識を完全に保持しつつ、見た目もほとんど区別がつかないようにすることです。しかし、もし「文化人」であり、ポニーモデルが好きであれば、この統合によってモデルが非常に優れた解剖学的知識を持つようになっていることに満足するでしょう。ポニーレベルに近い精度が実現されています。
cyberrealisticXL_v31は、特定のスタイルを持たない汎用モデルであり、stable-diffusion-xl-base-1.0と同様です。そのため、任意のモデルでstable-diffusion-xl-base-1.0の重みをcyberrealisticXL_v31の重みに置き換えても、モデルのスタイルや知識に大きな変化はないはずです。しかし同時に、cyberrealisticXL_v31はsd-xl-1.0よりも解剖学的知識がはるかに優れているため、モデルの解剖学的知識を大幅に向上させることができます。NoobaiCyberFixにおいては、期待通りにうまく機能しました。理論的には、この方法を用いて、解剖学的知識を必要とするあらゆるモデルを改善することが可能です。
～ここまで～
式: TempModel = NoobAI-Epsilon075 + cyberrealisticXL_v31 - stable-diffusion-xl-base-1.0
cyberrealisticXL_v31から解剖学的な改善をNoobAI-Epsilon075に組み込むために、stable-diffusion-xl-base-1.0の重みをcyberrealisticXL_v31の重みに置き換えています。これにより、解剖学的な精度が向上しつつ、NoobAI-Epsilon075の全体的な知識やスタイルを維持することができます。
CLIPの置換:
TempModelのCLIPをNoobAI-Epsilon075のCLIPに置き換えました。これにより、言語の理解力やスタイルの表現能力が元のモデルと一致し、NoobAI-Epsilon075の独自性を保持したまま出力が得られます。
実際にしてみます。
今回はnoobではなくIllustrious-XLで行ってみます。
①webuiで画像のような差分マージを行います。
②comfyuiでCLIPをIllustrious-XLのものに戻します。（完成）
※①でillustriousではなくnoobを使用している場合はnoobのCLIP
実際に生成したもの
確かに視覚的な（画風）の変更は少なく、指が綺麗になっているかも？