Neutral prompt：掘り下げ②：AND_SALT編
前回記事に続いてのNeutral promptの掘り下げ編になります。
AND_SALTに関する論文になります。
＜ChatGPT＞
抄録:：この研究では、テキスト誘導型拡散モデルの強みを組み合わせることで、より制御可能な生成を実現する簡易かつ効果的な方法であるSaliency-aware Noise Blending (SNB) を提案します。これにより、個々のモデルの強みが保存されます。広範な実験により、SNBが様々なアプリケーションで優れた効果を発揮することが示されています。
背景： 多様なデータセットでトレーニングされた強力なテキスト誘導型拡散モデルがオープンソースAIコミュニティによって生み出されています。これらのモデルをアンサンブルすることで、それぞれの強みを組み合わせることができますが、これまでの探求は少なかったです。
方法： SNBでは、2つの拡散モデルの予測ノイズを空間的にブレンドすることで、異なるモデルをその専門分野で信頼することに基づいています。クラス分類器不要ガイダンスの反応は、生成された画像の顕著性と高い関連性があることが実験的に見出されました。
結果： 一般モデルとカートゥーンモデル、細かい粒度の車モデル、DreamBoothモデルを組み合わせる3つの応用実験を通じて、SNBの有効性が確認されました。
議論： SNBは、テキスト誘導型画像生成の精度とリアリズムを向上させるために、特殊モデルを統合することの利点を実証します。このアプローチは、複雑かつリアルな画像生成を可能にします。
制限事項： 物体のサイズが2つの統合された画像間で大きく異なる場合、セマンティックアライメントが難しくなる可能性があります。
＜追加で聞いた内容の返事＞
カートゥーンモデルの結果に関しては、SNB技術を使用して一般的なテキスト誘導型拡散モデルと組み合わせた際に、カートゥーンスタイルの画像生成が特に改善されることが示されました。この組み合わせにより、よりリアルなテクスチャと詳細な表現がカートゥーン画像にもたらされ、生成される画像の質が高まりました。しかし、具体的な数値や比較結果については、文書内で直接触れられていないため、詳細な数値や改善の程度については言及できません。このアプローチは、カートゥーン画像の生成における新たな可能性を開くものであり、実際の応用においても広範な利用が期待されます。
ということでした。
記載内容の印象では、Detail系のLoraみたいな感じの印象です。
それを相当するプロンプトに効かせるみたいな感じなのでしょうか？
プロンプト シード固定
(joyful_smiling_girl:1.2), BREAK, (fantastical_forest merge_ground_and_sky):1.2, BREAK, (twisted_trees shimmering_particles):1.3,BREAK, (glowing_particles air_movement), BREAK, (bent_trees swaying_wind) BREAK, (strange_shapes defy_nature), (best quality:1.2), (materpiece),
上の文章の「glowing_particles air_movement」にしてみます。
AND_SALT glowing_particles air_movement :1
ということで、xyzプロット検証 0-1
ということで、当初の想定していたようなDetail系ではないようですね。
前回のPERPと比較すると、元絵が保たれているのでちょっと雰囲気を変えたいときとかは低ウェイトをかけて見るのもありかと。
下はウェイトをマイナスにしたものです。今回は背景部分にかけているので、変化は少なめです。
今回の検討で見る感じだと、AND_SALTの場合は、プロンプトに相当する部分が強調されるため、ウェイトが低い場合は、比較的出来上がりのイメージがしやすいものかもしれません。
ちなみにウェイトが高い場合についても紹介します。
ということで、ウェイト2とかかっこいい感じの絵柄が出ましたが、顔が崩れてきました。これはシード固定している影響もあるかと思います。
下はシード値を変えたものです。
プロンプトの意図にはあっていませんが、魔法放っている感じはカッコいいですね。
ということで、元絵を大事にしつつ組み合わせるとすると低ウェイトになるかと思います。
前回紹介したAND_PERPは追加なので、今回使用したものを追加し、それをAND_SALTで強調すればもっとすごくなるのではなんて思ったりしますよね。それか、今回のAND_SALTに追加する感じでAND_PERPを使うかみたいな感じですようか。
一応、そういったことがAdvanced的なことで出来るようですがその効果のほどはまだ検証中です。以下に作ってみたものを提示します。
