ComfyUIでNoobAI-vpredの画風調整を行う話
NoobAI-vpredは面白いですね。
ponydiffusionが出たあたりを思い出す変化の様に思います。
ponydiffusionの当初は絵柄の安定が難しかったのですが、Loraや追加学習をしたモデルが出て次第に安定してきました。
そのためか、現在のNoobAIはいろんな画風の画像が出てきます。それも味があって楽しいところですね。
絵柄の好みは人それぞれですので、それを追求していくのも画像生成の楽しみなのかなと思います。
vpredのモデルは少しずつ増えてきています。
以下のモデルの説明にvpredの画風の設定についていろいろ書いてあり、別な方では事例の調整が出されています。
RouWei - 0.6 vpred | Illustrious Checkpoint | Civitai
Image post by jyrrata | Civitai
上のリンクの方は以下のような記載でした。
下のリンクの方は以下のような記載でした。
ということで、どちらにしても、プロンプトに重みをつけることをされていることが分かります。
これは使用するモデルによる差もあるかと思います。例えば、上の方が公開しているモデルを使用する場合はbyをつけると安定する傾向がありました。
複数のプロンプトに重みをつけて調整するカスタムノードがありましたので、それを使用すると楽かなと感じましたので紹介します。
「ComfyUI prompt composer」です。
florestefano1975/comfyui-prompt-composer: A suite of tools for prompt management
このカスタムノードのうちの「Prompt composer multiple prompt」を使用する感じです。
上のtxt_1の所にアーティスト、weight_1の部分に重みを入力します。
例えば、「A」「B」「C」「D」でそれぞれ0.6ずつの場合は以下のような感じです。
＜追記的なもの＞
V予測系のComfyUIのフローですがい、Ksamplerも使用できます。
以下のような感じですね。checkpointから出るmodelの部分にModelSamplingDiscreteノードを加えるだけという感じです。
この画風調整の別法？としてＫsamplerAdvancedというので、プロンプトスケジューリング的なものも検討しましたが、重みをつけた方法の方が良い結果になりました。
アーティストを指定すると、しないときよりも画風が安定することもあり、自分の感性にあうチェックポイントが出てくるまでは好みのパターンを作成するのは良いかなと思います。