Sana-ComfyUIとz-tipoの併用方法について

shiba*2

2024年12月24日 18:05

前回記事にSana-ComfyUIのインストールと使用について記載しました。

その際に、「ワークフローを分けると読み込みに時間がかかるからダメ」と記載しました。

この2つの併用は同じワークフロー内だとSanaのモデルの再ロードが起きないため、比較的快適に使用できます。

このワークフローは、「Save Image」をミュートしていますので、実行するとTIPO部分の実行されます。

ミュートは「ctrl」＋「m」でオン・オフができます。

このフローだと左下の「show text」をミュートのミュートのオン・オフでTIPOでの生成の調整を行います。
「Save Image」のミュートのオン・オフでSanaの生成の調整を行います。

毎回、TIPOを使用したい場合は以下の連結したもので行います。

SanaはLLMを使用しているので、おそらくはNLが重要なのかなと思いますが、その比較です。TIPOのTagとNLの部分を以下、DeepLで訳したもので見てみます。
これは「show text」の部分をGemmaのポジティブプロンプト部に直接入れ込んだものです。

ただ、TIPOだと「タグ」と「NL」の2つの部分が生成されます。

一応以下にそれらを分けてコピペしてみたものを提示しておきます。
現時点の結論からはNLメインかなと思います。

＜NLのみ、和訳したプロンプト＞
制服姿の少女のイラスト。背景は白無地。少女は深く考え込んでいるようにも、何かを思案しているようにも見える。カメラに背を向けて立っている。少女は茶色の短髪で、青いスカート、白いシャツ、黒い靴下を履いている。頭の周りに小さな黒い点がいくつか散らばっているが、これは泡か粒子を表しているのかもしれない。

＜Tagのみ、和訳したプロンプト＞
女の子1人、立っている、こちらを向いている、(solo:1.1)、ヘアクリップ、セーラーカラー、全身、笑顔、制服、セラフク、ローファー、靴、横顔、スカート、ショートヘア、茶色の目、ネッカチーフ、白いシャツ、長袖、青いスカート、シャツ、青い靴下、髪飾り、横から、チークシール、シンプルな背景、白背景、口を閉じている、両脇に腕、ニーハイ、黒いネッカチーフ、プリーツスカート、靴下、茶色の履物、青いセーラーカラー、茶色の髪、

＜NLのみ、和訳したプロンプト＞
青いブレザーと黒いパンツを着た、ブロンドのロングヘアの少女のイラスト。少女は、片足を斜めに曲げ、もう片方の足を上に伸ばして、宙に浮いているように見える。背景は紫色の無地で、画像の中心から放射状に白い線があり、動きとエネルギーの感覚を生み出している。彼女は片足で立ち、両手を横に伸ばしている。まるで踊っているか、ダンスの技を披露しているかのようだ。全体として、このイメージは、少女が純粋な幸福と自由の瞬間を楽しんでいるかのような、自由と喜びの感覚を伝えている。

＜Tagのみ、和訳したプロンプト＞
1女立っている、見ている、（solo:1.1）、全身、靴、ネクタイ、黒いパンスト、白いシャツ、髪が浮いている、上着、パンスト、背を向ける、茶色の靴、スカート、ブレザー、ニーハイ、白い靴、リボン、とても長い髪、背景が紫、長い髪、ローファー、赤いネクタイ、シャツ、赤いリボン、青い上着、靴下、金髪、灰色のスカート、制服、青い目、片足立ち、後ろから、プリーツスカート、背景はシンプル、

TagとNL両方

ということで、雰囲気としてはNLだけを入れる感じの方が良いのかもしれませんが、NLだけを直接入れる方法がわからないのでコピペした方が楽な気がします。バリエーションも作成したいと思いますので。

＜多分バグと思われる事象＞
バッチ数を増やすと画像が変わります。
そのため、プロンプトが反映した画像を生成にするにはバッチ数は「１」が良いようです。
Issueを見るとバグ報告がされていました。
[Bug ] Encoding seems to be faulty when batch size of latent > 1 · Issue #98 · city96/ComfyUI_ExtraModels · GitHub

以下、参考

＜プロンプト＞
a girl is saying. In the bottom left corner of the image, there is a small chibi version of the same girl, adding a playful element to the scene. Her expression appears to be one of surprise or excitement as she looks at the viewer. She has long brown hair and is wearing a white shirt with a blue bowtie, a black plaid skirt, and thigh-high socks. The background is simple and light green, putting the focus on the character. This image seems to be part of a series or project related to "The Idolmaster" franchise. The girl is also wearing loafers shoes. The overall style of the image is cute and cartoonish, typical of the artist kasuga souichi's work.

と少女が言っている。画像の左下には、同じ少女の小さなチビバージョンがあり、シーンに遊び心を加えている。彼女の表情は驚きか興奮のように見える。茶色のロングヘアで、白いシャツに青い蝶ネクタイ、黒いチェックのスカート、太ももまであるハイソックスを履いている。背景はシンプルな薄緑色で、キャラクターに焦点を合わせている。この画像は『アイドルマスター』フランチャイズに関連したシリーズかプロジェクトの一部と思われる。少女はローファーの靴も履いている。画像の全体的なスタイルは、春日創一というアーティストの典型的な作品である。