ComfyUIでNAIを生成～4Kアップスケールリベンジ

ぐす

先日公開したComfyUIでNAIのAPIを叩いて生成する記事で、4Kアップスケールまでを自動で行うワークフローも公開したのですが

  • controlnet tile [bdsqlsz_controlllite_xl_tile_anime_α]がエラーが出て使えなかった

  • facedetailerの挙動が変、顔だけ倍の解像度にしてinpaintしたいのにほとんど等倍のままinpaintしているっぽい

等の問題があって、forgeでいつも行ってるアップスケールの手順からは片手落ちのワークフローになっていました。

いつものアップスケール手順の載せたツリーhttps://twitter.com/vqMP7pwqBefqkoG/status/1798608463578489215

なんとかエラーを解決、顔のinpaintも上手く動くようになってforgeでのアップスケールと遜色ないとこまで来たので、ver2として公開します。

ワークフローはこちら

以下解説

全体図

ざっくりエリア分け

NAIで生成

NAIで生成するための設定とかは前回の記事を見て頂いて
ComfyUI上でNAIの生成ができたんだよ｜ぐす (note.com)

  1. ポジティブプロンプトの入力欄

  2. ネガティブプロンプトの入力欄

  3. 各種設定の入力欄

  4. NAIで出力された画像のプレビュー

ここで注意なのが、「品質タグ、除外タグ」のオプションは指定できません
seedを合わせても普通にNAIで生成するのと一致しないって時はそこが原因かも。

上記のNAI公式のメタデータビュワーで生成画像をアップロードすれば、オプションのプロンプトも込みのプロンプトが確認できるので、ここからコピペすると確実です。

ローカルのcheckpoint、プロンプト入力

  1. checkpointの指定、アップスケールの過程でcheckpoint自体の質感に寄っていくので、その辺好みの奴を使用するのがよろしいかと

  2. ローカルのポジティブプロンプト

  3. ローカルのネガティブプロンプト

品質プロンプトをお気持ち程度に入れてあれば十分だと思います。

上の方のごちゃごちゃしたところで、NAIの生成に使用したプロンプトから{}と[]を消去してローカルのプロンプトとくっつける処理をしています。

これで乳ホクロのようなアップスケールの過程でノイズとして消えがちな物も、プロンプトで指定したものであれば割と残りやすくなっているはず。

アップスケールi2i

  1. アップスケールの倍率を指定

  2. controlnetllliteの読み込み

  3. i2iの設定

アップスケールの倍率はそれぞれの環境に合わせて指定してください。

controlnetは「bdsqlsz_controlllite_xl_tile_anime_α」を使用しています。

i2iの設定は特にsteps,CFGをcheckpointに合わせて調整してください。
NAIポン出しの隣にi2i後のプレビューが表示されます。

顔検出＆inpaint

  1. 顔検出の設定

  2. 検出された顔のプレビュー

  3. 検出されて切り出された顔のサイズから次にinpaintする際のサイズを計算

  4. 検出された顔を2倍の解像度(上限2048)でinpaint

  5. 顔だけinpaintしたあとのプレビュー

4.のsteps,CFGあたりは環境に合わせて調整をしてください。

切り出された顔のサイズを上限2048までで2倍にしてinpaintする設定になっているので、顔のアップ等もともと顔が大きい画像ではあまり効果が無いかもしれないです。

SEGSから直接imageにしてサイズを取ることで顔が検出できなかった時のエラーを回避できたので、顔無し画像でも止まらず実行できるはずです。

4Kまでアップスケール

  1. ultimate sd upscalerでアップスケール

  2. 4Kアップスケールしたものをjpgで保存

ここもsteps,CFGの設定があるので各環境に合わせて設定を。

PNGで4Kサイズだと1枚10MB超えてくるので、jpgで保存する設定になってます。他の保存形式がいいって方は2.で設定してください。

以上。
なるべくNAIの雰囲気そのままアップスケールしたいなと思って組んだワークフローでした。

いいなと思ったら応援しよう！