
Upscaylを使用して高解像度化できるか試してみる
こんにちは!
KsAbioneKです。
今回はDrawThingsユーザーとして少しアップスケーリングに不便さをかんじているので、外部ツールをつかってそれを補おうとした実験結果をまとめたいと思います。
そもそも問題点
DrawThingsでのリサイズがよくわからない問題。
SDなどでは小さい画像で生成後、i2iへ転送してリサイズ、inpaintなどで修正、アップスケーリング・・・などの工程を繰り返して画像を仕上げていく方が多いかとおもいます。
一方でDrawThingsでは一度の設定で本番までいけるようなコンセプトなのか、細々修正しながら大きくしていくということにはあまり特化していないような感覚を使用していて感じました(個人差があります!!!私の勉強不足の可能性も!!)
SDと比べてリファレンスが少なく、TileやContrlNetの使い方がイマイチわからない状況に追い込まれたのでまずアップスケーリングしてリサイズ!ができる外部アプリケーションを探そうとなったわけです。
フリーで使えるUpscaler「Upscayl」
スケーリングモデルには
おそらく実写写真系を想定したモデル
GENERAL PHOTO - [REAL-ESRGAN] [FAST REAL-ESRGA] [REMACR] [ULTRA MIX BALANCED] [ULTRA SHARP]
そしてデジタルアートを想定したモデル
[DIGITAL ART]
が入っています。
なんとVideoも対応してるとか!設定によって1〜4倍最大16倍までアップスケーリングしてくれるとか!(大きさがやばい)
というわけでDrawThingsで出てきたイメージを高解像度化していけるのか実験してみました

BDさんの記事を読み、ぷるぺんさんによる「wakame74法」にて生み出されたこの子は果たして綺麗になるのでしょうか?
wakameなんぞや?の方はこちらをご参照ください
プロンプトはこちら(下がネガティブです)
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), extreme detailed, colorful, highest detailed ((ultra-detailed)), ((an extremely delicate and beautiful)),
BREAK,
(1 girl, solo:1.5), messy colorful hair above the eyes, slender, oversized hoodie,
BRAKE,
wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame,wakame
wakame,EasyNegativeV2,[:(negative_hand-neg:1):13],(worst quality:1.5),(low quality:1.5),(normal quality:1.5),(watermark),(white letters),(manicure),(nsfw), out of frame,
Steps: 60,
Sampler: DPM++ 2M Karras,
Guidance Scale: 7.8,
Seed: 404804404, Size: 576x384,
Model: lastpiececore_a0751_f16.ckpt,
Strength: 1.0,
Seed Mode: Torch CPU Compatible,
CLIP Skip: 2, Sharpness: 4.7,
Refiner: wintermoonmix_v1_f16.ckpt, Refiner Start: 69%,
LoRA 1 Model: flat2_lora_f16.ckpt, LoRA 1 Weight: -0.9, LoRA 2 Model: more_details_lora_f16.ckpt, LoRA 2 Weight: 0.6
手書き線画風のイラストが好きなのですがこれをそのままアップスケーリングしてしまうとベタっとしてしまいます。。。

576x384から2304 × 1536
このままでは修正する際2304 × 1536で行わなければならないので非常に時間がかかります。これをまた576x384にリサイズするという工程がDrawThingsには見当たらない。。。
それではUpscaylを各モデル順に使用したものをご紹介します。画像はすべて4倍にしてからリサイズという工程をとっております。x16はオマケとして4倍をもう一度4倍してリサイズしています。
この工程はすごーく時間がかかったのであまりおすすめしません!参考程度にご覧ください。
GENERAL PHOTO(実写用)
[REAL-ESRGAN]

[FAST REAL-ESRGA]

[REMACR]

[ULTRA MIX BALANCED]

[ULTRA SHARP]

イラスト用モデル
[DIGITAL ART]

かなりよく見ないと分かりませんが、髪の細かさや肌の感じがイラスト用モデルよりも繊細に描かれていると感じました。
個人的に ×4 でも ×16 でもあまり差異が出なかったULTRA SHARPが生成スピード的にもオススメです。(×4でM1Mac mini 16G で20〜30秒程度)
生成した画像は 576x384 リサイズしてあるのでi2i で取り込み再度書き込み、修正で追い込んでいけそうです。
SD単体の方々はあまり必要ないツールかもしれませんが、DrawThingsユーザーや、最終仕上げ用アップスケーラーとしてUpscaylは選択としてアリかもしれません!
おまけ
URTRA SHARP からtileでUPSCALEしてUpscayl通してみました
