【AI Upscaler】最近のアップスケーラを試す【うなじの美学】

はじめに

筆者はリアル系画像のモデル・アップスケーラとして次の２つのAIモデルを良く利用しています。

• 4xNomos8kHAT-L_otf（HATモデル）

• 4x_NMKD-Superscale-SP_178000_G（ESRGANモデル）

常に新しい手法・アーキテクチャ、学習セットを利用したものがアップデートされているため、比較的最近のものもチェックしてみました。

※ 記事で紹介したものは、下記データベースより入手できます。

OpenModelDB

※ 記事作成に利用したComfyUIのjsonファイルは有料の付録欄よりダウンロードできます。

結果

512x512解像度の元画像です。拡大しないと差がわからないので、拡大した首部分のみを掲載します。

元画像（AI生成でないリアル画像）

首元の拡大（元画像）

以下簡単なアップスケーラモデルファイル名の用語説明です。

• 4x：4倍拡大モデルである事を意味します。1024x1024であれば4096x4096に拡大されます。

• Nomos/Nomos2等：学習データ・セット（写真）の名称です。

• otf：（on the fly augmentations）学習時にデジタル加工やノイズ、他のAIアップスケーラなどを利用して多様性を増やし学習強化する手法です

• drct/hat/dat/esrgan/atd等：アップスケーラ手法です。

4xNomos2_hq_drct-l

劣化のない綺麗な画像に最適なモデルです。

アーティファクトも少なく良好

4xNomos2_otf_esrgan

otfにReal-ESRGANを用いたモデルです。綺麗な画像・ノイズのある画像に最適です。

少しアーティファクトがありますが良好

4xNomos2_realplksr_dysample

70%クオリティJPGに画質を落としたもので学習したモデルです。JPG画像のアップスケールに最適です。

少しのっぺり感があります。

4xNomos2_hq_atd

劣化のない綺麗な画像に最適なモデルです。

JPGノイズが増幅しているように見えます。
JPG除去フィルターを利用したり、さらに高画質な画像の方が良かったかもしれません。

4xNomos8kHAT-L_otf

以前から筆者が良く利用しているモデルです。コントラストが失われる傾向がありますが、アーティファクトを生成せず、のっぺり感もありません。劣化のない綺麗な画像に対して最適です。

好みもありますが、バランス良い品質です

4x_NMKD-Superscale-SP_178000_G

以前から筆者が良く利用しているモデルです。劣化のない綺麗な画像に最適です。このモデルはノイズも増幅（追加）させる傾向があるため、Stable Diffusionのimg2imgやhires-fixなどの手法と合わせて利用すると良い結果を出します。

ノイズは増えますが、AIアーティファクトはあまり出ません

4xFaceUpSharpDAT

以前からあるモデルですが、顔専用です。綺麗な画像に最適です。ただし、顔以外にアーティファクトを生成しやすいため、マスクありで利用した方が良いと思います。

さすが専用モデルです。最も良い結果だと思います

ComyUIワークフロー紹介

記事作成に利用したComfyUIワークフローです。

アップスケーラ比較（全体）

左から説明していきます。

1X JPGノイズを除去のみ（今回はノイズのない画像なのでスキップ）

1024を超える解像度を自動で縮小します。アップスケーラを利用するコツとして、ピクセル解像度と画質のバランスの良いものを選びます。

画像サイズの変更

各種モデルでアップスケールします。Image Compare(rgthree)カスタムノードを利用してマウスドラッグで左右比較できます。

モデル・アップスケール

上手くアップスケールできた画像を４つまで選択して合成します。３つ以下の場合は重複選択させて重みを調整します。

保存

上記例では、

• 4xNomos2_hq_drct-l

• 4xNomos8kHAT-L_otf（重み二倍）

• 4x_NMKD-Superscale-SP_178000_G

の３つを最終的に選択して合成しています。

まとめ

さらに限界を超えてアップスケールするためには、Stable Diffusionなどの画像生成AIのimg2imgを併用する方法があります。

付録

本記事で利用したComfyUIワークフローを添付します。記事支援いただける場合はぜひよろしくお願いします。

※ アップスケーラのsafetensorやpth拡張子のモデルファイルはComfyUIフォルダの「models」→「upscale_models」に保存すると利用する事ができます。