IMG2IMG 処理の本領をようやく知る。（NMKD StableDiffusion GUI ）
ようやくRTX4060 搭載のノート機、MSI 社のBravo 15 C7V
（Ryzen 7/ メモリ 16GB/ 512GB SSD/ GeForce RTX 4060）
を入手出来、1 枚の描画に4 時間かかっていたのが30 秒
くらいで結果を得られるようになり、狂喜の毎日です。
オープンソースによる技術公開の産物であるAI 描画エンジンを
クラウドサービスで提供するサイトは、無償範囲では描画の
枚数を制限するもの、表現によって結果表示を制限するもの
などいろいろあって、「他人の褌で相撲をとる商売」みたいな
感じをあまり感心しませんでした。
なので、その種のサイトの中ではまだ良心的なmage.space でも
月15ドルの有償契約には進まず、ローカルPC で制限のない描画に
こだわろうとしました。
そんな経緯からCyberpunk 系やSF の設定作例が豊富なmage.space
はNSFW に抵触しない範囲（なら無償で使わせて貰える模様）で
いろいろプロンプトを試させて貰う（無償ではLoRA ファイルは
使えず、プロンプトでの表現に凝る必要あり）一方で、
ローカルPC でのNMKD StableDiffusion GUI ではCivitAI から
作例を参考に入手した描画モデル（CheckPoint ファイルやLoRA
ファイル）を使って、無償では描画モデルの選択に制限があった
mage.Space で出来なかった人物などの描写の詳細（冒頭の表紙画像
が一例）にこだわる運用を始めました。
そんな中、mage.Space で得られたようなCyberpunk 系の背景に対して
人物描写にこだわったNMKD StableDiffusion GUI での描画では
その両立が難しい感じの足踏みが続きました。
CheckPoint ファイルが人物描写の子細にこだわるものを使って
いるのですから、まあ当然と言えるでしょう。
そこでふと思いついて（ここが1 枚描画4 時間の世界を卒業した甲斐
というものです。すぐに試せますから。）、NMKD StableDiffusion
GUI の TXT2IMG の部分で人物描写にこだわり、その下段のIMG2IMGに
mage.Space で気に入った背景のダウンロードした画像を指定すると
背景画像の人物のところがTXT2IMG の人物描写に置き換わりました。
画像レタッチソフトでのレイヤー合成処理の際に不可避のマスク処理
なども一切なしにやってくれます。
背景画の人物のサイズとポージング（シルエットかも）に合わせて
人物描写がはめ込まれます。
例えば、このmage.Space で得られたCyberpunk な画像をIMG2IMG で
ローディングしておいて…。
TXT2IMG で人物描写にこだわった処理をすると….。
人物の部分だけが置き換わり、背景も幾分清書描きの要領でなのか、
描き換えが為されました。
人物が小さいので、もう少し大き目に仕上がった後ろ向きの人物が
描かれたmage.Space での描画をIMG2IMG で指定して、TXT2IMG で
人物描写すると….。
ポーズなどが背景画に影響されつつも、正面向けに人物が描かれました。
TXT2IMG で指定していない髪型まで背景画に引っ張られた印象です。
無償範囲では描画モデルの選択肢が限られ、人物描写にどうしても
不満が出てしまう（しかし月15ドルは払いたくない^^;）mage.Space
でのこんな描画を背景としてIMG2IMG に設定すると….。
こんな感じに背景と人物の合成が出来ました。
同様に….。
こんな仕上がりになりました。
もう1 枚。ちなみにこの描画ではmage.Spaceの時と違い、惑星探検用に
ふさわしいスーツとヘルメットなどを明示指定してこだわりました。
IMG2IMG って、そういう役割の処理だったのですね。
今まで参考にさせて頂いたStableDiffusion GUI に関する多くの解説
サイトでは「IMG2IMG は、例えば手書きで描いたラフ画をもとに
清書描画に仕立ててくれる」という説明がほとんどで、私はこの効果を
知りませんでした。（ちゃんと仕様解説書で学べ….と言われそうですか）
NMKD StableDiffusion GUI の1 画面に何故TXT2IMG とIMG2IMG の両方
があるのだろう、別タブ画面にしないのかな、とずっと思ってましたが
それは「同時に使えるよ」ということだったのですね。納得です。
「背景画と人物描写のコントラストを合わせる」などのプロンプトを
追加することで、切り貼り合成感も緩和されるようです。
mage.Space には悪いですが(^^;)、ますます無償範囲での使い出が
上がりました。
そしてどんどんAI 描画の沼に沈んで行きます。
1か月少し前の夏風邪でのダウンが無ければスルーしてしまっていた
筈の世界でしたが、もう止まりません….(^^;)。
ご覧いただきありがとうございます。