見出し画像

追加比較:プロンプトに追従性の高い2.5 次元系のCheckPoint ファイルにRefiner 機能でリアル系を加味させて、さらに動画化してみる。

ローカルPC のStable Diffusion Web UI (AUTOMATIC1111 版)で
数多くのCheckPoint ファイルで描画を続けていると、リアル
(写実)系のCheckPoint ファイルは主な描画対象に質感がある
ので、背景は被写界深度的な表現(背景ぼかし)も味わい深く
なりますが、2 次元、2.5 次元の描画をするCheckPoint ファイルは、
その逆なのか、背景まで緻密に描こうとする(パンフォーカス的
表現)傾向をよく感じます。

私のような特殊な状況を描かせたい者にとっては、その両方の
表現を必要として使い分け出来ることは、ありがたいことです。
背景の異星最前線の状況を精緻に出したい場面と、心理描写的に
背景を飛ばしたい場面の使い分けが出来るということですから。

プロンプトでの指示でもある程度は効果を効かせることは可能
ですが、このCheckPoint ファイル が持つ傾向をうまく利用する
ことも有用です。

2.5 次元の描画をするCheckPoint ファイルの中でも、お気に入りで
よく使うものに、breakdomain_M2150.safetensors と 
starlike_v20.safetensors があります。

どちらも描画の癖がよく似ていて、彩度がやや低め、描画主体より
背景をリアルに奥底まで緻密に描こうとする傾向があります。
(彩度は描画中は普通なのに、終了と同時にストンと落ちる感じです。)

直近記事の続きとして、同じ「平凡な日中で晴天、街中の背景」での
描画にしてみました。CheckPoint ファイルの差を比較する続きとしては
一番大きな差がある部分になります。

breakdomain_M2150.safetensors による静止画です。

breakdomain_M2150.safetensors による静止画

starlike_v20.safetensors による静止画です。

starlike_v20.safetensors による静止画

どちらの画も描画主体の人物はリアル(写実)からは遠い絵画調
である一方、背景はあくまでそれに馴染む範囲ながら緻密に描かれて
います。

ついでながら、それぞれで動画も描画しました。

breakdomain_M2150.safetensors による動画です。

breakdomain_M2150.safetensors による静止画

starlike_v20.safetensors による動画です。

starlike_v20.safetensors による動画

背景で車が動いたりするのは、リアル系のCheckPoint ファイル動画では
なかなか見られません。(大抵は背景ぼかしを装って描画省略されます)

普段、異星でのサイバー探検隊員の描画には、これらの背景もプロンプト
追従がしっかりしたCheckPoint ファイルを使って、人物と背景の詳細を
描画させつつ、Stable Diffusion Web UI (AUTOMATIC1111 版)の
Refiner 機能でリアル系のCheckPoint ファイルの描画を加味させて
表情など細かい部分を塗り替えしています。

今回は同じ手法を先の記事と同じ「平凡な日中で晴天、街中の背景」
での描画に適用してみました。

breakdomain_M2150.safetensors に Refiner 機能でmeichidarkMix_meichidarkV45.safetensors を0.2 (後者を80%)
加味した静止画です。

breakdomain_M2150.safetensors に meichidarkMix_meichidarkV45.safetensors を
0.2 (後者を80%)加味した静止画

starlike_v20.safetensors に Refiner 機能でmeichidarkMix_meichidarkV45.safetensors を0.2 (後者を80%)
加味した静止画です。

starlike_v20.safetensors に meichidarkMix_meichidarkV45.safetensors を
0.2 (後者を80%)加味した静止画

それらを meichidarkMix_meichidarkV45.safetensors 単体での静止画と
比較します。

meichidarkMix_meichidarkV45.safetensors 単体での静止画

パンフォーカス的描写と被写界深度的描写の両方を使い分け出来て
いて、私にとってはとても有用です。

meichidarkMix_meichidarkV45.safetensors 単体での動画は、先の
記事でも披露していますが、無理のないサイズ(512 pixels 正方相当
の 640 × 400 pixels 程度)なら十分実用範囲でした。

meichidarkMix_meichidarkV45.safetensors 単体での動画

静止画では一つの理想到達点と言える、breakdomain_M2150.safetensors や
starlike_v20.safetensors など2.5 次元のCheckPoint ファイルを全体描写に
使い、仕上げをRefiner でmeichidarkMix_meichidarkV45.safetensors などの
リアル(写実)系のCheckPoint ファイルを加味する描画ですが、
既にGPU のVRAM メモリ使用が上限に近く、単体のCheckPoint ファイル
での動画と同じ操作では、メモリ不足エラーで終わってしまいます。
画像サイズを小さくしても、まともな画になりません。

ここで長い間、諦めていたのですが、生成コマ総数を48 から16 に
落としつつ、100 pixels 正方から徐々に画像サイズを大きくして行き、
ついには単体のCheckPoint ファイルでの動画化と同様に640 ×400 
pixels でもエラーなしに生成出来ることを確認しました。

breakdomain_M2150.safetensors に Refiner 機能でmeichidarkMix_meichidarkV45.safetensors を0.2 (後者を80%)
加味した動画です。生成コマ総数を減らしたので、再生速度も
4 コマ/秒に落とした結果、動きはやや硬いですが。

breakdomain_M2150.safetensors に meichidarkMix_meichidarkV45.safetensors を
0.2 (後者を80%)加味した動画

starlike_v20.safetensors に Refiner 機能でmeichidarkMix_meichidarkV45.safetensors を0.2 (後者を80%)
加味した動画です。

starlike_v20.safetensors に meichidarkMix_meichidarkV45.safetensors を
0.2 (後者を80%)加味した動画

どちらの動画もおおよそ10 画ほど描画させたもののうち、ほぼ
奇跡的にまともだったもので、多くはクローズアップでない構図に
おいて顔の変形などが目立ちました。
breakdomain_M2150.safetensors、starlike_v20.safetensors それぞれ
単体による動画の時点で既にクローズアップでない構図では顔の
詳細が不明確になっていたことも影響しているのでしょう。

この公開した2 動画も、静止画で到達した水準を活かせた結果とも
言えない感じで、質的にリアル系CheckPoint 単体での動画を超えては
いません。

ただ、背景がぼかし省略されることなく描画されて動くという
大きな特徴(パンフォーカス描写)はきちんと備わっていましたし、
長い間、諦めていた複数CheckPoint ファイル(Merge 機能では
なくRefiner 機能でのブレンド)を使った上での動画化も、画像
サイズを落とすのでなく生成コマ総数を落とすことでメモリ
不足エラーをどうにか回避出来た、という発見は自らのノウハウ
になりました。

上掲の静止画をLeonardo.Ai のimage to Image機能で取り込み
(その際、描画プロンプトもきちんと与えて)Image2Motion
機能で簡易動画化してみたものを比較したかったところですが、
何故か生成したMP4 動画からオンライン変換したGIF ファイル
のサイズが大きく(今まで6 MB前後だったのが13 MBほど)
なってしまい、両方ともnote へのアップロードが失敗して
記事に掲載出来ません。

MP4 のまま2 動画をつなげてYouTube で公開したものを添えます。
ショート動画はPC では大きく表示されないので、それを避け
1 分以上になる長さまで2 動画をリピートさせました。


ご覧いただきありがとうございます。




この記事が気に入ったらサポートをしてみませんか?