仮面ライダーとアウトペイント(11/21追記)

アウトペインティングはX/Yプロットのように、パラメータによる変化を一覧に作れないので、適当にやってると堂々めぐりしてしまいます。
一度、順に作ってメモしておこうと思いました。

唐突ですが Dreambooth で 仮面ライダーを学習。電王です。
最初、昭和ライダー１号でやろうと思ったけど、解像度の問題と、初代ってマスクがいろいろあるんですよね。腕の線も線なしと2本線がある。
統一した画像で揃えるのが中々面倒でやめました。

学習データはこんな感じ

ちょっと関係ないけど、ckptファイルが出来たのでフォルダに入れてプロンプト、kamen-rider-denoh ポチッ・・・

元から入ってたヒーロー

あれ？何だこいつらは？
実は単に学習モデルを切り替え忘れていただけなのですが、kamen riderという概念は元々SDに入ってるんですね。
仮面ライダー同士が干渉するのはそうそう問題にはならないと思いますが、以前女の子のキャラクターをモデル化したら度々謎のおっさんになるという現象に出くわしました。検索しても出てこないどこの誰かわからないおっさんです。短いユニーク名はカブリがないか、モデルを作る前に一度プロンプト打って見た方が良いという教訓。

そして学習モデルを入れ替える

うん、ちゃんと出てる。人間だったら奇形になってしまう物も仮面ライダーの場合は新種のライダーになってしまう。これはこれで面白い。

ランダムにアートスタイル追加したりして、適当に回していると、
お？この油彩画タッチと背景いいな。・・・上半身ないけど。

oil paint of person [kamen-rider-denoh:5] is running in ruined city , upper body , buildings , rubble, explosion, plume, concept art, hyper detailed, natural lighting, trend of artstation , Buckminster Fuller, Georges Seurat, Conor Harrington
Steps: 20, Sampler: Euler a, CFG scale: 7.5, Seed: 2521509325, Size: 512x512

prompt

よし、これに上半身つけ足してみよう。
まず、以前やったシードリサイズを試してみます。

あちゃ～？何だかボロボロに崩れてしまった。
仕方がありません、それではアウトペイントで。

※11/21 追記 下記不具合でした。

11/12日のコミットに戻すと挙動が全く変わりました。
引き続き調査中

Poor man's outpainting

Steps 100
CFG Scale 30
Denoising 0.5

あれぇ？こんなんだっけ？背景がほぼ単色。
以前の記事でゼロの使い魔やった時はこれで綺麗に背景広がったんだけどなぁ。キャラクター自体は512*512の枠に収まってたからまた条件が違うのか。機能や環境設定もいろいろ変わってるから、その辺の影響なのか、プロンプトの影響なのか。

デノイズの確認
Sampling Steps 100
CFG 30
Denoising 0.5, 0.6, 0.8,1.0

CFG Scale も30だと荒くなるので15位に落としてみる

背景が繋がっていると言えば繋がっているのですが、しょぼい。
もうひとつのアウトペイントやってみます。

outpainting mk2

Sampling Steps 100
Denoising 0.5
CFG Scale 4, 5, 7.5, 15, 20, 30

この辺のアルゴリズムの違いがよくわからないけど、取り合えず背景を描き込んでくれるようだ。

CFG 7.5
Denoising 0.4, 0.5, 0.6, 0.7, 0.8, 1.0

0.8の背景はうまく延長できてるのに、キャラクタは独り立ち始めちゃってる。背景を抜きにしてキャラクタだけあとで合成した方がいいのか。

この辺で妥協しておくか

この後、painthuaで試してみようと思ったのですが、
Automatic1111の機能拡張で不具合が出ているようで、今起動できません。
(discordでも話題が出てました)

もうひとつアウトペイント機能が追加されているんですよね。
まだ試してないのです。