Stable Diffusion背景なしの自キャラ立ち絵出力メモ(img2img編)

久しぶりにNote記事を書いているエルティアナです！先週末からBCGのブレイブフロンティア ヒーローズ(以下ブレヒロ)にはまってずっとプレイしていました！

ブレヒロを始めてみた！というブログ記事を書いていて、記事が出来たので、そのアイキャッチ画像を作成しよう！と思ったところ、いつもStable Diffusionで私の立ち絵を出力していた手順をすっかり忘れていて…

やり方は自分のPCのどこかにExcelでまとめてたと思ったのですが、それを探すのが億劫…ということで、いつでもNoteに来れば確認出来るようにしよう！と今回記事を書いています！

完全に自分用という感じで恐縮ですが、これまでに制作したLoraやVroidStudioで作った3Dモデルなんかも活用するので、ぜひ同じようなことをしたい！という方がいらっしゃいましたら、読んでいってくださると嬉しいです！

1.Vroidで立ち絵出力用のモデル画像を出力

Vroidで作成した私のモデル(VRMデータ)をVroidStudioで開いて、立ち絵出力をStableDifusionで行うための元画像を出力します！

ちなみにVroidでのモデル製作はほんとに誰でも簡単に作成できるのですが、最近ちょっとだけ凝ったカスタマイズをしていて、その手順を下記の記事で記載しているので、よろしければこちらも読んでみてください♪

開いたモデルを「撮影」機能で適当にポーズを変えて画像保存しました！

02.Stable Diffusionで画像生成(img2img)

img2imgで、保存した画像を読み込んで、自分のお気に入りのモデルを使ってimg2imgをやってみました。

ちなみに、また今度ControlNetの復習のために、txt2imgの生成も試してみたいと思っているのですが、img2imgであれば背景については確実に出てこないだろうと踏んで、その辺りは触れていません…！

02-1.画像解析によるプロンプトベースの出力

まずは画像を読み込んで、【Clipによる解析】を押して、プロンプトを取得。

出てきたプロンプトがこちら

a girl with pink hair and a white shirt and black skirt is holding a cell phone in her hand, Chizuko Yoshida, happy, a stock photo, dada

いらなそうなプロンプトを消したりして調整

a girl with brown hair and a white shirt and black skirt, Chizuko Yoshida, happy, a stock photo, dada

↑のプロンプトに私がいつも使っているネガティブプロンプトを加えて何回かパラメータの調整もしながら生成した結果、よさげなものがこちら！

a girl with brown hair and a white shirt and black skirt, Chizuko Yoshida, happy, a stock photo, dada
Negative prompt: EasyNegative, bad-hands-5
Steps: 100, Sampler: DPM++ 2M SDE Karras, CFG scale: 10, Size: 1726x1248, Model: SakuraMix-v4, Denoising strength: 0.52, Clip skip: 2, Version: v1.3.1

まあこれでいいかなぁという感じなので、以下、せっかくなので追加で試してみた結果を踏まえて、一番いいと思ったものから、指の本数がおかしいなどの最低限の修正を加えて、ブログ記事アイキャッチ画像用の素材にしたいと思います！

02-02.自作Loraを加えてみる

上記の結果をベースに、依然私が自分のキャラを学習させたLoraも重ねるとどうなるか、メモとして残しておきます！Loraについてご興味がある方は、以下の当noteの一番人気記事もぜひ読んでみてください♪

結果どうかなーというと、

a girl with brown hair and a white shirt and black skirt, Chizuko Yoshida, happy, a stock photo, dada, close eyes,<lora:eruthianaver2:0.3>
Negative prompt: EasyNegative
Steps: 90, Sampler: DPM++ 2M SDE Karras, CFG scale: 10, Seed: 1694037356, Size: 1726x1248,Model: SakuraMix-v4, Denoising strength: 0.5, Clip skip: 2,

なかなかいい感じです！

Loraの濃さは0.3くらいにしたのですが、手の破綻がなぜか減って、服や髪のリボンなどの統一感が出たかな！という印象で、これは適用した甲斐があった感じです！なお、全体的にクオリティを上げてほしかったので、画像サイズをVroidで出力した元画像の1.3倍程度のサイズで出力しました。

これを元に、指の破綻だけ修正して、今回の素材にしたいと思います！

ということで編集完了したのがこちら！

まとめ

いかがでしたか？こんな感じで、自分のキャラクターに好きなポーズをとらせたり、好きなシチュエーションのイラストを、多少の工夫は必要ですがだいたい1時間もあれば生成して調整もできる時代になり、本当に幸せです！

毎回、出来たと思ったら時間が経ってやり方を忘れていて…という悪習慣があって、とりわけStable Diffusionは楽しいんだけど苦手意識があるので…こうやってやりかたをNoteに残していくのは自分的に絶対価値があると思うので、今後も続けていきたいと思います！

そんな中で、もし皆様のご参考にもなったらとても嬉しく思います！

引き続き、何卒よろしくお願いいたします！