Stable Diffusionでアニメ調背景画像を出す方法を試してみた！

どうもです🎵年内に1回は、環境テストのリハビリ的なピアノ練習配信をしたいと考えているエルティアナです！

今回、ピアノ配信を行うにあたって、高校の音楽室の背景を新調したいなと思ったのが記事を書くきっかけだったのですが、人力で描いていたときも、(案外？)生成AIを使うようになっても、優先度の高い女の子や人物のイラスト生成にばかり研究対象が向いてしまって、そういえば背景イラストを出す方法も勉強して(習得して)おかないとなぁ！と思ったので、いろいろやってみたことを記事としてまとめてみたいと思います！

※今回結構有益なものが書けたかな？と思うので、一部有料(SNS拡散していただけたら無料でお読みいただけるように設定させていただきます。何卒よろしくお願いいたします💦)

■今回出力したいイラストの前提
・高校の音楽室
・真正面にグランドピアノがあることを想定したカメラアングル
・昼～昼下がりの時間帯

とりあえず何も考えずに、A1111版で適当なサイズで、『high school music room』などとt2iをしてみたんですが、やはりt2iだとSD1.5系でもSDXLでも理想のものをポンだしは難しいですね…ということで、いろいろやってみたら流れ着いた感じで、そこそこ自分の理想に近い画像が生成できたので。
まずは今回の成果物！ということで共有します。

今回の成果物

一見すると音楽室？って感じではあるのですが、高校の校舎感と、私が配信する際はグランドピアノを正面から見た構図で自分の手前に配置しているので、そのカメラアングルで違和感のないイラストを生成したくて、そういう意味ではイラストのタッチも含めて今回かなり満足できる背景画像がつくれました！

イラストが出来上がるまで

①まずはt2i(SD1.5系モデルでControlnet)
成果物についてはまったくもってポンだしでは実現出来てないのですが、一つ一つ何をやっていったらこうなったのか、自分のメモ用にしっかり残しておきたいと思います。

まずt2iのプロンプトだけでは意図した構図が作れないので、自分が普段配信で使っているグランドピアノの素材をCNのinpaintで読み込ませて、AIに構図を理解してもらって、このピアノ素材に合うカメラワークでイラストを出してもらうように心がけます。
※ピアノ素材の改変は最終的に一切おこなっていません…！

使用するモデルはSD1.5系の以下のモデルで、当然ながらCotrolnetもSD1.5系のモデルを使用する形です！

Vsukiyaki/ShiratakiMix at main

CNの塩梅は以下のような感じ。

もちろん今回はグランドピアノ素材を改変する意図は無いので、グランドピアノ素材を元に、背景として映したい部分(画像生成したい部分)をペイントで指定して、試行錯誤の結果、プロンプトやHires.fixのパラメータなどは以下のようなものでいったんのイラスト生成ができました。

Prompt
(high school Spacious music room:1.5),(Bright room:2),Sunlight is filtering through the trees.,Seen from the front,window, outside scenery shows plants and buildings,indoor,some desk and chair are lined up.
Negative prompt
EasyNegative,Dark background,black wall,night,Musical instrument,PA equipment and lighting

Steps: 40, Sampler: DPM++ 2M, Schedule type: Karras, CFG scale: 7, Seed: 2454525036, Size: 1300x800, Model: ShiratakiMix-add-VAE, Denoising strength: 0.7, Clip skip: 2

この時点だと、ちょっと植物が室内に生い茂っていて、建物もかなりのお嬢様私立学園…！みたいな感じなのですが、右往左往してきた中ではかなりいい感じだったので、これを元に進めたいと思います。

②Photoshopの生成塗りつぶしで要らないものを削除
室内の植物生い茂りや譜面台みたいな小物がかなり散乱してるので、photoshopの生成塗りつぶしでこれらを出来るだけ消してみました。

③SD(SDXL)でimg2img
②でできた画像をSDのimg2imgに読み込ませます。
そして以下のプロンプトと設定で生成してみたら、かなりい感じのものができました！