新作ライトノベル制作にあたっての(個人的)Stable Diffusion研究(ContorolNET1.1メイン)★作例あり

先月は想定外の苦労をしながらもなんとか【契約書の罠】のリリースが出来ました…！(渾身の作品ですので、ぜひお手に取っていただけると嬉しいです！)

【AIコラボリメイク】契約書の罠 - Hair Salon Alocer DLshop - BOOTH

さて、8月も精力的に作品を作っていきたい！というところで、今月は【時を駆ける理髪師vol.2】のリメイクと、もう一つ、意外と(？)手掛けていなかった、ライトノベルの作品(いずれも成人向け作品)を考えていまして、加えて【契約書の罠】のリメイク時になかなか苦労した原画の描きなおしに伴う作業時間の膨張を抑えたくて、txt2imgをメインの作業フローを確立したくて、焦る気持ちの中ですが、新しく勉強できていなかったContorolNET1.1をメインに研究をしてみたので、まずはその成果というか進捗を記事でご紹介できればと思います！

ライトノベルの想定

ライトノベルは、これまでのAIリメイクと異なり、完全新作でお届けします！
テーマは【夏の花火大会の終わり】。付き合って数か月たつカップルの、ひと夏の出来事という設定で作品を作りたいと思っていて、そのとっかかりとなる一枚と、その後の本作の制作フローをひととおりイメージできるように、久しぶりにStable Diffusionの機能を純粋に研究(というか個人的な習得ですね…)をしました！

冒頭の一枚となるイラストをtxt2img(ControlNET)から作ってみる

まず、表紙になりそうな、花火大会中の一幕といった一枚を作ろうと、ここ最近、img2imgばっかりやっていて全然使えていなかったtxt2imgで、ヒロインと彼氏のイラストを生成してみました。

今回のイラストが実際の作品の表紙になるかはわかりませんが、取りあえず、ControlNET1.1の『scribble_xdogi』という、ラクガキからイラストを生成できる機能を使ってみたくて、以下のようなラクガキを作成してみました。

花火大会の終わり付近で、花火と夜景をバックに、彼氏がヒロインの頭のにおいを嗅いでいる…！というシチュエーションのイラストを出力したい！意図で、最低限これくらい描いたらいけるんじゃないかな？と個人的に考えたレベルのラクガキです。

これを『scribble_xdogi』を用いてtxt2imgした結果がこちら！

…個人的にはかなりうまくいった…！気がしています！
ただ、髪型がショートだったので、今度はControlNETの『inpaint_only』というプリプロセッサを使って、髪型だけを修正してみました。(その他表情などもいじってますが、メインは髪型を変えてみたということで…)

こんな感じで、ControlNETの『inpaint_only』というプリプロセッサを使えば、一度出力したイラストから変更したい部分(髪型や表情、背景も！)を変えることができるので、これはtxt2imgベースの作品制作フローに関する希望の光！と思います…！

Note記事では一部しか掲載できませんが、『inpaint_only』を使えば、着物を脱がすこともできてしまいます。
これは、img2imgのinpaintでは不可能だったので、私的にもかなり革命だ！と思っています！