AI画像生成のフローの途中に手描きを取り入れて表情を変える

画像生成AIはプロンプトだけで表情を調整していく方法もありますが、途中に手描きを経由させることでイメージに近い表情に持って行けることもあります。

ということで、今回は生成過程の後半で手描きを経由して表情を変える流れについて。ついでに普段、宇城がどんなところを微調整しているのかを参考までに触れてみます。

元画像をStable Diffusion XLで生成

まず最初にStable Diffusionで生成した画像がこちら。これをこのまま、あるいは微調整して完成させるのでもよいのですが、同じparted lipsというプロンプトが反映されてしまったため2人の女の子の表情に差がありません。そこで今回は、向かって左の子の表情を変えていくことにします。

お絵描きソフトで表情を上書き

まずは画像をお絵描きソフトに読み込んで、レイヤーを上から重ねてそのレイヤーに変えたい表情をざっくりで描き込みます。
私はいつもどおり「生成AIは私たちの未来ではない。」でお馴染みの（？）Procreateを使いました。
この際、重ねるレイヤーは少しだけ透明にしておくと、元の顔のパーツ位置が把握できるので作業しやすいです。

Stable Diffusion XLに戻してi2iで表情を生成

お絵かきソフトで表情を描き込んだ画像をStable Diffusionに戻して、左の子の顔部分だけi2iで補正していきます。

このときDenoising Strengthの値が高すぎると一気に表情が変わってせっかく手描きした表情が無視されてしまうので、軽めの値で調整しながらしだいにイメージに近づけていく感じで何度かi2iを繰り返していきます。

複数回の軽いi2iを経た画像が下になります。だいぶイメージに近い表情になったので、表情はいったん確定させてここからは細部補正です。

NovelAIのペイント機能で細部の破綻を補正

まず右の子の服はリボンの形が変なので、今回ここはNovelAIの強力な補正機能に頼ることにしましょう。NAIに放り込んで、i2Iでリボン部分だけ「ribbon」のプロンプトで再描画してもらいます。

下の画像のように、リボンをそれっぽい形に補正することができました。

次は右の子が左の子に回しているであろう手（画像の左下部分）のかたちがよくわからないので、今回はこれもNAIの補正を使ってカットしてしまいます。ついでに、右の子の向かって右側の目の下にある毛のような影も主張しすぎているので補正。こういう目の下から生える毛とか影って、AI生成では出てしまいがちなノイズですよね。

だいたいこんな感じで違和感なくなったでしょうか。

レタッチアプリを使って細かな部分の補正

あとは細かな部分。メイド服の細部の白い点や細かな装飾が気になるので、もっと全体がシンプルになるように変更していきます。

この作業は今回、スマホのRetouchというアプリを使って部分補正をかけました。スマホは指でダイレクトにいろいろ作業できるので、私の場合はついPC→スマホ→PCといった感じでデバイスを行き来してしまいがちです。

合わせて、メイド服の袖にあるボタンもなんだか邪魔な気がしたのでカット。

再びProcreateを用いて、向かって右の子の頭の形も少し補正を入れて頭頂部が大きく見えすぎないように調整、黒目のサイズも左右がもう少し均等になるように変えました。

最後にStable Diffusion XLで目元の調整を行って完成

画像右側に黒いラインが入っていたのでトリミングでカット、最後にStable Diffusionに持っていって右の子、左の子ともに目の部分だけi2iでより精細になるように描画しなおしてもらって完成です。（目元のメイクは大事）

ビフォー／アフター比較

元画像とSNSに投稿した画像の比較です。

表情を変えたいキャラだけ、i2iを使って顔部分のインペイントでプロンプト補正する方法もありますが、プロンプトでなかなか出にくい表情や微妙な顔つきなどを取り入れたいときは、途中に手描きをザックリ挟むと意外と簡単に反映させることができたりします。

以上、ご参考までに手描きをちょっとだけ経由する方法を紹介してみました。