絵描きがお絵描きAIを駆使してより良い絵を描く方法を真剣に考えてみた
最近話題になったり、AI絵師の登場で荒れたりしてるAIお絵描きツールですが、ごく普通の絵描きがAIを自分のイラストに何とか生かせないかここ1ヶ月ほど試行錯誤してきたまとめです。
動機：オリキャラのイラストを楽してたくさん描きたい（生成したい）
使用したお絵描きAIはStable Diffusion、Midjourney、TrinArt、NovelAI Diffusion。
AIツールを使って楽する方法を考えてみた
1. 背景だけAIで生成する
背景を描くのが苦手な人（私）、キャラを描いたはいいけど背景が思いつかなくて白背景になりがちな人（私）向け。
とりあえずこんな感じのダイヤちゃんを描いてみました（オリキャラを描くと言ったけどこれだけ版権です）。
白背景だと寂しいのでStable Diffusionでいい感じの背景が作れないか試してみます。結構前だからもうプロンプト忘れたけど、1時間ほどで満足のいく画像が得られました。
よくわからないけど究極に雰囲気いいね！？！？？Stable Diffusionセンスの塊か？？？？？
いい感じにイラストになじみそうな背景が得られたら、あとは合成してキャラのライティングを調整、好みで色を調整したり背景にぼかしをかけたりして完成です。
背景に水彩で上塗りしたりしてみましたが、私の画力だと中途半端に手を入れるよりAIの絵をそのまま使った方が良いことがわかっただけでした。そのまま使っても白背景よりかなりクオリティが上がった印象。
キャラに合う何となくいい感じの背景がほしい人向け。
2. AIが描いたキャラクターの頭部を消し飛ばして自分で頭を描く
自分のオリキャラを時短で描きたい人向け。
■やり方
AIに二次元キャラ風イラストを描いてもらう
↓
Stable Diffusion Infinityのアウトペインティング機能で背景を拡張
↓
Photoshopでキャラの頭を消し飛ばす
↓
手描きで1から頭を描く
↓
全体を加筆修正
まずMidjourneyに良い雰囲気の背景・ライティングのイラストを描いてもらいました。正直顔やバランスは微妙ですが、消し飛ばす前提なので衣装や背景の雰囲気重視です。
この背景の情報量だとフォトショで頭を吹っ飛ばした時に背景がちゃんと補完されるか不安なので、イラストをStable Diffusionに突っ込んで、アウトペインティング機能で背景を拡張します。
かなり良い雰囲気なのでは。
髪の毛が背景と同化したり、背景の一部が袖に引きずられたりしてるのがAIらしくて面白い。
あと元から若干キメラな感じあったけど、ドレスの下半分は完全に実写になりました。
さすがに拡張した時の境目が目立つので、少しレタッチします。img2imgでの修正と人力レタッチの両方を試してみましたが、img2imgだとキャラや背景がどうしても多少は変わってしまうので、そのままのイメージを残したい場合は人力レタッチに軍配が上がりますね。
そしてお待ちかねの消し飛ばしタイム。
フォトショのスポット修復ブラシツールで消したい部分をなぞるだけで、周りの背景からそれっぽい背景を補完してくれます。勢いあまって消し飛ばしすぎた。
ともあれ下地は完成。あとは自分の好きに顔を描くだけ。
完成です！ぱっと見それほど違和感ないのでは？元のイラストの雰囲気を残しつつ、バランスの取れたイラストに仕上げられたと思います。
この方法の良い点は、参考元がないとなかなかできないライティングに挑戦できるところ。
自分で1から描くとしたらこんな青みがかった色を肌に使う勇気ないし、こんな雰囲気の絵は描けないと思う……。参考画像があるのとないのとでは色を塗る時の効率が全然違います。髪のウェーブも元のイラストを再現したらいい感じになりました。
悪い点は、元のイラストの雰囲気に合わせないと統一感のない絵になる点です。今回のイラストだと、普段よりかなり線画を細くし、色塗りの後から描く形式を取りました。
あとは消し飛ばされた子がかわいそうってことですかね……。「AIの絵だからって勝手にキャラの頭を吹き飛ばすなんて許せない！」派っているんでしょうか。いたらごめんなさい。
3. AIの絵から構図をパクる
人様の絵でやったら炎上することも、AIの絵なら何の問題にもならない点もAIイラストの強みです。
一枚絵向けの構図はNovelAI Diffusionが圧倒的に強いなと感じました。イラストとしてポピュラーで魅力的な構図が無限に生成できるので、お好みの構図が出るまで出力して、あとはそれを元に自分の絵を描きましょう。
とりあえず百合のイラストが描きたかったので、まずはベッドでイチャイチャしてる百合のイラストを50枚くらい生成しました（ちなみにNovelAI Diffusionではyuriは全然OKだが、MidjourneyではなぜかNGワードに指定されている）。
NovelAI Diffusionは手や体全体のバランスが他のお絵描きAIに比べて圧倒的に優れていますが、複数人のイラストは苦手なようで、複数人を描かせると変な腕や足の生成率が跳ね上がります。それでも全体で見ればかなり魅力的な構図を出してくれるので、自力で修正する力があれば全然使えます。
気に入った構図のイラストを見つけたのですが、足が不自然な感じだったので、そのイラストを元に何枚かバリエーションを生成して、自然なイラストも出力しました。これらを合成して絵の下地にして、その上から自分で絵を描きます。
NovelAI Diffusionは服の皴もかなりきれいに描いてくれるので、使えそうなところはトレスしてもいいと思います。
これはもう構図を参考にしたのを除いては完全に自分で描いた絵ですね。
私は構図を考えるのが苦手で、ポーズ人形を動かしてはあーでもないこーでもない、どこでトリミングするかを考えてはあーでもないこーでもないと一生悩んでる人間なので、その過程をすっ飛ばせるのはとてもありがたいです。
AIで絵を生成するのにも時間かかるけど、一人で悩んでるよりいろんな資料見てインスピレーション得る方が時間の使い方としても効率的。
悪い点というか気を付けるべき点は、ある程度の画力がないとAIの描いたイラストの歪みに気づけなくて、気づかないまま歪んだ絵を描いてしまうこと。NovelAI Diffusionはかなりバランスの取れたイラストを描いてくれるとはいえ、バランスがおかしい場合も多々あるので、歪みに気づいて自分で修正できる自信がないのであれば、この方法はおすすめしません。
逆に自分で修正できる人であれば、魅力的な構図の引き出しを増やすためにも、ガンガン使っていっていいんじゃないかと思います。
4. 背景や全体のリファレンスにAIを使う
AIの絵はインスピレーションを刺激してくる絵がとても多いです。なので自分の描きたい絵を言葉で表現してプロンプトにし、それをもとに生成されたイラストを参考にすると、描きたいものに近い絵が描けると思います。また部分的に使えそうな部分（背景など）はそのまま使ってしまうという手もあります。
今回はBattlefieldって感じの絵が描きたかったので、Midjourneyで100枚くらい参考になりそうな絵を生成しました。その中でキャラのカラーパレットとして参考にしたいイラストと、背景の雰囲気や色合いとして参考にしたいイラストをピックアップしました。
キャラのカラー参考絵から色をスポイトでとってキャラを塗り、背景の色に合わせて調整します。背景は使えそうな部分は参考絵をそのまま使い、不自然な部分はレタッチで補完します。
あとは背景用に戦う兵士の参考画像がほしかったので、WW1, many soldiors fighting against each otherみたいなプロンプトで実写っぽい画像を出力して参考にしました。
そうやって描いた絵はこんな感じです（まだ未完成ですが…）。
空だけAIのイラストから借用、その他は手描きです。どうやってもAIの絵のクオリティに全く勝てないからどうしよーって悩み中で筆が止まってるんですが、それでも参考画像にAIを使わないよりは遥かに自分の理想に近いものが描けていると思います。
Stable DiffusionやMidjourneyは凄まじい雰囲気のイラストを得意としているので、雰囲気重視のイラストを描きたい時にこの方法はかなり使えると思います。
どんな絵を描く時にも参考画像はあった方がいいけど、それが実質無限になるのは強すぎる。
「AIの絵には伝えたいテーマがないから心に響かない」という人もいますが、それはバイアスです。そんなこと全然ないです。今回100枚以上参考画像を生成しましたが、そのほとんどが私の心にぶっ刺さるものでした。
今後も自分の心に刺さる絵をたくさん生成して、どんな要素が自分の心を揺さぶるのかを分析し、自分の絵に取り入れていきたいと思っています。きっとこれから自分の絵がもっと好きになれる。
AIに自分のオリキャラを描いてもらおうとした
ここまで絵描きとしてお絵描きAIをあくまで補助的に使って絵を描く試みを紹介してきましたが、ここからはそもそもAIがオリキャラを無限に描いてくれたら嬉しくない？それって可能なの？という検証です。
NovelAI Diffusionでオリキャラの一枚絵を元に別のポーズのイラストをimg2imgで出力できるかの検証をやってみました。
右：img2imgで得られたイラスト
プロンプトにA girl sitting on stairsと入力し、strengthを0.7、noiseを0.5に設定して得られたのが右のイラストです。
とりあえずAIがめっちゃ頑張ったことは伝わった…！キャラの特徴を何となく捉えようとしたのは伝わってくるし、座ってるし、背景に階段っぽいものもちゃんと描いてる。ただ顔はどうしてもNovelAI Diffusion特有の顔になるっぽいですね。
試しにnoiseを0.7に上げてみましょう。
そうはならんやろ。
どうしてこうなったァ！？NovelAI Diffusionはキャラクターイラストに特化したお絵描きAIじゃなかったのか！？
それでも緑と縞模様の服という特徴はとらえてるし、微妙にネックレスっぽいものも生成されていて一応キャラの特徴を継承しているのは笑う。しかし一枚絵から別ポーズのイラストを描いてもらうという試みは望み薄のようだ。
それでも諦めきれないので、別のイラストでimg2imgを試してみました。以下結果。
プロンプトをA goth girl sitting by the window, blonde hair, pigtailとし、strengthやnoiseをいろいろ変更して出力してみました。
右上がstrength0.5, noise0.5の結果です。strengthが小さめだと、元のイラストに近づけようとするあまりタッチが変わる模様。strengthとnoiseが小さいと元のイラストの劣化版にしかならない傾向があるので、これはこれでかわいいけどもう少し数値を上げた方がよさそう。
左下はstrength0.7, noise0.7の結果です。NovelAI Diffusionの絵柄に戻ってきたものの、振り向くポーズはそのまま。一方でキャラデザの特徴はだいぶ失われました。
右下はstrength0.8, noise0.8の結果です。ここまでくるとおそらく元の絵の要素はほぼ残ってなくて、金髪ツインテ黒ドレス要素はほぼプロンプトからきていると思われます。
結論。ポーズが変わるより先にキャラデザの特徴が失われるので一枚絵からそのキャラクターのイラストをいろいろ出力するのは無理そうです。
というかそりゃそうだ。
mimicの場合絵柄の特徴を学習するのに必要なイラストが15~30枚とのことだったので、最低でもそれくらいは学習データがないと無理そうですね。二次創作キャラくらいの精度がほしかったら100枚はほしいですね。でも一人で同じキャラを100枚も描くのはめんどくさい大変なので、ファンアートいつでも募集しています。気が向いたらぜひよろしくお願いします！
お絵描きAIを絵に「活用」できるのは絵描きしかいない
お絵描きAIに関してはAIの絵すげーって声と、絵描きの需要がなくなるという声ばかりが目立ちますが、本来お絵描きAIを一番使いこなせる立場にあるのが絵描きのはずです。
絵を描ける人にとっては、ほしいイラストに近いけどあと一歩惜しいイラストはプロンプトをいじったり、img2imgを延々試行するよりも、レタッチの方が遥かに簡単にほしいイラストを得られます。
それだけでなく、AIが描いたイラストに新たな価値を付与して自分の作品に昇華できるのも絵描きの強みです。
そもそもAIを用いて作られた絵に創造性があるかについて（自論です）。
「AIにほしい絵を描かせるにもコツが必要、プロンプトエンジニアリングにも技術があるからAIで描いた絵にも創造性はある」論もありますが、そもそもお絵描きAIは公開されてから数日も経たないうちに神絵を量産して有名になったわけだから、自力で絵を描くことに比べたら必要な技量などたかがしれています。
そこに創造性がないとは言いませんが、全くお絵描きAIを使ったことがない人でも同じレベルの絵を生成するのがそこまで難しくないことを考えると、AI絵師をアーティストと呼ぶのは厳しいのではないかと思います。
となると、その作品をAIではなく人の作品と言うには、人間が付加価値をつける必要があるということになります。それは例えばAIの絵を取り入れて自分の絵を描くことだったり、AIの絵を利用したMVを作ることだったり、AIの絵をイベントCGに利用したゲームを作ることだったり。
そうやってAIの絵に人間が手を加えることによって、それははじめて人の作品と呼べるようになるのではないでしょうか。
その中でも、一枚絵を完成させるまでの段階で価値を付与できるのは絵描きしかいません。そういった意味で、絵を描く技術には今後も変わらず価値があり続けると私は考えます。
自分の手で絵を描くというロストテクノロジー
一方で、自分の手で絵を描く技術は今後失われていくのではないかとも思っています。
絵を描く人なら絶対に経験があると思うんですけど、初めて絵を描いた時って、思い描いていた理想の絵と、自分が描いた絵の落差で絶望するじゃないですか。自分ってこんなに絵が描けないと思わなかったって絶望するフェーズがあると思うんです。初めて描いた絵があまりにもひどすぎて、そこで絵を諦めたという人もたくさんいるでしょう。
どんな絵描きも、その絶望フェーズを乗り越えて絵を描くようになったんです。
自分で手を動かさなくてもお絵描きAIが神絵を描いてくれるようになった今、自分で絵を描き始めようと思って、その絶望フェーズを乗り越えられる人がどれくらいいるんでしょうか？少なくとも私は絶対に乗り越えられない。挫折する自信しかない。お絵描きAIが登場する前に絵を描き始めて本当に良かったと思う。
今絵を描いている人は、将来のロスト（とは言わないまでも希少な）テクノロジーを持っている貴重な人材です。
だからこそここで筆を折らないで、自分の描きたいものを描き続けてほしいと思います。
とはいえ、AIはめちゃくちゃ絵がうまいです。99%の絵描きよりもうまいです。99%の絵描きは一生かかってもAIに敵わないでしょう。
AIに技術で勝とうとすると心が挫けてしまいます。だからこそAIアートに対抗するのではなく、AIアートをうまく取り入れて自分の作品のクオリティアップに繋げていくのがメンタル的な意味でも良いのかなと思います。
お絵描きAIが絵を描く人にとっても、そうでない人にとっても、利益になるような方向に発展することを願っています。
■追記
うちの子のファンアート募集中って描いたんですけど、Twitter消しちゃったから資料も消し飛んだんだった。
下に立ち絵貼っとくので気が向いたらファンアート描いてもらえると私が嬉しい気持ちになります。各キャラ100枚募集しています！よろしくお願いします！
