AIを利用した漫画製作！１ページ丸ごと生成させて漫画化してみる
こんにちは。一般同人漫画家です。基本解像度1024*1024のmidjourney v5の登場や、同じく基本1024*1024のStableDiffusion XLモデルのDreamStudio上での試験稼働が始まっていますが、いかがお過ごしでしょうか？日々様々な機能が登場する画像AIですが、そんな中でこの基本解像度の向上はハッキリとした「進歩」であると考えています。まぁ、それに応じて動作に必要なスペックも増加していくんだけど。そろそろ私のVRAM8GBの2060Sじゃキツいんじゃないか。
さて、これまではイラスト製作への活用方法についてご紹介してきましたが、今回はAI生成画像に手作業修正や加筆なども加えつつ、サクッと１ｐ漫画を作成してみようと思います。
タイトルにもありますが、漫画ページを１ｐ丸ごと生成させてそれを編集します。丸ごと生成のメリットは、画面全体の質感やキャラクター造形の統一がしやすいなどが挙げられます。その反面、１コマ１コマの解像度は下がってしまうので、細部形状がぐちゃぐちゃになりがちというデメリットもあります。よりクオリティの高い漫画を作成したい場合は、１コマ１コマを分けて大きな解像度で生成することをオススメします。
しかし今回はサクッと製作で作業時間短縮を図る目論見なのでまるっと１ｐ生成させるのだ。
まずは10分程度でimg2img用の適当ベース画像とopenpose画像を作成します。openposeについてはこちらをご覧ください。
ベース画像はページ全体のコマ割りや大雑把な印象を意識して塗りますが、かなり適当なので「どこに人間が居るのか？」を指示するopenpose画像との併用は必須でしょう。openpose画像作成はコピペできるopenposeポーズ集などがあると便利ですし、前回説明したように適当にバーッと手描きしても認識してくれます。
ベース画像とopenpose画像ができたら、併用してimg2img生成します。i2i時のDenoise Strangthは0.6～0.7です。
私の絵柄で学習されたLORAを使用しつつガチャやら試行錯誤やらして所要時間10分。
何枚か生成させましたが、高Strengthの生成かつベース画像もアヤフヤなので、生成物もふにゃふにゃしています。キャラデザもまだだいぶイメージから遠いですね。なので、生成した画像の中からそれぞれ良い感じの部分をピックアップして、もうちょっと見た目がハッキリしたベース画像を作成します。
シルエット形状なども整えて10分。これをもう一回i2iします。今度はDenoise Stringthを0.4～0.5程度に下げているので、ベース画像からの変化量の少ない画像が生成されます。
何枚か生成して一番イメージに近いものを選びました。良い感じですが、キャラ一人一人が狭い範囲に描写されているので生成の質は低く、顔面を拡大するとなかなかバケモノになっています。なので次はこれをベースに手作業で細部修正を行っていきます。
AIを利用した漫画製作の試みはネットで盛んに行われていますが、作例を拡大しますとやはり細部形状が崩壊していたり、切り抜いたキャラのシルエットがギザギザしているものを頻繁に見かけます。個人的には可能な限り完璧に近づけたく思いますので、この辺はまだまだ人の手が必要なのだ。
整いました。所要時間１時間３０分！
取りあえず細部形状や背景の不自然なグネグネ感やキャラの顔などを直していますが、"修正"だけでなんとかなるのはここまでです。漫画の内容によってはこの工程だけで完成状態にできると思いますが、今回はまだ描くべきものが色々とあります。残りの部分は新規に加筆しないとだめですね。
まずは女の子が持っているギターを加筆します。
所要時間15分。ギターには3D作画を使っています。こういった形の決まっているオブジェクトの線画作成は、3D空間上への配置やレンダリング所要時間を考慮しても「3D作画の方が早い」です。形状も正確だし。blenderは線画も各種レイヤーも出力してくれるし。こう↓
AI作画：線画生成しそうなプロンプト入力→良い感じの出るまで生成ガチャ
3D作画：3Dモデル配置→カメラアングル調整→線画レンダリング
もちろんフルカラーでAI生成させるのと比べると条件が違ってくるでしょうし、画像AIの精度は今後も向上していくと思いますが、3D作画並の正確性を獲得する様子はちょっと現時点ではイメージし辛いですね。ていうか正確な形状のギターをあらゆる角度で描写できるAIは、何らかの形で3Dを利用しているんじゃないか？
続いてギターでオッサンを殴打する様子を描きます。
こちらも3Dを使用して所要時間30分。オッサン殴打を初期段階で描き込んでいなかったのは、こういうパースの効いた躍動感のあるカットは、現在のAIでは生成が難しいからです。画面右側で見切れたオッサンの苦悶顔なども上手い具合に生成できないですね。見切れた物体はAI的にはオッサンの頭なのか謎の饅頭なのか区別がつかないのだ。それにギターがブン回されている効果線なども描かなきゃいけないと考えると、最初から手作業する方が早いと思います。
では他の箇所の見切れたオッサンや台詞や効果音を入れたりして仕上げていきましょう。
完成！全体作業時間３時間３０分くらい！
結構早いぜ！ただ「AI画像→手作業線画→手作業影付け」でも+１時間数十分くらいの時間で仕上げられそうな気もしますし、クオリティや編集のし易さとトレードオフになっている部分もあるので、常にAI利用するべきかは微妙なところです。先に述べた通り躍動感やオブジェクトの正確性が必要なカットでは使えないので。
私は自作へのAI取り入れをボチボチやっていますが、「今回の絵はAIが使いやすいシチュや構図なので使う」「今回の絵はAIが全く使えそうにないので使わない」など、使える場合と使えない場合が明確に別れているのを感じます。
そういうとこやぞ pic.twitter.com/HSo3nyhJJY
— あぶぶ＠健全 (@abubu_newnanka) March 26, 2023
上のような「果物が雑然と置かれた野菜市場の背景」を描くのにはAIが非常に役立ちましたが、整合性を無視したものがそこかしこに描かれがちなので常に全面的な修正が必要となります。「部屋！壁！窓！」みたいなシンプルな背景は手描きでバーッと描く方が早いですし、物体の形状を正確に描写したい場合は３D作画が最適だと思います。
制作者がAIの特性を理解した上で、「こういう漫画を描きたい→このページのこの部分ではAIを使えそうだ→じゃあそこはAIで時短すっぺ」と判断して取り入れるのが良いのではないでしょうか。
では今回は以上です。
■2023/04/18追記『AI利用が不向きな漫画』
こちらのクソ漫画を作成する際、最初はAIを使用しようかと思ったのですが、意外にも使える部分がありませんでした。殺し屋少女の方は「立ちポーズ、しゃがみポーズ、硬い表情、ちょっとした背景」などAI生成物の流用が時間短縮になりましたが、こちらは「イメージに沿った微妙な顔角度とキマってる表情、正確な手つきでサンドイッチを持つ、同じキャラデザでありつつもデフォルメ化された左上」など、徹底的にAIの使いどころがありません。セバスチャンと城はAIでクオリティ上げてもしょうがないし。仮にopenposeでポーズ指定して生成したところで、流用できるのは僅かな部分になってしまうでしょう。
■オマケ。AIが私の絵柄で生成した謎の漫画風の何か。AIはいずれ内容のある漫画を生成するようになるのだろうか？
