見出し画像

【AI漫画実験／第２回】画像ＡＩのSDXL＋加筆で、手描きに近い白黒漫画を作れないか実験してみた

野火 城

これは「今までガチガチに手描きで漫画を描いてきた奴が、ＡＩをフルに作って従来の白黒漫画と同じフォーマットの原稿を作るとどうなるか」という実験の記録・第２弾です。
前回と、今まで製作したAI漫画のまとめ読みkindle（無料）はこちら。

前回は具体的なＡＩ＋クリスタ使用テクニックでしたが、今回は

・AI漫画のAIっぽい違和感の原因考察
・手描きに近い自然な流れを作るにはどこをどう加筆修正したらいいか

が中心の記事になります。
あとオマケで「ネームへの向上心を養うには」「AIに加筆する抵抗感」「AI導入への焦りについて」なども書きました。暇だったらどうぞ。



まずこれが今回描いた実験漫画です。
シリアスにしようと思ったのですが、良い具合にショートのシリアスネタが思いつかなかったのでまたコメディになりました。

今回の実験で試したのは
・AIがつけた影をそのまま生かしてトーン（グレースケール）化する
・ＡＩが苦手そうな「感情の揺らぎ」を中心に話を構成してみる
の2点です。


■画像AIを使って漫画を制作すると「AIっぽい違和感」が出るのは何故なのか

AIで描いた漫画を手描きに近づける実験をしていて、「AIっぽい違和感」の原因がいくつか浮かびました。自分の覚書を兼ねて記します。

手描きの漫画で、まれに「とても絵の上手いイラストレーターが描いた漫画だが、全てのコマがパキっと美しい静止画になっており、漫画としては違和感がある」という現象が起こっているのを見た事がないでしょうか。
画像AIで漫画を作る際に起こっている違和感は、ほぼこれと同じだと思います。

「AIだから」というより、そもそも「イラスト」と「漫画」では求められる絵が違います。画像AIが生成してくるのは基本的に「イラストの絵」であって「漫画の絵」ではありません。
これがどういう事かを、今回の実験漫画を用いて図で説明します。下のスクショの3コマ目を見てください。

顔の作りを統一するためクリスタの歪みツールでツリ目にしてます

AIポン出しの絵を配置した方も、パっと見ではそこまで違いがないように見えるかもしれません。しかし掘り下げるとそこだけ「別のシーン」のようになっており、この「小さな違和感」の積み重ねが漫画全体の「AIっぽい違和感」を引き起こしていると思います。
ここで気づいた違和感を具体的に３つ上げます。


1／目線がシーンと合ってない

このページの場合、まず目線が正しく相手の方を向いていない（身長差があるのに下を向いてない）ので、何を見ているのかわかりません。漫画で目線の演技は重要ですが、AIポン出しではこのコントロールがかなり難しいです。
「1枚イラスト」ならいいんです。目線の先は読者が想像すればいいし、それが楽しさでもあります。しかし漫画だと前後の流れで「キャラが何を見ているか」という前提が決まっています。なのでキャラの目線が正しい位置にないと違和感が生じます。キャラの目線が対象物にきちんと合っておらず、どこかわからない虚空を見ていると「意思のない綺麗な人形が並んでいる」ような無機質さが出て、生身の人間には感じられません。ここがAI漫画の難関であり「AIっぽい違和感」の最大の原因でしょう。

個人的に今まで見たAI漫画の中であまり違和感がないのはHow to漫画やキャラがナレーターをする怪談系など「読者に語りかけるタイプの漫画」でした。これはおそらく「作中のキャラクターの目線がカメラ（読者）に向いていても違和感がない」からでしょう。そういう意味で今AIポン出し漫画を作るなら「読者に語りかける漫画」が一番向いているかもしれません。


２／表情がシーンと合ってない

AIで「驚きの顔」などをプロンプトに入れると、かなり大袈裟な驚き顔を生成してきます。この辺りの表情コントロールも難しいです。大袈裟な表情ばかり使っていると「演技が下手な大根役者」しか居ない漫画になってしまいます。白って200色あんねん。でもこれはＡＩの問題というより、「そのシーンにどんな表情を採用するか」というセンスの問題も大きいかもしれません。刺さりますね。（自分に）


３／前後のポーズが不自然

画像AIは基本的にイラスト特化のため、「ポーズをつけている絵」を出してくる傾向があります。右の加筆後の絵のように「ポーズの『途中』の絵」はt2iポン出しで狙って出すのはかなり難しいです。「手を顔に当てている」プロンプトはいけても「顔に当てた手を下げている途中」というプロンプトはほぼ通らないでしょう。漫画には「ポーズを取らない絵」の方が必要な場面が多いです。AIポン出しの「（被写体に撮影されているという自覚がありそうな）ポーズを取った絵」をそのまま並べれば、自然な流れに見えにくいのは必然です。
ちなみにこの3コマ目の絵は、手を他のAI生成物から切り貼りした上で加筆しました。この時キャラは、苦し紛れに頭を掻くという「心の揺らぎの動作」をしています。そして次に出てきたコマでもその心の揺らぎはまだ残っています。なので演出として手はまだ降ろしている途中、顔の近くに所在無げに漂っているのが望ましい。AI生成ポン出しの方では、前のコマでキャラが頭に手を当てているのに、次に出てきたコマではシュバっと手を引っ込めて、表情もケロっとしている。なので外見が同じでも、突然別のシーンのキャラが入ってきたようになります。その絵が表現している感情がシーンに合っていないのです。これも「AIっぽい違和感」の原因の一つでしょう。


以上の３つが特に気になったところです。
AIでポン出しするとして、この３つ、「目線」「表情」「ポーズ」別々なら数百枚程度の生成からでもふさわしいものが出てくるでしょう。でも別々では意味がない。漫画に使うには、そのシーンにふさわしい「目線＋表情＋ポーズ」が全て揃っていなければいけません。更にここに「統一感のある外見」が入ってきます。つまり下記を全て同時に満たすまでガチャが必要になります。

ポーズの微妙な体の向きや手の動き
＋
表情
＋
目線
＋
外見の統一性

例として、プロンプトを指定した上でもポーズや表情などの微妙な差が50通りほどあると仮定して、この4つをAIでポン出しするのを組み合わせ計算式（https://keisan.casio.jp/exec/system/1161228812）で計算すると、結果は230,300通りです。そしてその膨大な生成物の中から「選ぶ」作業も発生します。
不可能とは言いませんが「AIポン出しの素材をそのまま使って手描きのような違和感のない漫画を作る」のがどれだけ大変な作業か伝わるのではないでしょうか。

よく「コントロールネットを使えば指定ポーズがこんなに簡単にできます！」系のHowtoを見ますが、ああいうのは大体単純な立ち絵とか、中心に消失点のある一点透視のパース背景とか「AIが出しやすい構図」しか出してません。実際漫画の絵をコントロールネットを使って描いてもらおうとしても、5～6割は「全然できない」になります。背景生成はパースがちょっと斜めになっただけで破綻しますし、コントロールネット用に人物下絵を用意するにも、AIが認識しやすく生成しやすい構図に加工するなど、結構な手間を要します。AIだけで望む画像を生成しようとすると「コントロールネットに入れる→微妙に欲しい構図にならない→AIが認識しやすいように下絵を直す→コントロールネットに（ループ）」を何度もやる事になり、最終的にコントロールネット用の下絵があまりに綺麗に整って「いやこれもう手でペン入れた方が早いな」になる事が多々ありました。特に表情と目線（主に下向き）までAIだけで自分が考えるドンピシャな希望通りにするのは本当に難しく、手描きに慣れていると「この程度の修正で何度面倒なガチャをしなければいけないのか」とストレスを感じます。

手描きの人がAIを使って漫画を描こうとして「手描きの方が早い」と言うのはおそらくこういう部分でしょう。現状では前後の違和感のない漫画絵の生成をAIのみでしようとすると膨大な時間と労力がかかり、手描きの方が早いと感じます。


■手描きに近い自然な流れを作るにはどこをどう加筆修正したらいいか

さて、では現状「ＡＩをフルに作って手描きと同じクオリティの漫画を時短で作る」にはどうしたらいいか。

ポン出しに加筆です。

結局手描き加筆かい！と突っ込みたくなるかもしれませんが、その通りです。それしかないです。加筆ならこの膨大な「ガチャ＋選別」時間を一瞬で終わらせられます。加筆しないと「AI絵で違和感のないAI漫画を作る」のは現状厳しいです。もしくはポン出しAI絵のみでも違和感が出ないよう、ネームを相当工夫しないといけないでしょう。
では、加筆前提のAI漫画原稿製作の時短のやり方を順を追って説明します。


１／シーンに合ったポーズの絵を生成

描くのが一番面倒なのはポーズです。まず欲しいポーズを狙って生成します。プロンプト指定してt2iで100枚も生成すればそれっぽいのが出ます。簡単なポーズならコントロールネットも有用でしょう。
服のデザインがちょっと違う？　手が破綻してる？　加筆で「わからせ」です。ポーズ全体修正する方が圧倒的に面倒ですので。AI修正の方が楽と言う方は、破綻個所を大雑把に修正してインペイントでもいいでしょう。でも前述の通り、インペイントは希望ドンピシャなものを生成するまでガチャするのが思ったより面倒です。私もやってみましたが、ガチャに結構時間がかかり「加筆した方が早かった」となる事が多かったです。


2／外見を統一する

今回の漫画の後半、陽子の服は安定して出しやすい「シンプルなストライプの襟付きミニシャツワンピース」（※「ワンピース」だけだとランダムに模様を入れてくるので、模様を指定した方が統一感のある生成がしやすい。花柄などは柄の大きさが統一できないので鬼門。一番いいのは美松の方に使ったドット柄）を指定したのですが、ストライプの入り方が横になったり縦になったりしたので、それは全て手で描き直しました。これをインペイントで正しい柄に直すのはかなり大変というか、インペイントに突っ込むため適当でも正しい線の指定を入れるならどう考えてもそのまま描いた方が早いです。普段絵を描いてる人ならこのくらいの柄の修正ならすぐ終わるでしょう。ちなみに元の柄は細かいためごみ取りツールだけでほとんど飛ばせました。私は普段手描きの時はベクターレイヤーで線画を描きますが、やはりＡＩ加筆はゴミ取り＋歪みツールが使えるラスターレイヤー白黒二値がやりやすいです。

プロンプトは「手に持ったスマホを見ている」なのに頑なにスマホを見ず微妙にズレた虚空を見るのは何でなのＡＩくん…そこに何が居るの。ＡＩ（ＳＤＸＬ）は本当に中々下を向かない。これも「イラスト特化だから」と思うと納得です。「人物が下を向いてるイラスト」ってあまりありませんからね。実際「1枚イラスト」として見るなら、左の方が想像力を掻き立てるいい絵だと感じませんか？

あとはポニテのプロンプトを入れたのに、よくツインテールになったり首の付け根あたりでの一つ縛りになったりしました。ポニテだけでも200色あんねんな…。これはプロンプトのききがいいモデルかどうかという問題もあります。こういうのは髪のふさの部分だけ消して、似たような画像からポニー＋後頭部だけを切り取って合成→歪みツールと手描き加筆でなじませました。

３／表情・目線の修正

人物の下地が出来たら、シーンに合わせた表情と目線になるよう加筆します。歪みツール＋手描きであればすぐに狙った通りの絵にできます。ここが自然だとかなり「AIっぽさ」が薄れます。

私は細部の破綻は適当に流す派ですが、ＡＩっぽさを完全に消したい人は細部まで気をつけてください。細かい破綻は意外と自分だけでは気づけないので、原稿が出来たら人にチェックしてもらうといいかもしれません。


AIを使って漫画を制作してみて、「人間ってすごい高性能なんだな」と思いました。小回りや融通が異常に利く。AIで手描きっぽい漫画を作りたいなら自分に拡張機能「加筆」をインストールするのが最も早いです。加筆ができると、クオリティはともかく「手描きっぽさ」は確実に出せます。せっかく人間に生まれたのですから、自分の性能を生かさない手はありません。
AIに抵抗ない人なら今ならnijiジャーニーのnijiアカデミーがおすすめです。学術的な事から基礎から詳しくやってくれます。AIを使いながら楽しく学べる！
第一回はこちら↓



■どうやったら楽しくネームへの向上心を養えるか

AIに限った話ではありませんが、漫画は何よりも内容、ネームが大事です。ネームで全てが決まると言っても過言ではありません。
ＡＩ漫画制作にチャレンジする上でネーム力を鍛えたいと思ったら、まず漫画のプロが書いている教本を読みましょう。文字の本は腰が重い、という私のような方には下記の「マンガのマンガ」がお勧めです。これだけでネームの基礎的なテクニック、法則が把握できます。

基礎のテクニックを知り、更に上を目指したいなら、個人的には原稿にする前に描いたネームを人に見てもらい、意見をもらうのがお勧めです。
自分では気づかなかった客観的な視点が見えてきますし、人に自分の描いた漫画を見てもらう楽しさ、漫画を通じて人と交流する楽しさも味わえて一石三鳥です。そして他人の描いたネームを見せてもらうのも勉強になります。第三者視点でネームを見ると、いいところ、上手く行っていないところがクリアに見えて、それを相手に言語化して伝えようとする事で自分の思考も整理され、自分のネームにも同じフィードバックが帰ってきます。周囲にネームを見せ合えるような人が居ないのであれば、コミティアなど同人イベントの出張編集部に行きプロの編集さんに見てもらうといいです。気軽にプロの編集さんに漫画を見てもらえるなんて、便利な世の中になったものです。
心が弱くて無理！という人はあらかじめ見てもらう相手に「いい部分だけ言って欲しい」と素直に伝えましょう。特に趣味なんだったらそんなとこで無理しなくていいです。自分が楽しめるようにいきましょう。


■元々手描きをやっていた人が感じやすい「ＡＩ絵に加筆する」という抵抗感と、AIを使用する目的意識の関係

私は画像ＡＩが出てきた時、なんて楽しそうな技術だ！と色々生成は試したものの、あまり加筆する気は起きませんでした。試しはしたのですが、どうにも「他人の絵をいじる」という感覚があり、加筆したところで「自分の絵」とは言えないな、と感じるからです。私が観測している狭い範囲の話ですが、これは元々手描きをやる人にちょくちょく見られる現象なようです。
ローカルでＳＤ２系を触るようになってからは、モデルを好みの絵が出るようにマージしたり、自分の手描き絵をＡＩで再現するのに何度もLoraを作ったりと、技術方面に夢中で生成は二の次でした。技術としては面白い、でも「画像ＡＩを使って何かをしたい」という目的がなかったので、遊ぶだけでした。
しかしＳＤＸＬが出てきて、これは漫画の補助に使えるかもしれないと期待が沸き、漫画の制作実験をしている最中は、ＡＩ絵に加筆する事に抵抗がありませんでした。おそらく「現状のＳＤＸＬモデル＋自分の手描きの腕でどこまでやれるのか試してみたい」という明確な目的が生まれたからでしょう。
ＡＩは自分よりも画力が高く何でもできてしまう（ように感じる）ため、手描きで絵を描く自分自身は何をしたらいいのか迷うところがあります。自分がＡＩを補助としてどこに辿り着きたいのか「目的」をはっきりさせておくと、気持ち的にも抵抗なくＡＩを使いやすいのではないかと思いました。

ちなみにこれはあくまで「ＳＤＸＬモデルＡＩ縛り漫画制作」という実験なので人物までＡＩでやってますが、手描きに生かすなら自分は少なくとも人物は手で描くな、というのが実験してみた現状の感想です。やっぱり漫画なら手で描いた方が小回りが利くし、ＡＩ特有の違和感も出ないし、個性も出しやすい。あと単純に、人物は手で描いた方が楽しいです。
ＡＩに手描きの補助してもらうなら背景だな！


■ＡＩ導入について焦ってる人へ

特に目的もなく「新しい技術にとにかく触れないと」みたいな焦りの気持ちでＡＩ使っても多分楽しくないですし、その必要ってあまりないと思います。ほっといても時間が経てば色んな意味でＡＩはもっと使いやすくなるでしょう。その時に、画像ＡＩ使ってちょっとこれやってみたいな、と思ったら使えばいいし、思わなければ永遠に使わなくていいものです。
デジタル全盛期ですが、私の周囲で一番絵が上手い漫画友達は、線画はアナログで描いています。その方が早いと。実際爆速で、人間の高性能さは見てて恐ろしいです。使わない人は多分デジタルすら一生使わなくてもやっていけます。
そんなわけで「ＡＩ使わないと時代に乗り遅れるよ！」みたいな煽りには乗らなくて大丈夫です。やるならば、楽しそうだな、面白そうだな、自分のやりたい事の補助として有用そうだな、と前向きな興味が沸いた時にやってみてください。その方が得るものも大きいと思います。


今回はこんなところです！　予想外に長くなった。
他にも原稿をグレスケ化する新しい方法とか、線画の線の太さを違和感なく統一する小技とか、グレスケ化する際にもAIっぽく見えてしまう発見とか色々あったんですが、グレスケ化については前回の方法の方が良かったのと、テクニック的な部分って説明が面倒なので、その辺は気が向いたら…。
※仕事の合間にやっている活動ですので、すみませんが個人的な質問にはあまりお答えできません。大体クリスタでちょっと工夫すれば出来る事ばかりです！　クリスタマスターになろう！

ちなみに前回紹介したトーンのグレスケ化方法はこちら↓


■次の実験予定

次はAI絵のカラーをそのまま生かして加筆・加工するカラー漫画の制作をしてみたいです。
いつもの横読みでなく、タテヨミのWebtoon形式で。
Webtoonについてはズブの素人なので、どんな感じになるか私も全くわかりません。興味はあるのですがタテヨミ漫画の経験が全くないので、一回実験兼ねて作ってみたいと思っていました。中々難しそうなので、今までより時間がかかりそうな予感がします。

新しい技術に触れたり新しい事に挑戦するのが好きなので、次の実験が楽しみです！


※普段はフリーでクリエイター系の仕事をしております。
AIを活用できる仕事にも興味があるので、お仕事の依頼がありましたらnoteの「お問い合わせ」もしくはnobisiro2023@gmail.comまでご連絡ください。よろしくお願いいたします。

いいなと思ったら応援しよう！