AIを利用したイラスト作成 ControlNet1.1のAI着色が使い物になった
こんにちは。一般イラストレーターです。ControlNet1.1でLineartが実装され、AI着色の精度が1.0から大きく向上し、ある程度使い物になるレベルになっています。私もここのところAI着色を使用したイラストを７枚ほど作成してみたのですが、いずれも細部修正を施した上で３～４時間で１枚描けてしまいました。手描きと比べて作業時間は半分程度なので、これはかなり驚異的と言えます。
なので「AI着色が良い感じになったしnoteのネタにすっぺ」と思い、note用の何か良い感じのボカロイラスト描こう…、としたんですがボカロ聴きながら作業してたら思いのほかこだわってしまい、作業時間が８時間３０分に及んでしまいました。これじゃnoteのネタにならないのだ。だいたい作業工程自体は前に掲載した記事と同じだし。
じゃけん今回は淡々とワークフロー紹介しましょうね。
バーっとアタリが描けたら、線画トレスの為の画像をAIに生成させていきます。
i2i画像用にアタリのミクさん部分を切り出し、openpose用画像もバーッと手描きします。画像全体をi2iするには少々マシンスペックが足りないのだ。openpose画像はイメージが曖昧な内は確定している身体箇所のみ描けばOKです。何となく良い感じに生成されますし、身体欠損したりもしないので。
openposeと併用しつつDenoise Strength 0.75くらいでi2iします。
生成には私の画風を学習したLORAを使用しています。DS 0.75でのi2iなので、元画像から大きく変化して色がついてますね。でも手が融合してたりあまりイメージ通りの姿勢じゃなかったりです。
比較的イメージに合っているものをピックアップし、スカート周りなどちょっと弄ります。更にopenpose画像も生成画像から自動作成させます。ControlNet1.1でopenposeの精度も上がったようですが、AI着色ほどの精度向上は感じないですね。手とか表情とか指定できるようになったって話なのかな？
i2i画像とopenpose画像を用意できたので、再度i2iを行います。今度はDenoise Strength 0.6くらい。
はい、さっきよりイメージがハッキリしてきました。ここからそれぞれの画像の良い感じの部分を切り貼りして、線画トレス用の画像を作成します。AIは短時間に大量のバリエーションを生成できますので、AI画像そのものを使わない場合でも、コスチュームのネタ出しなどに真っ当に役立ちますね。
トレス用画像ができました。生成始めてからトレス用画像作成完了までの時間は３０分くらいです。
AI画像トレスで気を付けなければならないのは、AI画像は塗りが良い感じに見えても、細部のみならず全体の身体バランスもそこはかとなく狂っている場合があるということです。このミクさんも「後頭部がでっぱり過ぎている」「腕が長い」「見え方に対して尻が小さい」など問題点があります。トレスの際は、バランスが変な部分をそのまま描いてしまわないよう注意しましょう。
ではせっせとトレス。
線画完了。２時間！すでにだいぶ時間がかかってしまっています。拘り過ぎたんだ…コスチュームに…！
さて、線画は描けましたが、キャラクターのAI着色はまだです。色調やライティングのガイドが存在しないままのAI着色では、私の脳内イメージとはかけ離れたものが生成されてしまいますので。
これはこれで良いかもしれませんが、コレジャナイのだ。でっかい地球が背景に見えてる宇宙ステーションな感じにしたいのだ。なのでキャラは一旦置いて背景を描いていきます。
ブラシでバーッと描いたものをi2i。なんかもやもやしてる手描き画像から、秒で良い感じの夜明けの地平線になりました。…”描く”って何だっけ？
次に宇宙船。blenderで未来感ある丸窓用の３D線画を作成します。
はい、丸窓もできました。まぁ細部が汚かったり床にまで星空が発生していたりしているので、修正したりメカ的な線を足したりしつつ、ちゃんとした背景に整えていきます。折角作成した夜明けの地平線が濁ってしまうと困るので、作業では地平線と丸窓を別レイヤーにしています。
背景作業全体の所要時間１時間２０分！拘り過ぎたんだ…背景に…！
ではいよいよ本題であるキャラへのAI着色を使っていきましょう。TLなどではAnimeLineartによるAI着色が取り上げられているのを見ます。しかし服の皺や腹筋とかのラインまで描き込んでいる線画の場合は、アウトライン以外の線があることで逆にAIの塗りが不自然になってしまうようです。色々試しましたが、私はアニメキャラを塗らせる場合もAnimeではなく「Preprocessor：lineart_realistic、Model：control_v11p_sd15_lineart」でのAI着色がしっくりきましたね。lineart_animeでの着色に違和感がある人はお試し下さい。
2023/05/24 訂正
すみません。Lineartの使用方法を間違っていました。線画を読ませる際は、「黒地に白線」の線画をcontrolnetに読ませ、「Preprocessor : none、Model：任意のlineartモデル（control_v11p_sd15_lineartなど）」で生成して下さい。これにより生成物と線画が99％一致します。Preprocessorが設定されているとAIによる線画抽出作業が行われますが、「線画からの線画抽出」を行うと、線が劣化してしまいますので。
AI着色できました。Denoise Strength 0.5。先ほど「色調やライティングのガイドが存在しないままのAI着色では～」と言いましたが、この段階では背景も揃っていますので、線画トレスに使用したAI画像に雑に影をつけてi2i用の画像にしています。やはりイメージ通りの着色をさせるには色調ベース画像は必須と思います。
どのくらい線画通りに塗られているか比較。かなりの部分で線画との一致が見られます。白いのは手描き線画のハイライトです。lineart実装以前だった前回の記事ではAI着色が元の線画からズレ過ぎてしまい修正に結構手間がかかりましたが、今回の精度向上でそれら修正の手間は半減されたと感じます。とは言え線画がくにゃくにゃして汚くなっている部分もあるので、完璧を目指すなら顔面の全面的な塗り直しやその他チマチマとした修正作業は引き続き必要となります。
修正作業すっぺ。
大まかな修正完了。２時間！拘り過ぎたんだ…細部に…！
はい、この辺でもう「AI利用でサクッと素早くイラスト作成＾＾」のコンセプトからかけ離れてしまいました。冒頭で言った「１枚３～４時間で描けた」は確かなんですが、その時のイラストはここまで複雑でもなかったし、キャラと背景を一括で着色させていたし、修正すべき箇所も少なかったのです。でも今回みたいにコスチュームが複雑になってくると、主線の量も増えるので主線周りの修正箇所も増えるのだ。結果的に所要時間も膨大なことになってしまったのでした。
しょうがないのでもう丹精込めてディテールアップしていきましょう。
完成！全体作業時間８時間３０分！拘り（ry
恐らく全て手塗りするとなると、１０時間以上かかると思いますので、８時間３０分というのは十分に時短ではあります。
ただしAI着色は常に安定してこの塗りができる訳ではありません。AIモデルの学習外のシチュエーションやポーズで生成の品質が下がる問題は、ControlNet1.0から引き続きAI着色が抱えている弱点です。
■AI着色の品質が低下する例。
また、微細な色ムラをはじめ根本的な画像品質など、難点は多くあります。「できることの精度はかなり向上したけど、できないことはそのまま」と言った感じでしょうか。 しかしながら今回の精度向上により、モノによっては安定して１枚３～４時間で描けます。正直私は画像AI登場以来、「実写ホラー作りに役立つ」以外にはあまり自身の創作にAIを役立てる方法を見出せていませんでした。そんな中でAI着色を利用した作業時間短縮は、私にとっては２つ目の大きな成果として感じられたのでした。
では今回は以上です。
この記事が気に入ったらサポートをしてみませんか？