【AI漫画実験／第５回】少し複雑な外見のキャラでLoRAを作成し、キャラ外見を固定してＡＩ漫画を作る実験をしてみた
これは「今までガチガチに手描きで漫画を描いてきた奴が、ＡＩをフルに作って漫画を作るとどうなるか」という実験の記録・第５弾です。
前回＋今までのAI漫画まとめ読みkindle（無料）はこちら。
今回の実験の目的は以下になります。
■キャラLoRAを作ったら楽にキャラ固定してＡＩ漫画を作れるのか
やってる方は既にいらっしゃると思うのですが、実際どのくらいの精度でできるものなのかの記事を書いてる方をあまり見ないので、自分でやってみました。
■キャラLoRAを作成する
1／キャラLoRAを作る事になったきっかけ
今回の漫画のモチーフは童話「白雪姫」です。主人公は継母の方で、設定は継母ではなく単純に「女王」にしました。
さて、女王ですからドレスを着ていなくてはいけません。
ＡＩでドレスのデザインを固定するのは非常に難しいです。年代やドレスの固有名詞（スカートの形のクリノリンなど）を指定しても、毎回違うデザインが出てきます。
これはLoRAを作らねばいけないな…と早々に腹を括りました。
2／キャラのデザインシートを作る
上記のプロンプトでＳＤＸＬモデルでひたすらキャラシートを生成し、気に入ったものを選んで一体ずつに分け高解像度化、加筆でデザインの細部を好みに変えたり前後の整合性を合わせ、仕上げに低デノイズi2iで整えて学習用のキャラ絵を作成しました。
LoRA用に作ったキャラ絵の一部が下図です。今回は全て１キャラ6～10枚前後で学習してます。
童話モチーフなので漫画は水彩画（絵本）風で作るつもりでしたが、キャラシートを水彩画風で作ると細部が潰れるので、生成するときに「watercolor style」入れれば水彩風になるだろと楽観して細部が描き込めるＡＩ塗りで画像を作成。外見デザインと色が反映されればＯＫの精神。
（※その後使ってみましたが、やはり多少「watercolor style」は効きにくくなり、学習画像の塗りに近くなりました。でも完全に効かないというわけではなく、そこまで拘らないなら許容範囲です）
以下にAIずきんシリーズLoRA学習用キャラデータ5人分（適当ですが自前のタグつき）置いておきますので、キャラLoRAに興味のある方はどうぞお試し学習にお使いください。いいの出来たら私にもください。
3／ＳＤＸＬでキャラLoRAを学習
以前ＳＤＸＬが出たばかりの頃に自分の絵でLoRAを作った経験はありますし、自分でやるつもりではあったんですが、すみませんズルしました。
学習のやり方をすっかり忘れており、また一から勉強するのめんどくさ～い♡とダラダラしていたらＩＴ賢者あいきみさんが手伝ってくれたので、キャラデータだけ渡して学習部分は丸投げしました。あいきみさん、その節は本当にお世話になりました!!
そんなわけで「ＡＩずきん」「狼」「狐」「ＡＩ女王」「ＡＩ雪姫」5人分のキャラLoRAが出来ました。
ちなみに以前ＳＤＸＬで自分絵LoRAを作った時は、下記サイトのパラメータを参考にしたら良い感じに学習出来ました。SD1.5~2系のLoRAとは学習パラメータが結構違ったので注意です。私も最初SD1.5~2系のパラメータでやって全然学習できませんでした…。
4／キャラLoRAを使ってキャラを生成
さて、キャラLoRAを適用すると生成精度はどのくらい変わるのか？
その結果が下図になります。LoRAは強くかけすぎると画風やポーズなどの自由度が低くなる（学習画像のポーズに寄り過ぎる&破綻しやすくなる）ので、重みは0.6でかけています。上がLoRAあり、下がなしです。
衣装や色の傾向がかなり統一されましたね。
ただ、やはりポン出しで細部まで全て再現！というわけにはいきません。シルエットや大まかな色とデザインが揃うので時短にはなりますが、LoRAを使っても衣装の統一には加筆が必要になります。
5／キャラの衣装を統一する時の加筆時短テクニック
ファンタジー調の衣装の場合、LoRAを使っても装飾のヌケやばらつきが多いです。
その手の特徴的な装飾は素材にしてしまい、後から貼り付けていくのが効率的でした。いっそLoRA作成時には細かい装飾は学習させず、生成後に貼り付けた方が修正も減って早いかもしれません。
こちらのLoRAを使って作成した漫画、完成品はこちらです。
AI雪姫、はじまるよ～！（1/7） pic.twitter.com/kj8xFRT56g
— 野火 城@AI (@nobisiro_2023) January 5, 2024
■キャラLoRAを作るのに向いているジャンル、いらないジャンル
キャラLoRAが向いてるのは、主にプロンプトだけでは衣装の整合性が取りにくいファンタジー系でしょう。それでも細部はばらつくので、上記のような加筆は必須です。
今回「ＡＩずきん」「狼」「狐」「ＡＩ女王」「ＡＩ雪姫」の5人分のキャラLoRAを作ったのですが、学習用の絵を作るだけで結構な手間と時間がかかります。このシリーズを今後も続けていくつもりだったので腰を据えてキャラLoRAを作成しましたが、ファンタジーでも10～20Ｐくらいの漫画1回分作るだけなら、ＡＩが生成しやすい衣装でそのまま生成＋加筆した方が早いです。
キャラLoRAの必要性を感じないジャンルは現代ものです。大体プロンプトで制御できるので、よっぽど特徴的な衣装を着せたい場合でないとLoRAはそこまで必要ないでしょう。LoRA作成コストの方が高くつくと思います。
■LoRA作りは学習素材に注意
このように手軽に生成結果を調整できるLoRAですが、パブリックドメイン以外の許諾のない特定の方の絵を集中学習するのは、倫理的にも法的にも問題になり得ますので止めましょう。1月15日に行われた文化審議会著作権分科会法制度小委員会（第6回）の資料でも、その手の集中学習は場合によって「著作権侵害に当たり得る」と考えられています。以下にその一部を画像で引用します。
私は少ない枚数でLoRA学習をする場合、自分で描いた絵か、現行法に照らし合わせ、著作権侵害の可能性のない（該当画像をネット検索し、AI側の学習による依拠性・類似性が確認されなかった）ＡＩ絵に、今回のように加筆して使う事にしています。
中々全てに目を通すのは難しいですが、できるだけ政府が公開している一次資料や法律家の方の解説を自分で読み、今後も法的に問題のないAIの使用方法を実践していきたいです。
■AIについてのパブリックコメントを送ろう！
2024年1月2４日現在、文化庁では「AIと著作権に関する考え方（素案）」、総務省では「AI事業者ガイドライン案」のパブリックコメントの募集を開始しています。AIの推進を支持する方も、規制が必要だと考える方も、どちらの意見も大切です。自分の率直な意見を提出してみてください。募集期間は文化庁が同年2月12日、総務省が同年2月19日までです。
一つ念頭に置いておきたいのは、NAIv3などで物議を呼んでいる日本の作家さんのタグをつけた学習は、どれも海外製のモデルであるという事実です。現在流通している無許諾の画像で学習された画像AIのベースモデルも、私が知りうる限り全て海外製です。日本の法律をどれだけ整えても、海外で行われる「学習」まで規制することはできません。
この事実を踏まえた上で、どのようなルールを作るのがいいのか。今一度よく考える必要があります。
↓こちらのサイトがパブリックコメント募集の概要と意見の書き方をわかりやすく解説してくださっていますので、是非お読みください。
■いかがでしたでしょうか？
↑この文言使ってみたかったので満足
実を言うとこの漫画実験、AI界隈のNAIリークモデルを含む1.5系モデルからの脱却を促したくて始めたものでした。面白い使い方を提案出来ればSDXLに興味持ってくれるかな、と。
最近「animagine-xl-3.0」という高性能なSDXLモデルが出て、SDXLを使い始める方が増えて嬉しいです。個人的に版権や個人作家さんをタグで学習している部分は好ましくないので、手放しでお勧めする事もできないのですが（ちなみにこれも海外の方の作ったモデルです）そこはそれこそ、生成物で判断される所でしょう。頼みましたぞ。
そんなわけで、そろそろこの漫画実験記事も一段落かな、と思っております。リアルタイム生成などまだ試したい事はあるので、またいつかやる予定ではありますが。
私も現状の画像AIの使われ方、全てに納得しているわけではありません。その使い方は良くないな、危ないな、と思う事もたくさんあります。
しかし、これは法的に許可されているものです。もし不服があるなら、立法機関に訴えて法を変えるような活動をするしかないでしょう。それと同時に、使う側のモラルを高めていく必要性も強く感じています。
私は、ＡＩによって文化が破壊されるとは思っておりません。
私も創作をする者のはしくれです。
正の感情も負の感情も、主張は「作品」に昇華させたい。理想論と言われるかもしれませんが、自分にとってはそれが一番居心地がいい、人との、そしてAIとの関わり方です。
ひとえに創作と言っても、絵、漫画、小説、音楽、ゲーム、プログラミングなど、ジャンルはたくさんあります。そしてどのようなジャンル、どのようなツールを使っても、作品作りにはその人の個性が出ます。
作品で自分の考えを表現したいという「欲」を持てるのは、今のところ人間、生き物だけです。
人間の持つ「創作をしたい」という欲求を信じています。
漫画を作るのは大変（正直今はまだAI使った方が大変）ですが、作品作りはやりがいがあって、とても楽しいです。
画像AIで作った、画像AIのための漫画、これからも楽しんでいただけたら幸いです。
※普段はフリーでクリエイター系の仕事をしております。
AIを活用できる仕事にも興味があるので、お仕事の依頼がありましたらnoteの「お問い合わせ」もしくはnobisiro2023@gmail.comまでご連絡ください。よろしくお願いいたします。
この記事が気に入ったらサポートをしてみませんか？