AI二次創作イラストの制作環境構築(2024/09)
こんにちは、AIで二次創作イラストを制作している、ルナです。
今回は画像生成AIの環境構築(AI画像生成システム)について書いていきます。
近況:3Dにハマってました
春頃から3Dモデリングにハマっておりまして、Blenderという3Dアプリで推しを制作していました。
これが結構いい刺激になりまして、創作の楽しさを改めて感じつつ、人体や衣装の構造を理解することの重要性を学ぶきっかけにもなりました。
AI絵って数秒で作品ができてしまいますが、3Dはプロでも1キャラ作るのに1ヶ月以上かかったりするので、本当にかける労力が桁違いです。すごく緻密で繊細。
「3Dを扱えるようになった」ことは自分の中でとてもいい影響があったと思っていて、AIイラストにも活かしていけそうかなと。
3Dはこっそり続けていきます。
画像生成AIの制作環境を再構築した
それでは本題に入ります。
3Dにハマったおかげで数ヶ月ほどAIから離れていたんですが、その間にAI界ではずいぶんと時が流れていました。
以前の制作環境もほぼ解体状態だったので、トレンドも取り入れつつ新しく作ることにしました。
色々試しながら構築したのは、以下の4つのシステムです。
・Forge(Stable Diffusion WebUI)
・ComfyUI
・A1111(Stable Diffusion WebUI)
・reForge(Stable Diffusion WebUI)
まずは以前にも使っていたForgeを構築しました。
VRAMが10GBしかないうちのRTX3080でもSDXLがさくさく生成できる、頼もしいやつです。
ちょうど今回構築するタイミングで「ForgeがFLUX.1に対応した」という情報が入ってきたので、最近流行りのFLUXも使ってみようという思いもありました。
FLUX.1 devをVRAM10GBで動かすことはできたものの、なぜかいつも使っているextensionで原因不明のエラーが出るようになりました。
再構築をしても再現性があり、使いたいextensionがちゃんと動かない。
このextensionには代案がなく、これが動かないと思う作品づくりができないということで、今回Forgeを諦めることにしました。
FLUXはまた改めて挑戦したいと思います。
(おそらくForgeバージョンアップによる影響で、extension側の対応待ちかなと)
次にComfyUIも使ってみました。
しかし、思った絵が出せるようになるまでしばらくかかりそうだったので、今回メインとするのはお預けに。
制作環境は素早く整える必要がありますからね。
SD WebUI A1111は相変わらずVRAM使用量が高くて使いづらいままだったので却下しました。
out of memoryは頻発するし、待ち時間は長いしでストレスが溜まるのでよくない。
で、消去法的に問題の少なかったreForgeを選ぶことになりました。
システムは自分の使いたい機能が問題なく動くことが重要なのです。
reForge
reForgeはForge版の派生型で、継続更新が止まってしまったForgeに変わって制作されたものです。(ForgeはFLUX.1対応版に更新されましたが)
基本的にはForgeを引き継いでいるので、Forgeに内蔵されたextensionもほとんど使えます。
欠点は、利用者が少なく情報が乏しいことと、互換性が担保されないところかなと思います。(後述)
構築方法
うちはgithub環境を作ってあるので、
1.適当にフォルダ作って
2.「git clone ~」コマンド叩いたら
3.webui-user.batを起動して終わりです。
詳しい構築方法はgithubを参照されると良いかと思います。
extension
内蔵以外に、追加導入したextensionは以下のとおりです。※リンクつき
メジャーなものばかりだと思うので、特に説明はありません。
Tagcomplete(プロンプトのタグ自動補完)
dynamic prompts(ワイルドカード用)
lora block weight(LoRA階層別適用)
lama cleaner(AI消しゴムツール)
tagger fork(LoRA学習用画像タグ付け)
ultimate upscale(アップスケーラー)
これらのextensionは、reForgeで問題なく動作しました。
動かないexteisionもあるかも?
後日、上に加えてSupermergerもインストールしたのですが、なぜかマージしても結果に反映されず、コンソールにエラーも出ないという原因不明のトラブルがありました。
仕方ないのでA1111を別に構築して、Suprermergerを使うときはそちらを使うようにしています。
extension系はA1111環境を前提に構築されているものが多く、Forgeや派生型の場合は動かないものも多少あるようです。
やはりA1111はそういうときのために置いておいたほうが良さそうですね。
(はやくパフォーマンス改善していただきたい…)
Controlnet「Anytest」
SDXL対応のControlnetモデルっていまいち使い勝手がよくないものが多かった印象があったんですよね。
AI界隈に帰ってきてFLUX.1の次に気になっていたのが「Controlnet Anytest」でした。
私のフォローしている方々が、このAnytestについて投稿してるのを色々と見ていたので、興味があったんです。
「なんか何にでも使えるよくわからんスグレモノControlnetモデルがあるらしい」
「よくわからんって」すごくAIっぽいですね、面白そう。
Anytest、実際に使ってみると驚きでした。
なんとなく「画像を参照させたい」という用途なら、いい感じに認識してくれます。なにこれすごい。
線画を参照させればLineartやCannyのように彩色させることができるし、アップスケール時に通常のイラストを参照させればTile的に使えます。
かなり精度が高く画質の低下もないので、めちゃくちゃ使い勝手がいいです。
これまで使っていたlineart、canny、tileなどはほとんどAnytestで代用もしくはそれ以上の効果を得られるようになったので、最近はAnytest V3/V4のみを使っています。
今回anytest使えるようにしたことが一番の収穫でした。
まとめ
今回の環境構築の話は以上です。
とりあえず必要最低限の機能を問題なく使えるシンプルなシステムができて満足しています。
reForgeはおそらく互換性の問題が今後出ると思うので、今回構築したA1111/Forge/ComfyUIそれぞれの環境は使えるようにしておきたいなと考えています。
次回は、今回構築した環境を踏まえてのワークフローについてアップデートした記事を書く予定です。
ここまで読んでいただき、ありがとうございました。
よろしければXのフォローもよろしくお願いいたします。
ルナ