【StableDiffusion】初めてLoRAを作ってみた
タイトル通り、本日は初めてKohya's GUIでLoRAを作ってみました。完全に素人なので、「LoRAを作る」という表現が正しいかどうかもわからないのですが、何か不備があっても許してください…
失敗の原因
まあ結果的に言うと、失敗しました。作りたかったのはあるキャラクターのLoRAですが、強度を1.2にしたところで、そこそこの頻度で違うキャラクターが生成されてしまいます。
文字だけで説明するのも仕方がないので、まず成功例を見てみましょう。（学習元は著作権があるものなので、出すわけにはいけないのですが、それを公表しない限り、生成結果からは判断できないなので、生成結果だけ見せても大丈夫ではないかと思います…)
どうですかね、学習元がわからないですよね…実に言うと、学習元がわからないぐらい特徴がないキャラだったのが、今回の失敗の主な原因だと思います…学習元の画像をtaggerにかけてタグを取得する時に、けいおんの中野梓やみなみけの南かなだと思われたぐらいにありきたりのキャラクターでした。そもそも、学習元の画像自体においてこのキャラクターの描き方がバラバラで、long hairになったり、short hairになったりしていました…
余談ですが、ここまで絵柄が変わっても学習元は何のキャラクターがわかる方には…友達になって一緒に原作の素晴らしさを語り合いたいです…
途中のトラブル
結果はともあれ、ファーストチャレンジなので、無事LoRAのファイルが作成できるだけでも、私としては満足です。
ただ、やっていた途中に、いくつかの問題も発生していました。
まずはKohya's GUIをインストールする時に、コマンドラインでインストールを選択してENTERを押すと、三連続でパソコンが強制的に再起動されて怖かったです…
ちなみにKohya's GUIのインストールはこちらの記事を参考しました。
そして、一番解決に時間がかかったのは、生成途中に出るVRAM不足のエラーです。
今使っているパソコンはRTX3080tiを搭載しているのに、どうしてRTX3060でいける設定を使ってVRAMが足りないのかと頭を抱えました。ソフトウェアにも詳しくないのですが、ハードウェアに関しては「何もしてないのに壊れました」レベルで苦手なので、仮にグラボが壊れていると言われたら、その場で泣き出す自信があります。
調べてみたら、同じエラーにあった人は結構いて、どうやら学習元の画像サイズを小さくしたり、生成の設定をいじたりすると解決できるらしいです。しかし、画像を小さくしても、同じ設定にしても、エラーがずっと出ていました。
諦めかけている時に、メモリ不足に関するある人の質問の下に、その人自身が英語で「私はLoRAを作っているつもりだったけど実はDreamboothを作っていた」という一文を目にしました。そしてGUIを見てみると、「Dreambooth」と「Dreambooth LoRA」の2つのタグがあることに気づきました…どうやらDreamboothというものもキャラクターの特徴を学習したりするものなのですが、12.5GBという絶妙にRTX3080tiお断りのメモリを要求しています…なるほど、わけでどう足掻いてもVRAMが不足になりますよね。
タグを切り替えたら、無事生成できたのです。
感想
次も作るとしたら、もっと上手いことができる気がしなくもないのですが、キャラを再現するLoRAはやはり著作権の観点からブラックなので正直触れたくないのもあるのですが、使いたいようなLoRAはCivitAIに揃っているので、私は楽しむだけの消費者で十分です。ただ、一回試して作ってみるのも楽しい経験なので、今後もAIイラスト関連のツールを色々触っていきたいと思います。
※以下は画像生成AIとあまり関係のないサンリオトークです..
又もや余談ですが、昨日のサンリオキャラクター大賞でクロミが三位でした。さすがにクロミのLoRAはないのであろうと思って検索してみたら、ありました…しかもキティちゃんやマイメロも生成できる仕様です。しかしどうやらAIはクロミを猫だと思っているようで、生成結果は黒い耳の白猫になりがちです。クロミって一体何でしょうね…アニメでは自称ぬいぐるみだったけど、何のぬいぐるみなのかは不明です。サンリオ公式はキャラクターたちを動物にしたがらない節があり、キティちゃんだって猫じゃなくて女の子ですね…その結果クロミ猫説、クロミうさぎ説、クロミ小悪魔説など色々唱えられています。クロミに聞けば、「アタイはアタイだよ」と言いそうですね（笑）。
この記事が気に入ったらサポートをしてみませんか？