LoRAとクオリティタグの関係
自称LoRAの魔術師である小泉です。誰も言ってくれないので自分で言ってます！
今回はLoRAとクオリティタグの関係について！実はLoRAを使うときにクオリティタグを使うとかなり再現が変わっちゃうのですよ！
クオリティタグのおさらい
AI画像を生成でよく見かける「masterpiece, best quality」。生成に慣れている人ならこれがクオリティタグと呼ばれるものだとよくご存じですよね。無条件で入れている人も多いのではないかと！画像の質が良くなるということで入れることを推奨されています。
Stable Diffusion系では「masterpiece, best quality」というクオリティタグがもっとも有名です。Pony系列では「masterpiece, best quality」ではなく「score_9, score_8_up, ……」とscoreで記述します。LoRAへの影響が顕著にわかるのがPony系なので、以下でPony系列でのクオリティタグの効き方をまず見てみましょう。
使用モデルはanitoonPony_v1です。
クオリティタグの有無での違い
まずはLoRAを使わないでの比較です。ピンクのドレスの大人の女性で「mature female, pink dress, long sleeves」、anitoonPony_v1はクオリティタグを入れると大幅にリアル調になってしまうのでプロンプトに「anime style」、ネガティブに「realistic」を入れています。
Prompt:
mature female, pink dress, long sleeves, anime style
Negative:
realisticクオリティタグはPonyの標準であるこちら。
score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_upすると、こんな感じに違いが出てきます。
クオリティタグありの方が画質が上がっている感はありますが、個人的にはクオリティタグなしの方が好きですｗ
クオリティタグのLoRAへの影響
検証用LoRA
検証用LoRAはピンクのドレスのママさん画像にしてみました。口元に軽く皺(マリオネットライン)が入っているのがこだわりポイントです。あとは乳袋感のあるドレスｗ
画像は正面と後ろ姿(横顔)、正面の顔のアップです。さらに正面と後ろ姿は上半身のみに切り取ったものも加えています。素材は全部で5枚ですね。
顔のアップを入れるのはこだわりポイントである口元の皺の再現をよくするためです。基本的にキャラクターLoRAでは顔のアップは素材に入っている方が良いですよ。
クオリティタグなし
クオリティタグなしではどのような再現か？
表情がちょっと違う以外はほぼ完ぺきな再現ではないでしょうか？口元の皺もちゃんと入っています。
LoRAにクオリティタグをつける
続いてクオリティタグとしてscore_9を加えます。
画像の密度は上がっているのですが、ちょっと顔立ちが変わってきましたね。とはいえ、まだ口元の皺は残っています。より垂れ目になっているのは素材にある横顔の影響もあるのかも。
そして、クオリティタグをさらに追加して「score_9, score_8_up」にします。
画風が変わってきているのもあり、さらに違いが出てきています。特に鼻がだいぶ違う。
そうなのです。クオリティタグをつけると画像の質自体は上がるけど、LoRAの再現度は下がっていくのです。
ちなみにフルにクオリティタグをつけるとこれだけ変わります。ドレスの乳袋感もだいぶなくなってますね。
クオリティタグによって破綻を避けられるところもあるので、どちらが良いかはその時々によって変わるかと。
画像枚数が十分に多かったり、Learning Rateを高くしたり、素材のキャプションにクオリティタグも入れておくようにするとクオリティタグによるLoRA再現度の低下の影響をある程度は下げられます。
たまたま出てきた良い感じの画像をうちの子にしたいときは、十分な画像枚数がない場合が多いですよね。そんな時はクオリティタグの影響も考えるようにするとLoRAの精度をより上げていけるでしょう。
ちなみに私はLoRAの素材キャプションにはクオリティタグは入れず、画像生成時もアクセントとしてクオリティタグを入れています。
最後に
今回Pony系で試しているのはクオリティタグによる変化が大きいためです。Animagine系やillustrious系ではPony系ほど大きくは変化しません。とはいえ、クオリティタグで再現度合いは変わるので、うまくLoRAで学習されないなぁというときはこのあたりを見直すのも良いかと思います！