NovelAIのモデルにウマ娘のイラスト40000枚を追加学習した。
この前男の娘の画像36000枚を学習させましたが、画像数がアストルフォに偏っていたので、あまり成果は上げられませんでした。というわけで今回はキャラごとの偏りが少ないウマ娘画像を用いてどこまでできるかやってみました。元のNovelAIでも人気キャラはある程度再現できますが、勝負服がまともに書けるのはちょっと調べた限りライスシャワーくらいっぽいですね。というわけで勝負服再現を目的にやっていきます。しっぽがない画像が多いですけどそこまで気が回らなかった。
hな画像を作る気は決してありません！！！！！！
神とFakerとChovyZekaに誓います！(どれも神だった)
学習概要
学習率5.0e-6
学習データ数：40654
バッチサイズ：8
エポック：10
環境：Colab A100
学習時間：14時間ちょっと
学習コスト：2000円ちょっと
EMAなし、8bit AdamとAMP仕様
結果
いいプロンプトを決めた後に、だいたい30枚とか60枚くらい作ってよさそうなの選んでます。まずは主人公のスぺちゃんから・・・といきたかったのですがうまくいかなかったです。
サイレンススズカ
silence_suzuka_\(umamusume\),solo,sitting,sailor coller,skirt,bowtie,gloves,pantyhose,puffy sleeves
Negative prompt:<NAIデフォルト>,tracen school uniform
袖の再現が難しいです。本当は走っている姿にしたかったのですが、AIにそれを求めるのは早すぎでした。
ダイワスカーレット
daiwa_scarlet_\(umamusume\),solo,hand on hip,juliet sleeves,large breasts,layered skirt ,frills,white footwear,thigh boots ,blue jacket,twintails,long hair,zettai ryoiki
Negative prompt: <NAIデフォルト>,((tracen school uniform))
1回img2img挟んでいます。画像数多いのでかなり再現できてますね。
トウカイテイオー
tokai_teio_\(umamusume\),solo,sitting,one eye closed,ponytail,cape,gloves,white jacket,white skirt
Negative prompt:<NAIデフォルト>,large_breasts
微妙ですね。画像数は多いのですがトレセン制服と色合いとか似てるのが難しくなっている原因です。
マヤノトップガン
mayano_top_gun_\(umamusume\),salute,solo,open jacket,white shorts,navel,zettai ryouiki,one eye closed
Negative prompt:<NAIデフォルト>,tracen school uniform
敬礼を両手でしちゃうことが多くてガチャに時間かかりました。でもこのポーズじゃないとね。
ミホノブルボン
(mihono_bourbon_\(umamusume\)),solo,ahoge,long hair,white leotard,pink necktie,(gray skirt),detached sleeves,grey thighhighs
Negative prompt: <NAIデフォルト>,tracen school uniform
勝負服がhすぎてそんな気なくても危ない画像が出てきてしまって困ります。
アグネスタキオン
agnes_tachyon_\(umamusume\) ,solo,labcoat,yellow sweater,pantyhose,necktie
Negative prompt: <NAIデフォルト>,long hair
勝負服が特殊なので再現しやすいです。ネクタイがちょっと長いけど。ネガティブプロンプトにlong hairをつけないと髪型が安定しません。多分でデジたんのせい。
セイウンスカイ（制服）
seiun_sky_\(umamusume\),solo,horse ears,short hair,tracen school uniform,skirt
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
一番好きなキャラなのですが、勝負服は無理そうなので制服で妥協しました。画像数1000枚くらいが再現できる境界かなあ？顔もあまり再現できてないですしね。
umamusume？
umamusume,solo
ためしにタイトルタグとsoloだけで生成してみた。なんか色々でてきて面白いですね。
ナイスネイチャ（オチ）
nice_nature_\(umamusume\)
豊かな自然だなあ・・・。どうやら名前そのものに意味が強すぎるとこんな風になっちゃうようです。さすがにこれは極端な例ですけど。馬名の由来は自然じゃなくて素質なんですけどね。
ちなみにスぺちゃんがうまくいかないのも同じような理由なんじゃないかなと思ってます。specialの部分が形容詞として扱われてしまって、別のウマ娘キャラの特徴が表れてしまうことが多いです。Dreambooothのsksみたいなワードに置き換えた方がいいのかもしれないですね。
まとめ
再現しやすいキャラ
画像数が1000枚以上
勝負服を特徴づけられるタグがある
人気キャラと特徴が被っていない
キャラクター名自体に意味があまりない
同じ冠名のキャラがいない
パンサラッサの大逃げすごかつたです。