東方 (touhou) が与えるAIアート (WaifuDiffusion) への影響 | AIArt研究所

2022年10月6日 20:43

こんにちは、だだっこぱんだです。
今回もAIArt (WaifuDiffusion) のお話です。

AIArt 研究所

AIArt全般についての情報共有や研究などをしているコミュニティです。
近々ちょっとしたコンテスト的なものを開催しようかなと思っているので良ければぜひ。
👇サーバーのURL

ある日、八雲紫という東方のキャラをAIで生成してみたいなと思い、WaifuDiffusionを使用して試してみました。
その際、「東方のキャラだからtouhouって入れておけばいい感じになるっしょ！」みたいな感じで'touhou'というワードを入れて回していました。

「あれ？いつものWaifuDiffusionと違うぞ…？」
すこし不自然な絵が生成されていますね。目がのっぺりしてたり色の塗がいつもと違ったり…
何度かプロンプトをいじって試しましたが全く良くならず。
「もしや….？」
と思い'touhou'を抜いてみました。

すると….

「目の輝きが戻った！！塗もいつもの感じだ！！」
どうやら'touhou'には何か秘密があるみたい…？

しっかり検証してみる。
短めのプロンプトで'touhou'ありなしのX/Y plotを作ります。

やはりかなり大きな影響を与えているよう。これはいったいなぜなのか…？

AIに関しては専門的な知識が全然ないので良い考察はできないですが少しだけ。

おそらくStableDiffusion、またはWaifuDiffusionでは、'touhou'とzun絵が結びついているのではないかと考えました。
実際、生成された画像にはZUN絵っぽさがちょこちょこ出ている部分があり、その絵柄とほかの絵柄がまざって不自然な絵になっていたのだと思われます。

StableDiffusionやTrinArtDiffusion2で同じように検証してみました。

StableDiffusionやTrinArtDiffusionではあまり大きな差は出なかったです。
WaifuDiffusionで追加で学習されたのか、もしくはリアル系の学習情報が忘れられている影響で'touhou'が強くなったのか…？

とりあえず'touhou'はかなり強い影響を与えるってことはわかりました。