
【AIアニメ】Loraによるキャラクターデザイン固定を試す
*AI anime: フレーム補間まばたきテスト2 (mp4) #FILM #AIart #stabledifussion pic.twitter.com/VZQsFQuIHo
— Baku (@bk_sakurai) May 21, 2023
前回のアニメーションではAI生成した画像をベースにしたが、実際にストーリーアニメを作るなら、キャラクターデザインの一貫性を維持する必要がある。
ひとまずオーソドックスにLoraによるキャラデザ固定を試す(ただし、現在はControlNetだけでもかなり固定できるとのこと)。
今回は、AIマンガの試作用にVroidStudioで作成した3Dモデルを流用して、データセットを準備した。
LoraモデルはGoogle Colabで手軽に作成できる。画像データは十数枚でもいいらしい。Colab無料版で20分弱で学習が完了した。

よく分からないまま、Loraの適用度合いをWebUI上で調整。
Loraを強くすると、学習画像ほとんどそのままになる。さすがにVroid感が強いので、もう少しアニメ風にしたい。

Loraを弱くしすぎると、学習画像の特徴が薄れる。

バランスをとって調整。
