【しばらく有料】VRoidのアニメーションをSDXL×AnimateDiff×ControlNetでアニメ風

個人的には在り来たりになってきたタイトルですが、SDXLの絵柄の良さをできるだけ活かしつつ、「一貫性の維持」や「破綻の軽減」を実現した現状の結論設定が見えてきたため、設定を記載しておきます。

今回の設定であれば、以下のような動画が生成可能です。
元はVRoidを使った3Dの動画で、それを今回紹介する手順でアニメ風に加工しています。

みはるが投稿

全身でなければだいぶマシかなぁ。
VRoid感もほとんど消えてる気がするし。 pic.twitter.com/0iDeh8i93n

— kongo jun (@jun_kongo) November 9, 2024

以下が元動画。

みはるが投稿

元動画も置いとこ pic.twitter.com/TfuVhaqT3s

— kongo jun (@jun_kongo) November 9, 2024

全身だと、ぎりぎり。

みはるが投稿

全身の限界 pic.twitter.com/l4SExBtzK5

— kongo jun (@jun_kongo) November 9, 2024

複雑な服装・激しい動きにもある程度対応可能です。

みはるが投稿

複雑な服装・激しい動きにもある程度いけてそう。 pic.twitter.com/3eTlDQa3aS

— kongo jun (@jun_kongo) November 15, 2024

これまでSD1.5やSDXLで同じようなお題に挑戦してきたので、そちらも併せて紹介しておきます。

期待通りの結果を得るには、かなりのマシーンスペックが要求される。
その前提で見ていただきたいです。

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G
電源:1200W

VRAMもかなり必要ですが、電源も1200Wでもギリギリに感じます。

今回の購入者特典は、個人的によく使う背景クロマキー化の手順を紹介します。