ComfyUIのAnimatediffでimg2videoを試す話

まだ、検討中ですがアニメ系とリアル系について、ComfyUIのAnimatediffでimg2videoを試してみました。
胸揺れワークフローを一部変える感じにしてみました。

元絵として上のようなものを用意しました。

絵柄が変わりましたが揺れてくれました。

リアル系

こちらは厳しい結果に。。。。おそらくプロンプトも悪い可能性あり。
顔が小さい為、SD1.5だと崩れる印象。
縦長の画像にしています。

SDXLで今一度video2video的にしてみたものです。
顔がましになりました。

リアル系については工夫が必要そうだなと感じました。

最初からSDXLが使えると良いのですが、motion loraを使うためにSD1.5を挟まざるを得ないのが現状かと感じました。

ちなみに公式のGithubではimg2videoのフローは公開していません。
これは著作権絡みのトラブルが起きやすい事も関連しているのかなと勝手に推察しています。

この記事は、出来そうな感じがするという検証結果でした。