ComfyUIでモーフィングアニメーション(ipiv's Morph)

2024年4月29日 16:12

複数のリファレンス画像を連結した高品質なモーフィングアニメーションが作れます。

pic.twitter.com/shjcSQXTN4
— sho@紫魔導士 (@closer0502) April 29, 2024

pic.twitter.com/EfWL4R9Vuj
— sho@紫魔導士 (@closer0502) April 29, 2024

以下のcivitaiのページにワークフローがあります。

この記事では、RTX4070ti 16GBで生成しています。
最終的に4倍アップスケールされたHD動画が生成されますが、おそらくVRAM16GBモデルじゃないと、アップスケーリングは重いだろうと思います。VRAMが少ない場合はアップスケールノードをミュートしてください。
RTX4070ti 16GBだと1920*1920の動画も作れました。

モデルダウンロード

Animate Diffはv3です。
ComfyUI Managerからモデルとアダプターを入れてください。

CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors
clip visionのモデルです。二つ目はSDXLです。
ダウンロード後は、models.safetensorsという名前なので、上述の名前に変えてからmodels/clip_visionへ入れてください。
https://huggingface.co/h94/IP-Adapter/blob/main/models/image_encoder/model.safetensors

https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/image_encoder/model.safetensors

4x_NMKD-Siax_200k.pth

アップスケーラーです。ComfyUI Managerから入れられます。

Juggernaut

ワークフローで使っているSDチェックポイントです。https://civitai.com/models/46422/juggernaut

QR コードモーションアニメ

以下のサイトに、QRコードアニメがあるので
動画の上で右クリック→"名前を付けて動画を保存"
でダウンロードしてください。
https://civitai.com/posts/2011230

動画生成

loraにHyperSD、チェックポイントはjuggernautになっていますが色々試してみると面白いです。
出力サイズが288*512ですが、これで最終的にアップスケールされて1080*1920になるように計算されています。
512*512など正方形でもかまいません。
batch_sizeは、長い動画がいるなら必要に応じて長くしてください。
プロンプトは必要ありません。
ただし、プロンプト自体は効いているようで通常のanimatediffみたいにglowingなどのワードを入れるとキラキラ感が強くなります。

以下のようにリファレンス画像を入力します。
サイズなどは特に気にしなくても良いです。

コントロールネットモデルにqrcode monsterを忘れずに。
QRコードモーションアニメを入れます。
画像ではLoad Video(Path)が面倒なので、Load Video(Upload)を使っています。

これで実行すると動画が生成されます。
288*512なんて経験的に歪んだ変な画像が出る印象がありましたが、かなり綺麗に出ます。

こちらは512*512です。

適当に画像を入れて面白いものが出てきます。
以下のものはビジュアルエフェクトっぽい画像を入れて生成しました。

pic.twitter.com/RXNTFU263J
— sho@紫魔導士 (@closer0502) April 29, 2024

ComfyUIでモーフィングアニメーション(ipiv's Morph)

モデルダウンロード

Hyper-SD

control_v1p_sd15_qrcode_monster