例のIPAdapterをやってみた話

こんにちは。
IPAdapterって別になんか新しくなったりしたわけじゃないと思うのですが、この話がバズってるのを見ました。

Using the new IPadpater batch unfold settings to rotoscope/animate a high motion fight scene! #hotshotxl #animatediff #aianimation pic.twitter.com/BTJfmC6K69

— Inner-Reflections (@InnerRefle11312) December 1, 2023

作者がワークフローを公開してくれたので、私もやってみようかと思います。
まずは、鮮度そのままでもらったワークフローを共有します。

Hotshot_IPadpater_Wokflow.json

27.2 KB

ファイルダウンロードについて

ダウンロード

で、ここからこのワークフローで使っているであろうモデル等の情報なのですが、なんか羅列しているだけで何も面白くないです。ごめんなさい。

設定

というわけでまずはモデル情報　SDXL用です

CounterfeitXL - v2.5 | Stable Diffusion Checkpoint | Civitai

VAEもおのずとSDXL用

stabilityai/sdxl-vae at main

CNはここからダウンロードします

lllyasviel/sd_control_collection at main

IPAdapter, CLIP Visionはここ

h94/IP-Adapter at main

h94/IP-Adapter at main

名前から察するにmotion moduleはこれかな

hotshotco/Hotshot-XL at main

KeyFrameはCounterFeit?よく知らんので、Civitaiにあったやつを適当に利用

全体でみるとこんな感じ。とりあえず16フレームとかで作って動作確認した上で動画の全長で実行！

結果

とりあえずポン出しで出た動画はこちら（音は入れてます）
たぶん実際はこれをアップスケールとかface detailとかしていい感じにするのかな？
よく見ると１枚おっぱい出てる！
SDXLキレイだな…　以後SDXLだけでやろうかな…

@ai_hinahina

IPadpater batch unfold workflow #AnimateDiff #ComfyUI #AI動画 #バタフライ

♬ オリジナル楽曲 - AI_moviestar - AI_moviestar

ちな、prompt-travelだとデフォルトでIPAdapterついてるよ！
あ、これ私のTikTokなので、良かったらフォローしてください。