AnimateDiff V2V GUIリリースした話

こんにちは。
今日は例のAnimateDiff魔改版のベータを公開できたのでお知らせします！

こちらのAnimateDiff V2V GUIですが、ビデオから人を抽出してその部分をAI化することができるアプリとなっております。
他にも色々とできるのですが、まー細かいことは使ってみて考えましょう！

GUIを作った経緯としては、プログラムとかわからない人でもとっつきやすいように作ってみました。
同時にPrompt-travelについても、もう少しこうしたら良いのに！的な部分を個人的に修正させてもらいました。

これを使えば、TikTok等で適当に動画を拾ってきて、そこからバズる動画を最速簡単に作れるのではないでしょうか

画面説明

起動するとこんな感じの画面が出てきます

大きく分けるとこんな感じです

まずはURLを入力します
こちらはあなた自身のTikTokやTwitterの動画投稿を使います。
（デフォルトで私のTikTokのテスト動画を入れておきました）

fpsはとりあえず画面のヌルヌルさを表しますが、１６にしておきましょう

ココも見たらわかるのですが、モデルを選んだり、プロンプトを入力したりします。
あ、ＬＣＭ使ってるので、ステップ、CFGはそちらに合わせて少な目が良いです。
Motion Moduleは現在話題のv3はまだ未対応です。

ロラを使いたい場合、ここでロラを選択します。
最大４つまで使えます！

motion LoRAも一応使えるようにしてあります。
こちらは事前のダウンロード等は不要です。
が、V2Vなのでopen poseとかAnimateDiff CNとか使ってます。そうなるとあんまり効果が期待できません。
これを本当に利用する場合は他のCNを切って、ビデオからのモーションを拾わないようにしないと意味ないですね…
こちらは将来に期待の機能です。

コントロールネットの設定です。他にもQR monsterとかNormal VAEとかなんかいっぱい使えます。が、使ってもそんな変わらんと思うのでこれだけにしてあります。
なんかとりあえずいい感じにしてあるので、あとは強度だけ選んでください。

この設定、結構重要です！
Delete cacheは、ビデオをダウンロードしているのですが、そのキャッシュを削除します。フレームレートを変更したい時はコレを選んで実行してください。
ついでに過去作った作品も消えるので、先に保存しておいてくださいねー
Test Runが選択されていると最初の１６コマだけAI化します。
これを使って実行して、どんな感じか確認して、パラメタを調整してーいざ本番はチェックを外して実行！みたいな流れを想定しています。
Refineは画像を1.5倍にアップスケールします。顔が小さい場合にコレを使うと良いのですが、大きい場合、ちょっと顔が濃くなります。

使ってみた

とりあえずポン出しで作った動画がこちら

@ai_hinahina

just created with https://github.com/JojoYay/animatediff-cli-prompt-travel/blob/main/README.md #AnimateDiff #AIdance

♬ オリジナル楽曲 - AI_moviestar - AI_moviestar

まーなんかここからどれくらいキレイにするか？が勝負かなという感じです。

今日は眠いのでここまで！！セットアップ編はまた今度書きます。
ばーい