Prompt-Travelを魔改造した話２

2023年12月7日 22:50

こんにちは
早速、前回の続編になります。
前回はprompt-travelを弄って、xyz prompt的にパラメタをちょい変えして比べられるようにしました。

ソースはどこ！？という声が聞こえますが、もう少しだけお待ちください。
公開予定なのですが、まだ調整中となっております。

で、今日は以前の記事で使ったサンタ動画をもう少しキレイにしてみたいなと思って書いてます。

今回のおかずはこちら！

このControlNet、動画用にトレーニングされた奴らしいんだけどすごいかも！！！
ip2pをはるかに凌駕してる
これは、以後コレ必ず入れないと！
興奮のあまりface detailer入れないで静止画投稿
後で完成品を音入れてアップします…https://t.co/bBQjzo8LZ8 pic.twitter.com/SxceQWFTli
— AI絵師-ひなりん (@AI_hinahina) November 30, 2023

これ、いまいち伝わってないのですが、すごい絵がキレイになるIPAdapter みたいな使い方ができます。
私もフォークしたソースにコレをぶち込もうと思ってたのですが、気が付いたら本家が先にリリースしてました。（すごいね）

これ、とりあえず何も考えずデフォルト値（1.0）で元の絵を食わせて動かしてみたところこんな感じになりました。

ちょっとややこしいんですが、そもそもprompt-travelで作る時に背景の影響を消したかったので、maskを作ってそのmaskの絵をgenerateしてるのでグリーンバックになってます。
で、デフォルトの強度1.0で入れてみたので背景が同時に強く影響されて結果が緑背景になりました。洋服にも影響がかなり強く出てますね。
どちらにせよ、入れるだけで絵がかなりキレイになっています。

なーのーで、open_poseとanimatediff_cnの強度をまたｘｙｚ形式でいっぱい作って、ベストを探してみようと思います。
今回はそれに加えて、Refine処理も入れました。
Refine処理は動画作成後に解像度を上げる際に使うんですが、顔がつぶれている時とかに有効なので、今回もきっと有効でしょう。