見出し画像

AnimateDiff x Regional prompterの検証(webUI)

shiba*2

WebUIの拡張機能にRegional prompterというのがあり、AnimateDiffに使用出来ないか検討した内容です。※Matrixモードのみ
私自身、初めてRegional prompterを使用したこともあり、不十分なところが色々あるかと思います。

＜結論＞
出来る

下の動画はregional prompterについて、とても分かりやすい解説でしたのでリンクを貼りました。

イメージはこんなのが出来れば良いなという感じで試してみた感じになります。
投稿内容からは「マスクを4パターン生成してそれぞれのマスク部分にそれぞれのプロンプトで動画生成してる感じ」とのことでした。
Regional prompterに近いのかなと思いました。

＜覚書　regional promter使い方＞Githubより
「BREAK」で分けることで領域を指定する　テンプレートは順番を確認する際に使用する程度？BREAKの前後は半角スペースを空ける
ネガティブプロンプトはそのままだと全ての領域に効いているらしい。
①チェックを入れない場合
領域ごとにBREAKで分けて記載すればよい
②BASE prompt
品質プロンプトを入れるらしい、これを入れる場合は最初に入れるため、領域＋１の記載が必要になる
③Common prompt
全ての領域に共通させたいプロンプトがあれば使用する

実際に試してみたものを以下に載せておきます
全て512x512で作成しています。

＜冬と夏の２パターンに分ける＞

(intricate detailed), (absurd-resolution), (ultra-detailed), best quality
BREAK
(winter)
BREAK
(summer)

こんな感じで作成してみる(以下は4つバッチで作成したグリッド)

latentモード

＜春、夏、秋の３パターンに分ける＞
(intricate detailed), (absurd-resolution), (ultra-detailed), best quality
BREAK
(spring):1.2
BREAK
(summer):1.2
BREAK
(autumn).1.2

(以下は4つバッチで作成したグリッド)

latentモード

カラムごとに分けられていないが、おおむね雰囲気を分けることは出来ている印象。

＜AnimateDiffの適応＞

(intricate detailed), (absurd-resolution), (ultra-detailed), best quality
BREAK
(spring):1.3, cherry blossom , bloom storm
BREAK
(summer):1.3, sunshine:1.2, sea:1.3
BREAK
(autumn):1.3
とりあえず、この設定でAnimateDiffを試してみると、人物をネガティブプロンプトで排除しようとしていたのですが、女の子が懲りずに出てくるので、コントロールネットで調整しました。

出来たものをそのまま張り付けています

ということで、regional prompterを使用することは可能ということが判明しました。自分の中で。
Xの投稿のようにきれいに分けられませんでしたが、雰囲気は合っているかと。
さらにコントロールネットの併用も可能な様なので、AnimateDiffの幅が広がると思われます。多分。


いいなと思ったら応援しよう！