AnimateDiff_Controlnetを使ってみた話
こんばんは
なんか話の前後がよくわかってないんですが、動画用にトレーニングしたCNというものがありましてですね、よくわからないけど使ってみたら驚くほど動画がキレイになったという話をベースに使い方を書いておきます。
必要なもの
とりあえず該当のControlNetを拾ってきます。
ここが本家のはずです。
赤枠で囲んだファイルcontrolnet_checkpoint.ckpt以外は必要ありません。
現在はSD1.5用で、SDXL用は現在開発中との噂になってます。
ComfyUIのやり方
ワークフローはこちらです
こちらはKiajiさんという方が作ったものになります。
使い方ですが、まずは自分の持っているモデル、ロラを配置します。
で、動画を指定して、先ほどダウンロードしたCNをセットすれば準備完了！
特段難しいことはないと思うのですが、動画の画像をそのまま食わせてますね。
強度を変更して色々とどれが良いか試してみましょう。
伝統的には、こちらのファイルを使って確認するのが良いかと思います。
うまくいくとバットマン、アイアンマンが座ってる絵になります。
かなり精度高く作れてると思います。なんでだろ！
Prompt-travelのやり方
prompt.jsonに以下の行を追加します
利用するStylizeフォルダ以下のcontrolnetにも写真を入れておきます。
あとは実行するだけ！！
以上になります。
簡単ですまん！