Stable diffusionのMov2Movの使い方

Stable diffusion Mov2Mov

Stable diffusionのMov2Movを使うと動画の人を写真の人に変えることができます。
しかし最新のインストールではMov2Movが動作しなくなりました。

私はStable DiffsionをPCとpaperspaceとGoogle Collaborateの3つの環境を使って使っています。その中の２つを変更しました。

Mov2Movが動作するように環境を変更する方法。
webuiのバージョンをv.1.7.0に変更します。下記のようにします。
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui -b v1.7.0

ControlNetのOpenPoseとIP-Adapterをインストールします。
OpenPoseのPreprocessorはdw_openpose_full、Modelはcontrol_openpose-fp16を使います。

Mov2Movで使う動画ですが、私はtxt2imagのAnimateDiffを使って作成します。こちらが元の動画です。

Stable diffusion のAnimatediffでダンス画像を作った

AnimateDiffで綺麗な動画を作成するコツはNumber of framesとFPSとFrame InterpolationとInterp Xのパラメータです。
Number of framesのデフォルトの0だと9枚のフレームが作成されますが、少なすぎて動画になりません。最低でも32以上を設定します。
InterpolationはFILMを選択して、Interp Xを2か3に設定します。
これとFPSの組み合わせで動画のスピードが決まるようです。

InterpXの数字が大きい方が滑らかな動画を作成できますが、Mov2Movで編集すると振動しているような動画ができてしまいます。

InterpXの値は、FPSの設定値の倍の数のフレームを作成するようです。
例えばFPSが8でInterpXが3なら24になります。
ただしこのままだと3倍遅い動画になります。それでFPSを24に変更すると動画のスピードは元に戻ります。