Stable diffusion txt2imgでIP adapterを使ってアニメーション
AnimateDiffのVideo sourceに動画をいれてControlNetのIP adapterを使って、動画をつくってみた。使った動画はこちら
AnimateDiffの設定
contralnetの設定
Mov2Movと比べて顔はあまり似ていませんでしたが映像としてはスムーズですね。
コンソールを見るとエラーになっているので、ip_adaperは効いてないようです
2024-04-02 16:18:24,500 - ControlNet - INFO - Loading model: ip-adapter_sd15_plus [32cd8f7f]
2024-04-02 16:18:24,647 - ControlNet - INFO - Loaded state_dict from [C:\SD\stable-diffusion-webui\extensions\sd-webui-controlnet\models\ip-adapter_sd15_plus.pth]
2024-04-02 16:18:24,856 - ControlNet - INFO - ControlNet model ip-adapter_sd15_plus 32cd8f7f loaded.
*** Error running process: C:\SD\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py
Traceback (most recent call last):
File "C:\SD\stable-diffusion-webui\modules\scripts.py", line 718, in process
script.process(p, *script_args)
File "C:\SD\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py", line 1143, in process
self.controlnet_hack(p)
File "C:\SD\stable-diffusion-webui\extensions\sd-webui-controlnet\scripts\controlnet.py", line 1128, in controlnet_hack
self.controlnet_main_entry(p)
File "C:\SD\stable-diffusion-webui\extensions\sd-webui-animatediff\scripts\animatediff_cn.py", line 248, in hacked_main_entry
model_net.reset()
AttributeError: 'ControlModel' object has no attribute 'reset'