見出し画像

ComfyUIで動画から動画をつくる…最も簡単で確実な方法（ノード）

MV factry

ここからは、ComfyUI をインストールしている方のお話です。
まだの方は…

「ComfyUIをローカル環境で安全に、完璧にインストールする方法（スタンドアロン版）」を参照ください。https://note.com/mv_factry/n/nb3d488bc2a2a


■まずは・・・

以下の機能拡張をインストールし、必要に応じてmodelやimage encodersを所定の場所にダウンロード（手動の場合もあり）してください。
※各ノードのgitページを参照してください。
が…ReActor Node for ComfyUIとComfyUI_IPAdapter_plus はインストールする際に、よくエラーが出ます。（エラーでインストールできないことも）
ので、先にReActor Node for ComfyUI,ComfyUI_IPAdapter_plusをインストールし、エラーが出ないか確認することをお薦めします。
→ので、テスト用のノード用意しました（以下、参照ください）
■よくあるエラー
→insightface,onnxruntime,cv2に関連するエラーが多い
　対処方法は各カスタムノードのgitページにあるIssueやインストールの方法
　を参照してください。
→ReActor Node for ComfyUIをインストールしたら、先にインストールした
　はずの他のカスタムノードを認識しなくなった。（これ多いです）
　ConfyUI manegerでアンインストールも更新もできない場合は、
　ConfyUIを閉じ、custom node　フォルダから該当のフォルダごと削除し、
　再度、ConfyUI manegerからインストールしてください
→「ffmpeg」関連エラー
　「ffmpeg」が入っている（pathが通っている）か確認してください。
　「手動でインストールした方」「入ってないよという方」「入れたのに
　認識されない（pathが通っていない）」「入っていない」という方は、
　「ffmpeg インストール パス通す」でググってインストールし、pathを
　通してください。
　その時はCドライブ直下にインストールするほうが何かと便利だと思い
　ます。（A1111を併用している方など）
　あと、pathを通すのは「ffmpeg.exe」のあるフォルダです。

■必要な拡張機能ノード（ConfyUI manegerからインストール）

■必要なmodel（ConfyUI maneger→Install Modelsからインストール可能）

【IPAdapter_plusのテスト】

・ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models に
IPAdapter用モデル
・ComfyUI/models/clip_vision に
clip vision用 model
が入っているか確認の上で…
以下のtest_IPA.png をダウンロードし、ComfyUI にドロップしてください。
IPAdapter_plus のノードが出てきます。
追記）Load Image の参照画像は好きな画像を使ってください。
赤いノードのmodel,clip vision,vaeをsd1.5用/sdxl用のものを混同せずに選択して、Queue Promptを押してください。
画像が出力されればOKです。

【ReActor Node（Face Swap）のテスト】

ComfyUI\models\facerestore_models に顔の修復モデルが入っているか
確認の上で…
以下のtest_Rea.png をダウンロードし、ComfyUI にドロップしてください。
ReActor Node のノードが出てきます。
追記）Load Image の参照画像は人物のどアップ画像を使ってください。
赤いノードのmodel,vaeをsd1.5用/sdxl用のものを混同することなく選択して、Queue Promptを押してください。
画像が出力されればOKです。

■無事に全ての拡張機能などがインストールできたら…実践！

以下のtest_ADF.png をダウンロードし、ComfyUI にドロップしてください。
test_ADF のノードが出てきます。

test_ADFのnode

また、ノードが赤く反転しているものがある場合は、機能拡張が足りません。ConfyUI maneger→Install Missing Custom Nodsに進むと、該当する機能拡張が出てきますのでインストールし、再起動してください。

進行具合は現在の場所が緑の枠で囲まれます。
で、KSamplerでめちゃくちゃ時間かかります。
GPUも99％使います。
私のpc（13th_i7_4070ti）で…
select_every_nth=5　376秒／elect_every_nth=1　1877秒かかります

■使用方法をザックリ説明

・Load Video
　好きな映像を使ってください（長いと時間かかるので、10秒程度）
　このノードでは横長を使ってますので、縦長のものを使う場合は、
　Upscale Imageの値を変更してください。
　select_every_nthはコマ落ちです。数値を下げるほど動画が滑らかに
　なりますが、時間もかかります。
・Load Checkpoint
　このノードではcheckpointにvaeが入ったものを使用しています。
　vaeが入っていないものを使用する場合は、真ん中にある孤立した（ピン
　クに反転）Load VAEを右クリックし、中程にあるBypassをクリックすると
　使用可能になるので、VAE Encode（2個）に新たにつなぎ直して、vaeを選
　択してください。
・LCM Lora
　AnimateDiffでも使用できるようですが、動画を参照する場合でサンプラー
　のstepやcgfを下げると画像が崩れるのでバイパスしてます。
・ControlNet
　Lineart,OpenPose,depthの3種類を好みに応じて使ってください。
　自分で設定すれば他も使えます。
・Prompt
　Batch pronpt Schdule は殆ど効いてません。背景を消せば…また今度。
・AnimateDiff Loader
　mm_sd_v15_v2 を使用する場合は、apply_v2_models_properlyをtrueにして
　ください。
・faceswap
　好きな画像をどうぞ。
　ReActor-Fast Face SwapのON／ＯＦＦは、好みでどうぞ。

今後は、このノードをもとに更に使いやすいノードを作成します。


　


いいなと思ったら応援しよう！