ComfyUI-DynamiCrafterWrapperを試してみた話＠paperspace

Animatediffの動きに限界を感じている中、別なものを試してみようということで、このComfyUI DynamicCrafterというものを試してみました。
このノードでは、色々出来るようで、その中のtoon crafterの部分を試してみました。

自作のコンテナを使用していると、インストールしていなかったモジュールがあったようで追加が必要となりました。

!pip install pytorch_lightning

ComfyUI DynamicCrafter自体は、ComfyUI Managerで落とすことが可能で、モデルはワークフロー実行時に自動的にダウンロードされます。
ただ、モデル自体はダウンロードに時間がかなりかかります。

VAEは、SD1.5のやつをあらかじめダウンロードしておく必要があります。

以下が公式のワークフローの一つです。

tooncrafter_example_low_vram_01.json

15.3 KB

ファイルダウンロードについて

ダウンロード

このtooncrafterはVRAM消費が高いことで有名？なので、PaperspaceのFree A4000だとそのまま使用すると「out of memory」になります。

VRAM消費を減らす方法①
そのため、以下のところで「fp8」のところをTrueにしておきます。

VRAM消費を減らす方法②
以下の参照画像の解像度に合わせて画像が生成されるので、これが大きいとVRAM消費が大きく、生成時間もかかります。
このままでも実行可能でしたが、384ぐらいでも出来上がった画像自体は悪くない印象でしたので、スピードアップもかねて変更しても良いかとおもいます。

＜試してみたもの＞
以下の二つを参照して生成してみました。
これらはSDXLでコントロールネットなどを使用してバリエーションを適当に作成したものです。

参照①

参照②

動画生成にあたって、以下のデフォルト値から希望する感じの動画にするために調整が必要でした。デフォルト値だと、①から②に急に変わる感じで人物の滑らかな変化がでませんでした。

＜生成された動画＞384x384で生成したものです。

＜Animatediffで実写風にしたもの＞
こちらはまだ検討の余地がありそう。。。

ということで、非常に研究しがいのあるアプリと考えられます。