Local PCでHunyuanVideoをより長く作る@ComfyUI-MultiGPUの革命！！
https://www.reddit.com/r/comfyui/s/hz07TumPZ7
このredditの記事に今回の記事についての内容がありました。
今回の方法は、比較的システムRAMが多いLocal pc用のものになります。
以下のカスタムノードを使用します。
名前はMultiGPUですが、GPUが1つのみ搭載のPCでの運用についての話です
このカスタムノードを使用して、CPUにあるシステムメモリに容量を割り当てる方法を使い、動画生成時のVRAMを増やし、長時間の生成を可能にするというロジックになっています。
例えばhunyuan-video-t2v-720p-Q4_K_M.ggufだと7.74 GBあります。
llava-llama-3-8B-v1_1-Q6_K.ggufだと6.6GB
ということで、これだけで14GB分の容量になっています。
以下がRedditにあった図です。DRAMがCPUのものです。VRAMが12BGの設定です。
左側が通常時のものを想定しています。
VRAM12GB内にGGUF、VAE、CLIPの容量があり、生成に使えるVRAMが少ないことが分かります。それに対してCPUのDRAMには空きがあります。
このカスタムノードを使用して、GGUFやVAEなどの容量をDRAMの空きで処理するようにすると、生成用に使用出来るスペースが大幅に増えるということになります。
この図だと3GB分ぐらいが10GB分ぐらいまで増えるという計算になります。
＜使い方＞
これまで使用していたモデルなどのローダーを置き換えるだけ！！
例えば、以下のような感じの設定にすると、GGUFの7.7GB分をCPUのシステムメモリにオフロードすることができます。NaNのところに割り当てる容量(GB)を追記しただけ。
※解像度を上げると、時間がかかりますので、そのあたりはトレードオフということで。
システムメモリに余力があれば、容量が大きいモデルをシステムメモリに割り当てると実行することが可能になります。
この拡張機能を使用すると、ログで、どのような感じになっているか分かります。例えば、私の環境だとCPUのRAMが32GBですが、Q8のGGUFの14GB分が割り当てられています。
凄いですね。Q8は元々の状態だと生成することは不可能でしたので、ありがたいところです。生成時間はやや伸びている印象です。Q5 vs Q8でQ8の方が伸びている。
もともと、--low VRAMとかのコマンドラインでは、こういった割り当てをしているようですが、ワークフローでそういう設定が任意で出来るのは素晴らしいことだと思います。
基本的に、量子化をするとモデルの性能自体はある程度低下しますので、この方法であれば、システムメモリが十分あれば対応可能ということになります。
今回はHunyuanVideoモデルですが、FLUXモデルなども対応しているとのことです。
システムメモリ自体は、増設がGPUより楽かつ安いです。差し込むだけなので。。PC買うときに多めにしておけばと少し後悔をしているところです。
ということで、個人的に増設することにしました。
