SD3用高速化PCM LoRA登場 (XL用おまけ付)
SD高速化技術には、概ね2つの潮流があります。
TensorRT高速化とLoRA高速化、それぞれに一長一短があります。
TensorRTは画質のトレードオフが生じませんが、現時点ではLoRAやControlnetとの互換性が不十分で、特にSDXLではLoRAも効きません。
一方、それらの互換性は高いLoRA系高速化ですが、LCM→Lightning→Hyperと進化しつつありますが、基本的に速度と画質がトレードオフの関係にあります。
そんな中、AnimateLCMなどの技術を開発したFu-Yun Wang氏が、「Phased-Consistency-Model(PCM)」という新たなLoRA系高速化技術を発表し、最近これがSD3にも対応してきたので、早速導入してみました。
４ステップでも、標準的な30ステップとほぼ同等に近い絵にはなりますね。
ベースとなるノードを作成したので、ここからダウンロードできます。
SD3用LoRAは以下からダウンロードできます。
SD3のライセンス規定も改訂され、一定条件下では無料アカウントでも商用利用が可能になったので、昨日投稿した「Like DALL-E3」もSD3に改造しようと思います。
SD3におけるTensorRT用ノードも昨日投稿しております。
また、私が普段使いしているSDXL用ワークフローをPCM対応化したバージョンも、おまけに付けます。ここからダウンロードしてください。16Stepsバージョンを使用します。アップスケール部分はCCSRを使用します。
まだ、それほど多くのテストをした訳ではありませんが、PCM LoRAはどうもA1111で特定のLoRAが効かなくなるようです。
私の環境では、ComfyUIの方が狙った絵になります。
そして、当たり前ですが速いですね。
16StepsだとSDXL Hyperの12Stepsよりは速度的には落ちますが、LCMやLightningに比べて画質が向上しているのは体感で分かります。
また、SDXL Hyperに対しても、Hyperでは使えなかったLoRAやサンプラーがPCMでは使える為、16Stepsだと速度はHyperに劣るとしても現実的にHyperより用途が確実に広くなっています。
例えば上の猫の絵は、DPM_PP_3M_SDE_GPUを使っていますが、Hyperは勿論、LCMでもLightningでも使えなかったサンプラーです。