TensorRT on SD3＆SD3商用ライセンス変更について
TensorRTがSD3でも使用できるようになったので、ベースとなるノードを無料で配布します。
お金を取る程の複雑なノードでもありませんで。
ComfyUIにおけるtensorRTの導入方法についてはこちらをご覧ください。
また、TensorRT用モデルの作成方法についても、SD1.5、SDXL1.0と特に違いはありません。
Pytorch+cuとの速度比較ですが、2倍以上の高速化は実現します。
1024×1024サイズの画像生成で、概ねSDXL1.0をPytorch+cuで画像生成した時のほぼ同じ位の速度ですね。
下図においては、上がTensorRTの画像生成、下がPytorch2.3.1+cu12.1での画像生成です。
これで、LoRAが使えるようになればありがたいのですがね。SDXLも含めて。
現在、A1111用のTensorRTはControlNet対応に向けて開発中の様ですが、果たして、いつ公開されますやら。
また、SD3のライセンスが変更され、SD1.5やSDXL含めた同社モデルによる収入が年間1万ドル以内であれば、無料アカウントのまま商用利用可能となりました。