512×768を40枚描くのに3分36秒

2024年4月24日 20:52

前回の記事では長々とTensorRT拡張機能のインストール方法を解説しました。
今回は実際にTensorRTエンジンを作成してみます。
拡張機能は日本語化だけをインストールしましたので、メニューの説明は日本語化されているものとして解説します。

設定で「sd_unet」「sd_vae」を表示させる

まず、設定からユーザーインターフェースを開き、「クイック設定」に「sd_unet」「sd_vae」を追加します。

これでcheckpoint（現在のモデル）の隣に「sd_unet」「sd_vae」が表示されます。

そしてTensorRTエンジンを作るのですが、本家SD1.5をのエンジンを作っても味気ないので、civitaiからみんな大好き（笑）AbyssOrangeMix3の「AOM3A1B」をダウンロードしてきました。

checkpointを切り替えてDefaultエンジンを作る

TensorRTエンジンを作りたいモデルを選択して、TensorRTタブの「プリセット」をDefaultにして「Export Default Engine」を押すと、SD1.5のデフォルト設定でTensorRTエンジンの作成が始まります。

けっこう時間がかかることと、VRAMに負荷がかかるためそれなりに熱くなります。
なんかONNXランタイムエラーが出ているのですが、「これはONNX側のバグではないか？」と言われています。なんだかよくわかりませんが、開発者スレッドでそんな発言が飛び交っていても、pythonのコードも書けない私がわかるわけがありません。

なんか赤でエラーが出ているんですが、これでデフォルトエンジンはできました。

webUIでもExported Successfullyと出ています。
デフォルトのプロファイルでは「高さ幅は512px以上、最大は768px、プロンプトは最大150」であることがわかります。

webui-user.batをTensorRT用に書き換える

TensorRTの力を発揮させるため、webui-user.batを編集してCOMMANDLINE_ARGSに--opt-sdp-attention と付け加えてSPDAを有効にします。
--xformersはコメントアウトしました。

とりあえず描いてみる

幅512，高さ768の2対3でバッチサイズ4にし、40枚描いてみました。
プロンプトは気持ち程度にネガティブを書いて、サンプラーはDPM++ 2M SDE、ステップ数は30です。
モデルをAOM3A1Bを選択し、「SD Unet」をさっき作ったTensorRTエンジンであるン[TRT]を選択します。