【ComfyUI】FluxにLoRAを適用できるworkflowを試してみた感想

画像生成AIのHow to記事です。
今回はComfyUIでFluxにLoRAを適用する方法についてご紹介します。
※openartで提供されているworkflowの解説です。

プロフィール
自サークル「AI愛create」でAIコンテンツの販売・生成をしています。クラウドソーシングなどで個人や他サークル様からの生成依頼を多数受注。
実際に生成した画像や経験したお仕事から有益となる情報を発信しています。
詳細はこちら（🔞コンテンツが含まれます）
➡️lit.link

メンバーシップ（月額500円）に加入して頂くと、一部の有料記事が読み放題です。

AIマネタイズ研究所｜AI愛create

事前準備

ComfyUIのインストール

まだComfyUIをインストールしていない方は以下の記事を参考にインストールしてみてください。

ComfyUI-Managerも導入すると、workflowを簡単に使用できます。

シンプルにfluxで画像生成のみ行いたい場合は、こちらの記事を参考にしてください。

モデルデータの準備

ComfyUIがインストールできたら、fluxを動かすためにVAE・CLIPなどのモデルデータを用意します。

・モデル

現在Fluxのモデルはさまざまなものがリリースされていますが、workflowがunetのものを使っているため、公式のdev・schnellを使用します。
どちらもHugging Faceからダウンロード可能です。

また、それぞれの主な違いは以下の通りです。

dev：非商用利用の基本モデル、時間は掛かるけど高クオリティ
schnell：商用利用可のオープンソースモデル、少ないステップで高速生成可

・dev（huggingfaceのアカウント登録、ライセンス・規約への同意が必要）

black-forest-labs/FLUX.1-dev at main

・schnell

flux1-schnell.safetensors · black-forest-labs/FLUX.1-schnell at main

データは以下のパスに置いてください。

C:\ComfyUI_windows_portable\ComfyUI\models\unet

・CLIP

clip_l.safetensorsは必須で、あとはt5xxl_fp16、t5xxl_fp8のどちらかをPCスペックに合わせてダウンロードしてください。
RAM32 GB以上ある方はt5xxl_fp16、それ以下の方はt5xxl_fp8が推奨されています。
時間はかかりますが、一応RTX4060（VRAM16GB）でもt5xxl_fp16は動きました。
ファイル名右側の矢印からダウンロード可能です。

comfyanonymous/flux_text_encoders at main

データは以下のパスに置いてください。

C:\ComfyUI_windows_portable\ComfyUI\models\clip

・VAE

VAEは以下からae.safetensorsというファイルをダウンロードしてください。

ae.safetensors · black-forest-labs/FLUX.1-schnell at main

ファイルは以下のパスに置きます。

C:\ComfyUI_windows_portable\ComfyUI\models\vae

・LoRA

fluxに適用させたいLoRAをダウンロードします。
Civitaiなどで提供されているので、使いたいものを探してみてください。
画風やテイスト系だとLoRAの適用具合がわかりにくかったので、フリーレンのLoRAをお借りしました。

Frieren フリーレン - 葬送のフリーレン [Flux, Pony, SDXL] - v2.0-alpha [FLUX] | Stable Diffusion LoRA | Civitai

LoRAデータは以下のパスに置きます。

C:\ComfyUI_windows_portable\ComfyUI\models\loras

・workflow

workflowはopenartにあるものを使用させて頂きます。
以下のリンク右上にあるDownloadボタンから落とせます。

FLUX + LORA (simple) | ComfyUI Workflow | OpenArt

workflowはComfyUI起動時に取り込むので任意の場所に置いといてください。

ComfyUIでLoRAを使用する方法

準備ができたらComfyUIを起動してください。

workflowの取り込み

まずLoRA用のworkflowを取り込みます。
先ほどダウンロードしたworkflowをComfyUI上にD&Dしてください。

もし以下のように使用できないノードがあった場合、Managerからインストールできます。
※ManagerはComfyUI-Managerをインストールしている場合のみ使えます。

メニューボタンのManagerからInstall Missing Custom Nodesを開いてください。

複数ある場合は一番上のチェックボックスをチェックすれば一括でインストールできます。

インストールが終わるとRestartの案内が出るので、Restartボタンをクリックします。

ComfyUIが再起動して、workflowが使えるようになっていればOKです。

各ノードの設定

・Load Diffusion Model

ここで使用するモデルを選択できます。unet_nameから使用したいモデルを選んでください。
今回はdevを使用します。
なお、weight_dtypeでfp8にするとクオリティは下がりますが、メモリ使用量は半分にできるそうです。

・DualCLIPLoader

使用するCLIPを選択します。
1つはclip_l、もう1つはfp8かfp16を選びます。

・LoraLoaderModelOnly

lora_nameから使用するLoRAを選択します。
strength_modelでどの程度反映させるか調整できます。

・CR SDXL Aspect Ratio

画像サイズを指定できます。Aspect Ratioで選択しているものが優先されるみたいです。

・CLIP Text Encode（Prompt）

生成したい内容を入力します。
LoRAを適用するにはトリガーワードも必要なので、こちらも入力してください。
通常はCivitaiの詳細欄で確認できます。

・FluxGuidance

ここはモデルによって推奨値が異なり、devは3.5だったり、schnellは1だったりします。

・BasicScheduler

ここではStepsを指定します。
こちらもモデルで推奨値が異なり、公式だとdevは50、schnellは4です。
fp8モデルとかでも違うようなので、結果を見て調整してみてください。

・Load VAE

vae_nameでae.sefetensorsを選択します。

画像生成する

あとはQueue Promptをクリックすれば画像生成が始まります。
同じシード値でLoRAなし・ありを比較すると、ちゃんとLoRAが適用できているのがわかるかと思います。

・左LoRAなし・右LoRAあり（devモデル）

一応schnellでも生成してみましたが、やはりモデルそのものやGuidance・stepsの値でクオリティに差が出るようです。

左：Guidance1・steps4
右：Guidance3.5・steps35

以上ComfyUIでFluxにLoRAを適用できるworkflowの紹介でした。

当サークルではこのようなAIに関するさまざまな情報を発信しています。
メンバーシップに加入して頂くと一部の有料記事は読み放題です。
AI技術の向上、マネタイズ方法などに興味がある方は、ぜひご検討ください。

AIマネタイズ研究所｜AI愛create