ComfyUI で FLUX.1 の画像生成とLoRAを試す
「ComfyUI」で「FLUX.1」の画像生成とLoRAを試したのでまとめました。
1. FLUX.1
「FLUX.1」は、「Stable Diffusion」の開発者たちが立ち上げた「Black Forest Labs」が発表した最新の画像生成AIモデルです。
・FLUX.1 [pro] : APIから利用可能な最高品質のモデル。
・FLUX.1 [dev] : 非商用アプリ向けのオープンなガイダンス蒸留モデル。
・FLUX.1 [schnell] : 最速のタイムステップ蒸留モデル。
2. Fluxの画像生成
Fluxの画像生成の手順は、次のとおりです。
(1) 「Stability Matrix」で「ComfyUI」をインストールして起動。
起動時のログで「ComfyUI」フォルダのパスを確認できます。
(2) 以下のファイルをダウンロードし「ComfyUI/models/clip/」に配置。
32GB以上のRAMがある場合はfp16が推奨されます。
・t5xxl_fp16.safetensors (または t5xxl_fp8_e4m3fn.safetensors)
・clip_l.safetensors
(3) 以下のファイルをダウンロードし「ComfyUI/models/vae/」に配置。
(4) 以下のファイルをダウンロードし「ComfyUI/models/unet/」に配置。
(5) ComfyUIのFluxページの「Flux Dev」の画像をダウンロード。
この画像にはワークフローの情報が含まれています。
(6) 画像をComfyUIの画面にドラッグ&ドロップして「Queue Prompt」を押す。
画像が生成されます。
(7) プロンプトを変更して「Queue Prompt」を押す。
「cute cat ear maid of japanese style」で画像を生成しました。
3. FluxのLoRA
FluxのLoRAの手順は、次のとおりです。
(1) 以下のファイルをダウンロードし「ComfyUI/models/lora/」に配置。
今回は、現代のアニメ画風を学習したLoRAウェイト「alfredplpl/flux.1-dev-modern-anime-lora」を使いました。
(2) ワークフローのダウンロード。
(3) ワークフローをComfyUIの画面にドラッグ&ドロップして「Queue Prompt」を押す。
画像が生成されます。
(4) プロンプトを変更して「Queue Prompt」を押す。
「cute cat ear maid of japanese style」で画像を生成しました。
4. FluxのLoRAの学習
FluxのLoRAの学習の手順は、次のとおりです。
(1) LoRAの学習。
「Google Colab」(有料版)で学習することができます。
(2) LoRAウェイトを切り替えて「Queue Prompt」を押す。
