見出し画像

【ComfyUI】 fal.aiのFLUX.1 [dev]+LoRAをAPIで呼び出して画像生成してみよう！

Yas@BizDev支援のエンジニア

FLUX.1の人気が高まる中で、FLUX.1のLoRAも増えてきました。今回は、falでのFLUX.1の使い方、LoRAを使った画像生成を解説します。falでは、FLUX.1[dev]において、LoRAを使うことができます。本来、FLUX.1[dev]は商用利用不可ですが、falでは商用利用可能になります（おそらくBFLと提携していると思われます）。

前回のFLUX.1 [pro]のAPIを呼び出す方法は、以下の記事をご覧ください。この記事の中で、falのAPIや、falで利用できるモデルを記載していますので、本記事の前に読んでおくと理解が捗ります。

ControlNetを組み合わせた方法は、以下の記事をご覧ください。

FLUX.1について知りたい方は、以下の記事をご覧ください。

AICU media様がComfyUIの使い方を一から教えるマガジン「ComfyUIマスターガイド」を連載しています。こちらのマガジンに掲載する記事の執筆協力をしておりますので、ComfyUIを学びたい方は、ぜひ以下のリンクよりマガジンをご購読ください！


1. falでAPIキーの取得

falのアカウント作成

まず、falでのサインアップには、GitHubのアカウントが必要になります。以下のリンクからGitHubにアクセスし、GitHubのアカウントを作成してください。

GitHubのアカウントが作成できたら、次にfalのアカウントを作成します。以下のリンクからfalにアクセスしてください。

falにアクセスすると、以下の画面が表示されます。右上の「Sign up」をクリックします。

ログイン方法の選択画面が表示されます。「Continue with GitHub」をクリックします。

GitHubとの認証画面に移ります。「Authorize fal-ai」をクリックします。

これでサインアップ完了です。falでは、最初に$1のクレジットを無料でもらえます。これを使って画像生成していきましょう。

APIキーの取得

トップページのタブの「Keys」をクリックします。

APIキー一覧画面に移ります。「Add key」をクリックします。

APIキー作成画面が開きます。Scopeに「API」を選択し、NameにこのAPIキーを識別するための名前を入力します。最後に「Create Key」をクリックします。

APIキーが作成されます。「Copy Key」をクリックすると、APIキーをコピーできます。

2. ComfyUIでfalのAPIを利用する

ComfyUI-Fal-API-Fluxのインストール

まずは、カスタムノードをインストールします。今回使用するカスタムノードは、「ComfyUI-Fal-API-Flux」になります。このノードは私が作成したノードになります。falのAPIを実行するカスタムノードは、他にもあったのですが、LoRAに対応していなかったため、自分で作成しました。以下のリンクより、GitHubリポジトリページにアクセスできます。

現状、ComfyUI Managerに登録されていないので、GitHubのリポジトリをクローンすることでインストールします。ComfyUI/custom_nodesフォルダに移動し、git cloneを実施してください。

cd /path/to/ComfyUI/custom_nodes
git clone https://github.com/your-username/ComfyUI-Fal-API-Flux.git

インストール後、ComfyUI-Fal-API-Fluxフォルダに移動し、必要なライブラリをインストールしてください。

cd ComfyUI-Fal-API-Flux
pip install -r requirements.txt

APIキーの設定

ComfyUI-Fal-API-Fluxのインストール後、ComfyUI/custom_nodes/ComfyUI-Fal-API-Flux/config.iniにAPIキーを設定します。config.iniを開くと、以下のように記載があります。ここで、"your_api_key_here"の箇所にfalのAPIキーを貼り付けてください。

[falai]
api_key = your_api_key_here

この作業が終わったら、ComfyUIを再起動してください。再起動しないと、この設定が反映されません。

使用するLoRAのリンクを取得

APIでLoRAを使用する場合は、HuggingFaceやCivitAIなどのクラウド上に公開されているLoRAのリンクをAPIのリクエストに含めます。FLUXのLoRAは、以下のHuggingFaceのページにまとめられているので、こちらからLoRAを探すことをおすすめします。

※ 2024年9月21日現在、FLUX LoRA the Explorerはバグで見れないようです。以下のページでもLoRA一覧を確認できます。

今回は、実写とイラストを融合する「half_illustration」を使用します。以下のリンクより、half_illustrationのHuggingFaceのページにアクセスしてください。

アクセス後、「Files and versions」のタブをクリックし、表示された画面で「flux_train_replicate.safetensors」をクリックします。

表示された画面から「Copy download link」をクリックすることで、リンクをコピーすることができます。このリンクは、後ほど使用するので、ここからコピーできることを覚えておいてください。

ワークフローの準備

以下のワークフローのサンプルがあるリンクにアクセスしてください。

アクセスすると、以下の画面が表示されます。画面右にあるダウンロードボタンを押下し、ワークフローのPNG画像をダウンロードしてください。

この画像をComfyUI上にドラッグ&ドロップし、ワークフローをロードしてください。以下のようにワークフローが表示されます。

左側にあるノード「Fal API Flux LoRA Config」のlora_urlに先ほど取得したLoRAのリンクを貼り付けてください。

APIの実行

それでは、「Fal API Flux」ノードに以下のプロンプトを入力し、APIを実行してみます。

In the style of TOK, a photo editorial avant-garde dramatic action pose of a woman short blue hair wearing 70s round wacky sunglasses pulling glasses down looking forward, in Tokyo with large marble structures and bonsai trees at sunset with a vibrant illustrated jacket surrounded by illustrations of flowers, smoke, flames, ice cream, sparkles, rock and roll

「Queue Prompt」をクリックし、実行します。

以下のように画像が生成されました。生成時間は7.08秒でした。

この記事でご紹介したAI技術の応用方法について、もっと詳しく知りたい方や、実際に自社のビジネスにAIを導入したいとお考えの方、私たちは、企業のAI導入をサポートするAIコンサルティングサービスを提供しています。以下のようなニーズにお応えします。

  • AIを使った業務効率化の実現

  • データ分析に基づくビジネス戦略の立案

  • AI技術の導入から運用・教育までの全面サポート

  • 専門家によるカスタマイズされたAIソリューションの提案

初回相談無料ですので、お気軽にご相談ください。以下のリンクからお問い合わせください。


いいなと思ったら応援しよう！