FLUX.1x ComfyUIを試してみた＠Paperspace
FLUX.1について色々な記事がありますので、Paperspaceでも試してみた的な内容になります。生成される画像がとても良いとのことで、試してみたところその通りかと感じました。
さて、このFLUX.1はファイルサイズが17.2GBということで、AuraFlowと同じくらいの容量のようです。
まゆひらさんの記事を参考に、4ステップ生成のもの(schnell)を選択しています。
使用方法は簡単で、ComfyUIのチェックポイントの所に上のモデルを配置すれば良いようです。
一時ディレクトリの場合のコマンドは以下
!cd /tmp/ComfyUI/models/checkpoints && \
curl --progress-bar -L -o flux1-schnell-fp8.safetensors https://huggingface.co/Comfy-Org/flux1-schnell/resolve/main/flux1-schnell-fp8.safetensors?download=trueワークフローを読み込んでみました。
注意書きがありました。
「Note that Flux dev and schnell do not have any negative prompt so CFG should be set to 1.0. Setting CFG to 1.0 means the negative prompt is ignored.」
どうも、Fluxはネガティブプロントがないので、CFGを1に設定しているとのことです。
CFGを上げると、良い画像が出なくなりました。。。これはネガティブプロントをzeroconditioningにしても同様です。
前の記事で取り上げたAuraFlowと同じプロンプトで画像を生成してみました
A young girl playing baseball. The girl swinging a bat with both hands and hitting a ball. she gaze at a ball. in a park with sunny day. She wears baseball uniform. She is slender and has cute and beautiful face. normal anatomy.
生成時間はAuraFlowよりも早く、プロンプト追従性は高いと感じました。
特に顔は安定していますね。AuraFlowは顔が崩れやすい傾向にありました。他でも言及されていますが手の描写は破綻しやすい傾向にありました。
ただ、生成速度が速くガチャがしやすいところもとても良い印象を感じました。
色んなサンプラーとスケジューラーで画像が生成できます。
デフォルトはEuler x simpleですが、他の設定でも生成可能です。
バットにボールが当たっているのは、DPM++3M SDE Exponentialで生成しました。
CFG++だとスケジューラーはExponentialで生成出来ました。
一応、補足しておきますが、上の画像が出来るまで、ガチャをそこそこの回数行っています。ただ、バットにボールが当たっている画像を生成するのはかなり凄いかなと感じました。AuraFlowでは無理でしたし。。。。(生成時間がかかるのでガチャ数は大きく異なります)。
言及しているサンプラーについてですが、Eularだとバットにボールが当たっている画像は出なくて、サンプラーを変えていく中で出てきたという経緯がありますので、プロンプトによって相性があるかもしれません。
上の画像は1280x720で生成しましたが、２枚バッチで生成して、14秒弱(A4000)でした。AuraFlowだと1枚で60秒ぐらいかかるので、10倍近くの差があることが分かります。