DeforumのFlux対応フォーク版！！＠Forgeで動かす!
Deforumのdiscordで、Flux対応フォーク版が出ていました。嬉しいですね。
ComfyUIだとKサンプラーの所でエラーが出て動かないので、DeforumでFLUX.1を使用する場合は現状(2024/8)はこれが一番簡単です。x-labが出しているものも有りますが使ったことがないので使用感は不明です。
これは新版のForgeにインストールして使用します。※reForgeでありません。
まだ、色々と実験段階ということで、インストールがらみの不具合などありますし、更新も頻繁なので、この記事の手順を踏まなくても良くなる可能性があります。
＜インストール方法＞
Extensionタブの「Install from URL」で以下のURLを入れてインストールするのが間違いなさそうです。手動でインストールするとエラーの元になったりします。以下はコピペ用。
https://github.com/Tok/sd-forge-deforum
＜必要なこと＞
※以下の①②は通常のtxt2imgが使える設定にしておくためのものです。
①モデルの配置
Githubサイトの例だと、flux1-dev-bnb-nf4-v2.safetensorsが推奨されていますが、forgeで動くなら問題ないと思います。
# flux1-dev-bnb-nf4-v2
!cd /tmp/stable-diffusion-webui-forge/models/Stable-diffusion && \
curl --progress-bar -L -o flux1-dev-bnb-nf4-v2.safetensors https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/resolve/main/flux1-dev-bnb-nf4-v2.safetensors?download=true
# flux1-schnell-bnb-nf4
!cd /tmp/stable-diffusion-webui-forge/models/Stable-diffusion && \
curl --progress-bar -L -o flux1-schnell-bnb-nf4.safetensors https://huggingface.co/silveroxides/flux1-nf4-weights/resolve/main/flux1-schnell-bnb-nf4.safetensors?download=true
②VAEの配置
t5も小さい方で良いかも。。(上の2つの場合はこれらの配置はなくてもOK)
# Deforum用VAE保存
!cd /tmp/stable-diffusion-webui-forge/models/VAE && \
curl --progress-bar -L -o ae.safetensors https://huggingface.co/black-forest-labs/FLUX.1-schnell/resolve/main/ae.safetensors?download=true
# Deforum用Clipl保存
!cd /tmp/stable-diffusion-webui-forge/models/VAE && \
curl --progress-bar -L -o clip_l.safetensors https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true
# Deforum用T5保存
!cd /tmp/stable-diffusion-webui-forge/models/VAE && \
curl --progress-bar -L -o t5xxl_fp16.safetensors https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true＜追加でインストールするモジュール＞
※以下のをインストールしなくても、エラーなくDeforumはインストールされますが、生成を開始するとエラーが出る場合がありますので、その対策用です。
!pip install timm==0.6.7
!pip uninstall -y opencv-python
!pip uninstall -y opencv-python-headless
!pip install opencv-python==4.9.0.80
!pip install opencv-python-headless==4.9.0.80
上記の手順で行ったところ
新版ForgeでもDeforumが使用出来る様になりました！！！！
これまでだとタブ自体が出なかったのでうれしいですね。
＜Deforum使用前の注意点＞
①チェックポイントの設定をする
②CFGを1にする：デフォルトは1になっていないため修正する必要あり
③ネガティブプロントを入力しない：paraseqでの使用が推奨
④「FreeU」と「KyohaHRFix」は使用しない
⑤一度txt2imgで画像生成をあらかじめ行う
これは要らなくなったらしいですが、念のためにしておくのが安心
＜FLUX.1に特有と思われる現象＞
①通常(SDXLなど)と異なり、時間がそこそこかかります。
②3Dモードで画面を動かすと一貫性を出すのが難しい印象がありました。
③Strengthの設定を低めにする：これまでのSDXLと設定を同じにすると固定された画像になる可能性があります。
SDXLだと、strengthは0.65-0.7くらいですが、Fluxは0.5以下が推奨とか言われています。以下のは0.5で生成。
④一貫性を出すのは難しい？
設定次第ですが、低めのcadenceだと変わりやすいです。
＜感想＞
forgeでdeforumが使えるメリットは、pataseqが使える所ですね。
プリセットも使用出来ますが、同じ設定ではうまくいかないです。
新しく追加されたparaseqのcadence機能はとても興味深い感じでしたが、offでも問題なく生成できます。
文字を入れた動画が作れるのは面白いですね。
