パノラマ画像を作る拡張機能「MultiDiffusion」を試す
forgeに初めから拡張機能としてあるMultiDiffusion。
なんだこれと思い使ってみると横長の画像に対して、それぞれ処理を入れて生成できるというもの。
使い道は、背景や風景に主に使えますが、人物でもいけます。
横長の人物のパノラマ画像を上手に作れれば、アニメのエンディングのようなものを動画として作れると思います。
ここでは、MultiDiffusionの設定と生成結果について紹介します。
Methodの設定内容
MultiDifussion:画像をタイルに分割し、それぞれのタイルを個別に処理しながら融合する
MultiDifussionは、画像をタイルに分割し、それぞれのタイルを個別に処理しながら融合するため、それぞれのワイルドカードが反映する
Mixture of Diffusersは、ガウス平滑化を使用してタイル間の継ぎ目をよりシームレスに結合する
Tile Overlapの値を大きくすると、継ぎ目が目立たなくなりますが、処理に時間がかかる場合があります。
最適な重なり具合を見つけるには、いくつかの値で試行錯誤が必要です。
Tile Batch Sizeを大きくすると処理が速くなる反面、VRAMの使用量が増えるため、GPUのメモリに合わせて設定してください。
適切なバランスを見つけることが重要です。
設定内容
Width:2048
Height:1024
MultiDiffusion設定
Tile width:512
Tile Height:1024
他は全てデフォルト設定。
+ Hires. fixにて2倍にして4096×1024のパノラマ画像を生成しました。
CheckPointは、AnimagineでFGOの宮本武蔵さんをナースのコスプレをさせてみました。
上記の設定にてMultiDiffusionからMixture of Diffusersに変更
こちらの方が違和感がないかも。
最後にTile Overlapをデフォルト64から2倍の128にしてみました。
あまり変更がわからないのでTile overlapはデフォルトでいいかと思います。