【ZipLoRA】 #AI用語集 #ZipLoRA

画像生成において、特定のコンテンツ（オブジェクト、被写体）のLoRAに特定のスタイル（画風）のLoRAを安価かつ効果的にマージする技術。

歴史

2023年11月22日、Viraj Shah、 Nataniel Ruiz、Forrester Cole、Erika Lu、Svetlana Lazebnik、Yuanzhen Li、Varun Jampaniの研究グループにより、個別の LoRA を組み合わせて学習スタイルと主題の共同生成を実現するZipLoRAが発表された。

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

 これはユーザーが提供した任意のスタイルで任意のサブジェクトの生成を実現するために、それぞれ独自にトレーニングされたスタイルとサブジェクト LoRA を安価かつ効果的にマージする方法で、従来の「Direct Merge」、「Joint Training」、「StyleDrop」と比較しても優秀な結果を出力することが示されている。

参照している主題のアイデンティティを保持することと、参照スタイルの固有の特徴を捉えることの両方に成功している。

ZipLoRA

このアプローチは、次の 3 つの観察に基づいている。

(1) SDXL は人間によるフィードバックなしで DreamBooth プロトコルに従うことにより、単一の見本画像のみを使用してスタイルを学習できる
(2) すべてのレイヤーの LoRA 重み行列は密でなくほとんどは非常に小さいため、生成の品質と忠実度にはほとんど影響しない。
(3) 独立してトレーニングされた 2 つの LoRA の重み行列の列は、たとえばコサイン類似度によって測定されるように、相互にさまざまなレベルの「整列」を持つ可能性がある。コサイン類似度が高い列を直接合計すると、マージされたモデルのパフォーマンスが低下することがわかった。

これらの観察に基づいて、元の LoRA のコンテンツとスタイル生成プロパティを維持しながら、同様の方向の合計の量を削減することを目的としたジッパーに似た動作をするメソッドは、より堅牢で高品質のマージを生み出すだろうと仮説を立てた。ジッパーが生地の 2 つの側面をシームレスに結合するのと同じように2 つの LoRA をブレンドするための結合係数の素なセットを見つけ、マージされた LoRA が主題とスタイルの両方を適切に捉えることを可能にした。

また、オブジェクトとスタイルの強さを調整して制御性を高めることができる。

略称等

ZipLoRA

動画

With collaborators @Google we're announcing 💫 ZipLora 💫! Merging LoRAs has been a big thing in the community, but tuning can be an onerous process. ZipLora allows us to easily combine any subject LoRA with any style LoRA! Easy to reimplement 🥳
link: https://t.co/l8y5Qh7zM9 pic.twitter.com/26C6GeDeIg

— Nataniel Ruiz (@natanielruizg) November 23, 2023

関連論文

「ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs」（Viraj Shah、22 Nov 2023）

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

「ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs」（Viraj Shah、日付記載無し）

ZipLoRA

「Researchers from Google and UIUC Propose ZipLoRA: A Novel Artificial Intelligence Method for Seamlessly Merging Independently Trained Style and Subject LoRAs」
（Sana Hassan、December 1 2023）

Researchers from Google and UIUC Propose ZipLoRA: A Novel Artificial Intelligence Method for Seamlessly Merging Independently Trained Style and Subject LoRAsResearchers from Google and UIUC Propose ZipLoRA: A Novel Artificial Intelligence Method for Seamlessly Merging Independently Trained Style and Subject LoRAs

Repository

ライセンス

関連用語

関連記事

関連ブログ等

So, I quickly implemented the ZipLoRA by 🤗🧨 (Some people have already noticed though)
code: https://t.co/Z3s0FK8quC

I hope it helps somehow and feel free to drop your comments and feedback~
Big thanks to the authors for their awesome work 🙌 https://t.co/gMhQqAUExN pic.twitter.com/AphQN0Vim2

— mkshing (@mk1stats) November 24, 2023

https://github.com/mkshing/ziplora-pytorch

更新履歴

・2023/12/2 初稿：コミュニティからの投稿

エントリーフォームはこちらです新しい用語、投稿歓迎！　https://bit.ly/AIyougoEntry

みんなでつくるAI用語集｜AICU media｜note

以下はコミュニティメンバー向け