2023年8月の記事一覧
Stable Diffusion学習のVRAM使用量を調査する
調査するぞ調査すると徹底的に調査するぞ！！！
基本設定 調査に使う学習コードは疑似的に作成したものになります。画像データ等は使わず、ランダムなテンソルをネットワークに入力します。VAEは使いません。共通設定を以下のようにします。
モデル：Stable-Diffusion-v1.5
バッチサイズ：[1, 2, 3, 4, 6, 8, 10, 12, 14, 16]
画像サイズ：768×76
Stable Diffusionの画像条件付けまとめ
Stable Diffusionの画像生成を画像によって条件づける方法をまとめていきます。といっても実装とかを全部見たわけではないので、多少間違っている部分もあるかもしれませんが、まあイメージはあってるっしょ。
手法の分類 画像の情報をUNetのどこに与えるかによって手法を分類します。とりあえず5つに分けてみました
Cross Attentionに与える：Prompt Free Diffus