Colabで動かすStableDiffusion実装

自分がつかってる、Google Colab用StableDiffusion環境を公開しました。

海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。

使い方

1. GitHubページの「Open in Colab」ボタンをおして、colabで開く。

2. このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認

3. HuggingFaceでアカウントを作成

4. StableDiffusionのモデルページで、「利用規約」に合意する。

5. モデルファイル sd-v1-4.ckpt をダウンロード

6. モデルファイルを Google Drive等にアップロード

7. 下のセル 「1-1. Google Driveとの接続」を実行

8. 下のセル　「1-2. のフォーム」に、Google Driveにアップしたモデルのパスをセット。（画面左のフォルダから、アップしたファイルを探して右クリックでパスを取得してコピペ）。

9. このページ上部のメニューで、「ランタイム > 全てのセルを実行」を選択

10. 一番したのほうにGUIが出現する。（近くのURLで別窓でも開ける）。

2回目以降は、9番から実行すればOK

特徴

• GUI

• タイル（ループ）モード

• MidJournery的なプロンプトへの重みづけ。

• プロンプトAとプロンプトBのブレンド生成

公式のStableDiffusionと比べて、以下みたいなことができます。

タイリング機能を用いて作ったフルーツのループパターン

プロンプトのブレンド機能で作った、コーギーとウサギの合成生物

ベクトルの合成ができると、かなりきめ細かく作れます。

こういうのも作れる。ちょっとコード追加するとアニメーションもいけます（コードを整理中）。

子供から大人までの変化を、まるっとAIで生成。

キャラの設定画渡したら、表情や年齢のバリエーション出すツールとかいけそう。寝てる間にレンダリングするので、漬物つくってるっぽさある。コードを整理中。#stablediffusion pic.twitter.com/vBjpy5OR27

— 深津 貴之 / THE GUILD / note.com (@fladdict) September 6, 2022

「街の発展と崩壊」
自前のColabでも、プロンプト同士のアニメーション作れた。1時間〜2時間で生成できる感じ。潜在空間同士を連結すると綺麗にアニメるな。#StableDiffusion pic.twitter.com/m70ajR6qsC

— 深津 貴之 / THE GUILD / note.com (@fladdict) September 5, 2022

StableDiffusion、そのまま使っても十分楽しいですが、潜在空間のコンセプトを理解して直接いじくれるようになると、かなり応用がきいてよいです。

プロンプトのコツについて