Google Colab で Stable Video Diffusion を試す
「Google Colab」で「Stable Video Diffusion」を試したのでまとめました。
【最新版の情報は以下で紹介】
1. Stable Video Diffusion
「Stable Video Diffusion」は、「Stability AI」が開発した画像から動画を生成するAIモデルです。
2. Stable Video Diffusion のモデル
現在、2つのモデルが提供されています。
・stabilityai/stable-video-diffusion-img2vid (SVD ) : 14フレーム
・stabilityai/stable-video-diffusion-img2vid-xt (SVD-XT) : 24フレーム
解像度 576x1024 で14または24フレーム生成するように学習されています。
3. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) 以下のノートブックを開き、メニュー「ファイル→ドライブにコピーして保存」で自分のドライブにコピー。
ありがたく使わせてもらいます。
Stable Video Diffusionも早く触りたいでも、リソースやどうやって試せば良いのか分からないという方！
— mkshing (@mk1stats) November 22, 2023
Colabのフリープランで試せるようにハックしました。どうぞお試しください〜。
Colab: https://t.co/SiYDRzLxTA#StableVideo
初期画像は #JSDXL から生成。 https://t.co/RUOY5QBAPD pic.twitter.com/CplEznLsJ2
(2) ノートブックのセルをすべて実行。
途中、「SVD」と「SVT-TX」を選択します。
(3) 最後のセルが実行されると、動画生成用のWebUIが表示されるので、画像をドラッグ&ドロップしてRunボタンを押す。
outputフォルダに動画ファイル (0000.mp4) が出力されます。
生成まで数分かかります。
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 22, 2023
その他の例は、次のとおりです。
Stable Video Diffusionを試す。SVD(14frame)https://t.co/mOjvq4ghdu pic.twitter.com/oI5KTOb53T
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 22, 2023
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 22, 2023
— 布留川英一 / Hidekazu Furukawa (@npaka123) November 22, 2023
4. オプション
以下のオプションを設定することもできます。
