見出し画像

Stable Video Diffusionで動画生成を試してみた

斉藤 滋

画像生成AIでお馴染みのStable Diffusionを開発したStabilityAI社が新しく動画を生成するAI、Stable Video Diffusionを発表した。

公開されたモデルを使用して、さっそくサンプルコードを公開されてる方がいらっしゃったので触ってみます。

colabのURLにアクセスしてプログラムを実行するとgradioで構築されたシンプルなweb UIが表示される。

特別なことはいらない。
実行すると下記のような画面が出てくるので、画像をアップロードして動画が生成されるのを待つだけだ。

web UIをT4で立ち上げた場合は画像アップロードから約7分で動画が生成される。V100だと2分くらいで生成できる。

アップロードしたMidJourneyで出力したこちらの画像。

さっそく生成された動画を見てみよう。

おおっ……！
まさか回転してくれるとは……！！
待つだけで出ると考えると、なかなかのクオリティじゃない！？

こんどはこちらの画像。

生成された動画。

これまた違う動きをしてくれる！
さっきのは回転だったけど、こちらはスクロールしてジャックオーランタンが跳ね回って見える！
なんもプロンプト入れてないのにこれだけできるのか！

ちなみにどちらの画像も縦がつぶれてる？
リサイズが固定サイズなのかな？

他の生成されたのも見てみよう。

カメラワークがうまく噛み合えばかなり良い感じの動画になるけど、パッとしないのもありますね。
カメラワークはランダムなのかな？
ソースコードをざっと見ただけではどこで調整してるのかは分からなかった。

最後にこの記事のメインビジュアルの画像を動画にしてみたのがなかなか良い感じだったのでこちらで締めたいとこ思います。

いいなと思ったら応援しよう！

この記事が参加している募集

#AIとやってみた

45,721件