StreamDiffusionをColabでとりあえず動かしてみる

手元にWindowsがなかったのでColabで動かしてみる。

主にこれを参考にした。

補助的にこれを参考にした。

ランタイムのタイプはT4に変更。

上記の記事の途中でpywin32のエラーが出るので、何か間違ってるのかな、と思って何度かやり直してしまったが、気にせずに記事の通りにやると良い。

メニュー「ランタイム→セッションを再開する」

のあたり。

この環境だとリアルタイム変換は試せないので、Video-to-Videoを試す。

TouchDesignerで映像を生成。それをGoogle Driveにアップロードして、それを読み込ませて変換する。

動画が大きかったのか、メモリ不足でクラッシュする。課金してハイメモリタイプに。ただ、その後元の動画自体の解像度を小さくしたので、ハイメモリにしなくてもよかったのかもしれない。

出力先も直接Google Driveにした。

とりあえず #StreamDiffusion が動いたので、 #TouchDesigner ユーザーらしくバナナを回転させて、それを干支の龍に変換してみた。新年あけましておめでとうございます。… pic.twitter.com/5Jp4BwEzhz

— Kousei Ikeda / 池田 航成 (@ikekou) January 2, 2024