StreamDiffusionのサンプルとデモをWindowsでとりあえず動かしてみる
環境構築
公式のGitHubのInstallationのまま進める
新しいwindows環境なので色々入っていない
まずpythonが入っていない、入れる
仮想環境構築はvenvでもcondaでも両方書いてあるが、とりあえずcondaにした。
condaも入っておらず入れる。
CUDAは12.2が入っていた、とりあえず12.1の方のインストール手順をやる。
以上、特につまづくところはなかった。
samples/screen/を試す
StreamDiffusion/examples at main · cumulo-autumn/StreamDiffusion · GitHub
https://github.com/cumulo-autumn/StreamDiffusion/tree/main/examples
ここの指示通りにやれば動く
気になるのはスペックに対してのパフォーマンスだが、WindowsマシンはRTX2080TiとCore i9-9900X 3.50GHzで、7FPSくらいだった。
Windowsマシンのある（スペックは十分ではないが）環境に来たので、StreamDiffusionのスクリーングラブからのリアルタイム変換のサンプルをとりあえず動かしてみる
— Kousei Ikeda / 池田 航成 (@ikekou) January 5, 2024
RTX2080TiとCore i9-9900X 3.50GHzだとこのくらい、7FPSかな？ pic.twitter.com/Bo3YJoAONn
demo/realtime-txt2img/を試す
StreamDiffusion/demo/realtime-txt2img/README-ja.md at main · cumulo-autumn/StreamDiffusion · GitHub
https://github.com/cumulo-autumn/StreamDiffusion/blob/main/demo/realtime-txt2img/README-ja.md
こちらは環境が足りなかったので、一手間必要。
node.jsが入ってなかったので入れる。
pnpmも入っていなかったので、入れる。
あとは特に問題ない、動いた。
StreamDiffusionのリポジトリのサンプルとデモを見て行ってる。text-to-imageのデモをとりあえず動かしてみた。
— Kousei Ikeda / 池田 航成 (@ikekou) January 5, 2024
フロントがHTML/CSS/TSとReactでできてて、キー入力時に前回送信時の文字列と変化度合いを計算して閾値を超えたらfetchしているシンプルな構造で、受けるAPI側のpython側もわかりやすい pic.twitter.com/yWxZ5QQUeH
demo/realtime-img2img/を試す
こっちはパッとうまく動かず時間切れ、また今度リトライする