StreamDiffusionをローカルで遊ぶ
StreamDiffusionってなに?
めちゃくちゃ速い画像生成ができるやつです。
いくつか機能が用意されていて、text2img、img2img、画面キャプチャからの画像生成、vid2vidができます。
個人的にvid2vidが激ヤバで感動しました。
リアルタイムAIお絵描き(?)も高fpsでできちゃう・・・
下のリンクからでも動画が見れるので見てない人は見て欲しい。すごい。
(https://x.com/IMG_5955/status/1731971307732918532?s=20)
(https://x.com/cumulo_autumn/status/1732309219041571163?s=20)
(https://x.com/cumulo_autumn/status/1728768642052182231?s=20)
インストールするよ
はやく遊びたいのでインストールします。
readme-jaあって感動、ありがとう
git clone https://github.com/cumulo-autumn/StreamDiffusion
してから
windowsでpipで環境構築してみる
仮想環境をつくって
python -m venv .venv
.\.venv\Scripts\activate
環境に合ったPyTorchいれて
pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu121
一般ユーザーなのでユーザー向けのインストール方法に従います。
StreamDiffusionをインストールして
pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion
TensorRTもインストールして
python -m streamdiffusion.tools.install-tensorrt
インストール終わりです。はやい
使ってみる
examplesにあるのをいくつか使ってみます
screen
画面のキャプチャをimg2imgするやつ
そのまえに
pip install -r screen/requirements.txt
上のコマンドを実行して、依存関係をインストールしておきましょう。
次に、examplesの中でscreenを実行します
python screen/main.py
出てくるウィンドウでenterを押すと始まります
デスクトップに並んだアプリのアイコンたちがつぶれた猫たちになりました、奇妙
txt2img/multi.py
テキストから画像を複数枚生成します
実行はこんなかんじ
python txt2img/multi.py --output ./output --prompt "1girl"
この後に-width 1024とか付けるとパラメータを色々いじれます。
詳しくはmulti.pyに書いてあります
16枚生成してみた
ロードの時間除くとめちゃくちゃ速いです。バケモン
vid2vid
実行前に、
pip install -r vid2vid/requirements.txt
しておきましょう
次に実行です、
python vid2vid/main.py --input path/to/input.mp4 --output path/to/output.mp4
path/to/input(output).mp4を任意のパスに変更してください。
もしエラーが出る場合は動画の比率を1:1にしてみてください。
今までの動画の変換と比べてめちゃくちゃ速くて感動しました・・・
おわりに
読んでくれてありがとう、導入の解説とかではないけど参考になるかもしれないので書きました。
readmeがわかりやすすぎてスラスラ導入できます。
日本語も書いてくれてるし神か。。。??
あきせんせいが配信で解説してたのでそっちを見ると◎
ここから先は有料ですが、内容は無いので安心してください。
スパチャ的な感じです
ここから先は
¥ 300
この記事が気に入ったらサポートをしてみませんか?