Fictverse, Redreamをpaperspaceで使ってみた！
今日は昔遊んだFictverseというツールをご紹介
こちらのツールはStableDiffusionを動かしながら動かすツールになります。
背景
ある日、こんなツイートを見つけました。
超久しぶりにAIでリアルタイム美少女化。webカメラからストリーミングして変換してる実際の速度の動画。NVIDIA公式が出したTensorRT使った画像生成高速化を試した。確かに速い。品質はスピード優先なので崩れてるけど pic.twitter.com/g2W4Dwahgy
— Hirokazu Yokohara (@Yokohara_h) October 18, 2023
めっちゃ面白そうだったのと、TensorRTをちょうど取り入れたところだったのでこれをできるようにセットアップしてみました。
ただ、残念なことにFictverseは現在開発が６月から開発が止まっていてDiscordのコミュニティーももはや活気がないのでたぶんこのまま死んでいくプロダクトではないかと思います。
で、いったいどうやっておっさんから美女を生成しているかというと、i2iを連続でやってるんですね。
Fictverse側はモニター上のスクショを連続して作成してSDにi2iで送って結果を表示するという、まさに漢のゴリ押しアプリです。
そのため処理速度が神速である必要があります。
ツイ主さんはRTXでステップ数16, 384*512でTensorRTを使ってこのリアルタイム感を作り上げています
私の環境ではSDサーバーはPaperspace上にあり、Fictverseサーバーはスクリーンショットの関係上windowsローカルに配置せざるを得ませんでした。
環境構築
１．Gitリポジトリをcloneしてソースをローカルに落とします。
２．StableDiffusionをAPIモードで起動します
３．Fictverseを起動します
あとはFictverseの設定からStableDiffusionのURLを指定して実行すると見れるようになる！という仕組みなのですが…
何回やってもPaperspace上のStableDiffusionとローカルのFictverseがつながらねぇぇェェ！！
SD側でAPIが動かない場合、実はAPIのテストができるので、それを使ったりいろいろしましたが、SD側はブラウザからのリクエストは通るんですが、ローカルFictverseから実行しようとするとどうしてもエラーになります。
で、ムカついたのでデバッグしたところ接続のプロトコルがごり書きのhttp://になっていました
そしたら無事に動くようになりました！
が、、、、
ネットワーク遅くてそんなにリアルタイム感はなかった…
あと、モデルとかもいろいろ吟味しないと思ったようには動かなかった…
あと、拾ったデモはこんな感じ
SDのAPI叩いていろいろやるのは良いアイデアだと思った！
今日はここでおしまい！