3D画像を高速生成できるTripoSRというオープンソースのGoogle Colabでの実行方法

今回は、Google Colab上で、2D画像から3D画像を高速に生成できるTripoSRというオープンソースモデルを試してみます。

開発は、Tripo AIとStability AIとなります。

今回は、上記コードを参考に修正し、Google Colab V100で実行します。

成果物イメージ

左側に3D画像にしたい2D画像を取り込んで、Generateをクリックすると、右側に3D画像ができます。実際に、右側の3D画像のハンバーガーは動かせます。

では、Google Colabでのコードを紹介します。

!git clone https://github.com/VAST-AI-Research/TripoSR.git
%cd TripoSR
!pip install -r requirements.txt

次に、gradio_app.pyを以下のように修正します。

修正前：167行目　share=args.share,
修正後：167行目　share=True,

gradio_app.pyの修正が終わりましたら、次を実行します。

!pip install gradio
!python gradio_app.py

Running on public URL: httpsと表示されるので、https:をクリックします。

初期画面

使い方は、右側に画像を取り込んで、Generateをクリックしますと、左側に3D画像ができます。左側の3D画像は動かすことができます。

狐の画像の場合

マウスで色々な角度から見ることが出来ます。

他にも試してみます。

椅子の場合

スライムの場合

立体感の無いスライムになってしまいました。

ビール缶の場合

猫の場合

猫もなんか変な3D画像になってしまいました。

今回、サンプルとして用意されている画像以外は、ChatGPTで作成してもらった画像だったので、このことが影響したのかもしれません。