2D to 3D animationができるAI「DreamGaussian4D」で遊んでみる
DreamGaussian4Dとは
DreamGaussian4Dは静止画像やビデオから4Dガウススプラッティング生成(ガウス関数を用いてオブジェクトの形状や動きをスムーズに補完し、高品質な3Dモデルを生成)をしてしまう技術です。
簡単に言ってしまうと、2D画像からあっという間に3Dのアニメーションデータが出力できますって感じでしょうか。
Python、CUDA、PyTorch、xformers、simple-knnなどの技術を使用しているようです。
🌐プロジェクトページ類
早速いじってみる
Video、3D、4Dそれぞれ作れるようです！
早速デモのパンダをお目当ての4Dで動かしてみました。
DreamGaussian4Dで遊び中。2Dto3D animationすごいな〜 pic.twitter.com/IEMQdmDEmM
— SUTO💡 (@st_e_ai) June 14, 2024
ぬるぬる動いているなあ〜〜〜すごい！
いろんな画像で試してみる
それでは猫ちゃんに登場いただきましょう🐈
今回はVideo、3D、4D全部作ってみました！
これは動画でぜひ確認してみてください📹
オリジナルの猫ちゃん画像でもお試し中🐈 pic.twitter.com/jstjpYEpjq
— SUTO💡 (@st_e_ai) June 14, 2024
お次はこの男性👨🦱で試してみたいと思います。
これはちょっと足が不安な感じになっちゃった pic.twitter.com/VLPpyDNOIE
— SUTO💡 (@st_e_ai) June 14, 2024
3つのコンテンツが一つのUIで作れちゃうのは魅力的ですね〜
まだアウトプットに不安は残りますが、この先に期待です！
きっとミライはまた変わる…
DreamGaussian4Dのような簡単に画像を3Dのアニメーションにするような技術を使うことで、エンターテイメント業界でもよりリアルな3Dキャラクターや仮想現実のシーンを生成するための基盤技術となりそうですよね！
これもクリエイターの仕事を変えるひとつになりそう。
今日はここまで〜〜！