見出し画像

新しく発表されていた2D-to-3Dの「InstantMesh」を試してみる

SUTO

一枚の写真から3Dのメッシュモデル（立体的なネットワーク構造）を生成するためのフレームワーク「InstantMesh」がすごそうだったので試してみました。

3Dを作るフレームワークは他にもいくつかあって、過去にこんな感じで試しています。

さて今回はどんな感じでしょうね？？

プロジェクト類は以下から。

普通、3Dモデルを作る時は複数の画像やデータを基にして詳細を加えていく必要がありますが、InstantMeshは一枚の画像から短時間（約10秒）でメッシュを生成することが可能という驚異的な速さが売りのようです。

なお、これを実現するために、InstantMeshは既製のmultiview diffusion modelとLRMのsparse-view reconstruction modelのそれぞれの長所をうまく組み合わせているもよう。

今回実験台になってくれるのは毎度お馴染みの黒猫ちゃん！

この子です

早速やってみた動画がこちら。

インスタントを謳ってるだけあって、本当に出来上がるのが早かったけど、この形は想定外だったなあ〜
ちょっと造形はまだまだ課題がありそうですね。

しっぽの付け根からまたしっぽ

メッシュも落としてみてblenderで確認。

きちんとメッシュはできてます
こんな感じ

前回試したTripoSRとの比較をすると、まだ細部の再現も苦手のようです。

ふむふむ

たまたま、この黒猫ちゃんはあんまり上手く体を生成できませんでしたが、他の画像とかなら上手く行ったりしますので、ぜひ試してみてください。

この三毛猫ちゃんとかよくできた
うんうん、破綻なし
こちらの玉ねぎもすごく綺麗にできた
見よ、このうつくしさ
ビールもしっかりいい感じ
どこからみてもビールである

と、こんな感じで10秒足らずでサクサク作れちゃうので楽しいです！

このInstantMeshはとにかく早いのが特徴なので、精密さを追求しないようなもので、たくさんの3Dオブジェクトを作りたい時などに良いかもですね！
今日はここまで〜（勉強になった）


いいなと思ったら応援しよう！