見出し画像

3D生成 AIについて - 3D生成AIの可能性を探る

NUNOI Shoichiro / NOI STUDIO

3D生成AI、使えるようになってきた？

近年、3Dモデル生成におけるAI技術の急速な発展により、建築やプロダクトデザインの分野でも注目を集めています。この技術を活用することで、高品質な3Dモデルをより短時間で作成できる可能性があります。

InstantMeshとTripo SR

3D生成AIの中でも、特に注目を集めている2つのサービスがあります。中国のテンセントが開発したInstantMeshとStability AIがTripo AIと提携して開発したTripoSRです。この2つを比較しつつ3D生成AIの実験を行ってみました。
簡単にまとめると以下の表のような特徴があります。

InstantMeshとTripoSRの違い_表

InstantMesh

InstantMeshは中国のテンセントが開発したLRM/Instant3Dの基本設計に基づく、一枚の画像から3Dメッシュ（頂点、辺、面の集合）が短時間で生成できる、フィードフォワードフレームワークです。 オープンソースのため、コードやモデルの重みなどを自分でトレーニングすることも可能です。

InstantMeshデモ画面
InstantMesh　Demo

Tripo SR

TripoSRは、Stability AIとTripo AIが共同開発した高速な3Dオブジェクト生成モデルです。単一の画像から1秒以内に高品質な3Dモデルを生成でき、エンターテインメントやゲーム、工業デザイン、建築分野での利用が期待されています。こちらもオープンソースです。

Tripo SRデモ画面
Tripo SR　Demo

比較実験

InstantMeshとTripoSRに同じ画像を読み込ませて生成された3Dモデルを比較しました。


「クッションがあるソファ」など、複数のオブジェクトが合わさっているものは精度が低くなる。背面の推測が少なくてすむ画像は、TripoSRの方が精度が出やすい。

InstantMeshでは元画像で見えていない4本目のテーブル脚も生成されるが、TripoSRでは生成されない。


机の例と同じようにInstantMeshでは元画像で見えていない建物の裏面も、そのまま使えるものではないものの、TripoSRに比べるとはるかに精度の高いものが生成された。

InstantMeshでは多少生成されたが、TripoSRでは全く使い物にならない。

InstantMesh　TripoSR　その他

机や建物の例では元画像で見えていない部分の精度はInstantMeshが高かったが、元画像で見えている部分の精度はTripoSRのほうが上。

利用例

InstantMeshやTripoSRで生成された3Dモデルはobjを始めとした汎用的な形式で保存できるため、RhinoやBlenderなどの3Dソフトウェアで開くことができます。これにより、生成されたモデルを編集したり、他のデザインツールと組み合わせたりすることが可能です。


生成AIで作った家具を即座にモデリング

モデリングが少し難しそうな家具も生成AIを活用すれば…

生成画面
配置したモデル
生成したモデルをよく見るとメッシュに穴が開いていたりする


フリー素材にはないが、使用頻度が高いシーン

建築現場で測量をしている技術者
生成画面
配置したモデル


フリーモデルを使って空間にモデルを配置

生成した流動的な形のテーブルとソファを、事前に用意した部屋の3Dモデルに配置したいと思います

フリーモデルを使って空間にモデルを配置


最近の3D生成AI事情

3D生成AIの分野では日々新しい研究成果が発表されており、大手企業も積極的に参入しています。AutodeskやAdobeといった業界大手が、3D生成AIの研究開発に力を入れていることからも、この分野の将来性と可能性の高さがうかがえます。

CSM

画像から3Dモデルを生成
CSM_aiのimage-to-3D機能に新モデルがリリースされ、3D生成精度が大幅に向上しました。
以前のモデルでは、入力画像とは多少異なる3DCGが生成されることがありましたが、新モデルではそのような問題が解消され、入力画像に非常に近い3DCGを出力できるようになりました。

CAT3D

多視点からの3Dモデル生成
CAT3Dは、複数の画像から高品質な3Dモデルを生成するフレームワークです。マルチビューディフュージョンモデルを使用し、入力画像を基に新しい視点の画像を生成します。
これらの画像は3D再構築パイプラインに通され、最終的にインタラクティブな3D表現が得られます。

Coin3D

簡単な操作で3Dモデルを作成
COIN3Dは、浙江大学が開発したインタラクティブな3Dモデル生成フレームワークです。ユーザーは基本形状を組み合わせて粗いプロキシを作成し、それを基に詳細な3Dオブジェクトを生成・編集できます。リアルタイムでプレビューが可能です。

Autodesk Bernini

AutodeskのResearch Project Bernini: 生成AIによる3D形状作成
Autodeskの「Bernini」プロジェクトは、2D画像やテキストなどから3D形状を生成するAIモデルを開発しています。このモデルは、設計と製造のワークフローを改善し、リアルで機能的な3D形状を迅速に生成します。現在は実験段階であり、建築やプロダクトデザインなど多分野での活用が期待されています。

MeshLRM

高品質メッシュ再構築のための新しい手法
MeshLRMは、4つの入力画像から1秒未満で高品質な3Dメッシュを再構築する技術です。NeRFベースの大規模再構築モデルにより、エンドツーエンドでメッシュ抽出とレンダリングを行います。低解像度から高解像度まで順次トレーニングし、高速かつ高品質な再構築を実現します。Sparse-view入力や単一画像からの3D生成も可能です。

Craftsman

まとめ

3D生成AIの技術は着実に進歩しています。精度と生成速度が向上すれば、デザインプロセスも大きく変わりそうです。是非デモを触って、3D生成AIの現在地を確認してみてください。

ご案内

生成AIを活用することにご興味のある方は、ぜひご相談ください。画像生成AI活用に関するコンサルティングや、ワークショップも承っています。DMや問い合わせまでどうぞ。


いいなと思ったら応援しよう！