CaptureDome→3DGaussianSplatting
今回は最近話題の「3DGaussianSplatting」について弊社で開発しているCaptureDomeとの組み合わせを記事にしたいと思います。
「3DGaussianSplatting」
3DGaussianSplatting（※以下3DGS）は画像から3DGaussianを生成しカメラに合わせて2Dにsplatしている技術です。Gaussianやsplatという馴染のない単語が出てきますが、気になる方は調べてみてください。
言葉だけだとわかりづらいのですが生成したデータを見ると、なるほどな～と思います。
（後半に作例を載せています。）
フォトグラメトリと同じように写真・動画から3D化します。そのため同じデータセット（写真）でガウシアンスプラッティングも可能です。
ただフォトグラメトリで生成される3Dデータはメッシュやテクスチャといった従来の3D技術と同じため既存のワークフローに組み合わせることが容易ですが、3DGSは生成される3Dデータがメッシュではなくまたテクスチャもないため従来のワークフローとは合わせづらいところがあります。
こう書くとフォトグラメトリで良いのでは？と思えますが、
3DGSの利点はフォトグラメトリで苦手な薄いもの、細いもの、透明なもの、光沢が強いものなどが3D化できる点です。
これは圧倒的な利点で、フォトグラメトリの場合上記のような特徴を持つ被写体は特殊な撮影をして生成するか、そもそも生成が困難なため後で時間をかけてデータを修正する必要がありましたがその必要がなくなります。
特に小物が多い室内や自然物の多い屋外の広域な3Dデータが欲しい場合はとても相性がいいと思います。
また物撮りでも工業製品は比較的フォトグラメトリに向かないものが多いので相性が良さそうです。
ワークフロー自体も急速に発達しているので楽しみな技術です。
フォトグラメトリと競合しそうにも見えますが、それぞれにメリットがあるので用途に応じて使い分けるのがベストだと思います。
「CaptureDome→3DGaussianSplatting」
さて前置きが長くなりましたが、本題に入りたいと思います。
弊社ではCaptureDomeというフォトグラメトリ向けの撮影機材を開発しています。今回はデジタル一眼カメラを全周に配置したCaptureDomeLの写真を使用して3DGSを生成してみたいと思います。
全周にカメラを配置しているのは人など静止していない被写体や大量の被写体を効率良く撮影するためです。
※写真のCaptureDomeLはすでに解体しています。
今回は3DGSの生成にはPostshotを使用します。
写真をインポートしデフォルトの設定でそのまま計算させました。
髪など綺麗に生成できていますね！
周りの筐体も結構できています。フォトグラメトリだとケーブルや金属は苦手なためなかなか綺麗にできません。
また今回は直接Postshotで計算させていますが、realitycaptureなどフォトグラメトリソフトでカメラ位置を計算させて3DGSの生成をPostshotで行うワークフローもおすすめです。
「おまけ」
最後に生成した3DGSのデータをblenderで表示させてみました。
3DGSデータが手軽にDCCツールで扱えると便利ですね。
この辺りのワークフローは急速に発展しているので今後が楽しみです！
弊社ではご依頼があればスキャン～機材開発まで対応可能です！
お気軽にご雑談ください。