でじたる箱庭計画 その１
「でじたる箱庭」への想い
空間をそのまま記録して任意の視点で見ることができる「でじたる箱庭」を作りたいと妄想してます。隠居したジジイなので、歳のせいで体が動くなくなっても、デジタル箱庭に入って気ままに散歩して過ごすのもありかと思ってます。
メタバースが近いのかとも思いますが、与えられたものや、無理やり作られたものではなく、日頃見慣れている自分が住んでいたところや、いつか行った旅先の空間そのものを記録して「でじたる箱庭」としたいと思い立ちました。
これまでは写真やビデオがその役を担ってきたのでしょうが、昨今の技術が、その先の可能性を感じさせたので、「でじたる箱庭」に取り組んでみよう思い立ちました。
といっても隠居ジジイの取り組みなので、老後資金も潤沢ではないので、なるべくお金をかけずにどこまでできるかも、でじたる箱庭計画の重要なポイントとなってます。
最初の出会い「Photogrammetry」
Photogrammetryの情報を見つけてを、こんなに簡単に、写真から３Dモデルが作れるのか感動しました。紹介されている事例の多くが、比較的小さなオブジェクトの３Dモデル作成でしたが、この技術を使って空間の３D化できるのではないかと思っていたところ、AppleのObjectCaptureがサンプルソースコードも公開されていて比較的簡単に使えそうだったのでいろいろ試行錯誤てみました。
結果として庭の地形をモデル化して庭づくりの参考にしました。
この時の感想として、地形であればある程度の広さを写真から３Dモデル化でき、手持ちの機材でもある程度実用的だと思いましたが、空間を記録する意味からは、形のはっきりしているもの以外、例えば、木々などをモデル化するのは無理があって、この技術だけでは「でじたる箱庭」として中に入って散歩するレベルは難しいと思いました。
ただ、手持ちの機材（Macなど）では動作しないRealtyCaputureなどのソフトの事例ではかなり「でじたる箱庭」のイメージに近いものもあったので、継続して技術調査としていました。
２つ目の出会い「scanivers」
Nerfや3D gaussian splattingといった技術が出てきて、「でじたる箱庭」のイメージに近いものが実現できそうな感触がありましたが、まだ新しい技術で、素人の隠居ジジイには遠いところの話にも思えましたが、手持ちの機材でも試せるものは試行錯誤し見ることにして、Macでも動くとされていた「OpenSplat」を試したみましたが、サンプルデータセットのbananaは処理時間は別として再現できたのですが、より複雑なものは全く絵になりませんでした。
機材の限界なのか、ジジイの技術力不足なのか分かりませんが・・・
そんな中で、iPhone単体で動く「scaniverse」と出会いました。iPhone単体で「でじたる箱庭」に近いイメージの空間記録ができるに素直に驚きました。
「scaniverse」の性能は驚きましたが、そのままでは、いろんな制約（複数回に分けて撮影できない、別に撮影したデータを持ち込めない、iPhoneの性能に縛られる・・・）があって、そのままで「でじたる箱庭」には届かないので、「でじたる箱庭」の具体的な仕様？を妄想して、どの仕様にどのように近づけるか、もう少し深く考えてみることとしました。
今回はここまで
次回は、「でじたる箱庭」の仕様？案と仕様実現のための作戦を考えてみます。