でじたる箱庭計画 その2
「でじたる箱庭」の最初の一歩
最終的には、PCだけでなくPadやスマホやVRゴーグルで「でじたる箱庭」を実現したいけど、最初の一歩としては、現時点の技術で比較的簡単に実現でそうなレベルで実際に実現してから、次のステップを考えるものとする。
ということで、
先行事例を参考にして、最初の道具立ては下記をベースに進めようと思っている。
撮影機材 ・・・ iPhone、GoPro、ミラーレス１眼、360°カメラ
手持ちの機材で試行錯誤しながら撮影方法を確立する想定している。
現時点の手持ちの機材は、iPhone12、GoPro7、OM-1
360°カメラは撮影時間をかけられない場合の候補として検討中。
3Dモデル化は ・・・ NerfstudioとRealityCapture
NerfStudioはWindowsPCのWSL上に環境構築。 Dockerを使うか、WSL上に直接構築するかは試行錯誤して使い勝手を評価して決めたいと思っている。
RealtiyCaptureはカメラ位置の推定のColmapの代替手段と、Photogrammetryでのモデル化との比較参照用に使うことを想定する。
箱庭の中を徘徊するアプリは ・・・ UNITY
GssussianSplattingのデータをゲームエンジンに取り込んでアプリ化する事例を真似しようと思う。まずは、敷居の低いUNITYを使ってみる。下記参考にさせていただきました。
PC
手持ちのMacで実現できれば良いのだけど、現時点では、OpenSplatでの試行結果を考えとも、Macではチト厳しいので、思い切ってPCを新たに導入することした。（とは言っても老後資金は限られているので、なるべくケッチって・・・）
GPUはVRAMがある程度必要と考えられるので、GaussianSplattingにはVRAMは24GB必要との記載もあるが、Nerfstudioのsplatfactoの説明には~12GBとも書かれているので、GPUはRTX4060Ti 16GBとし、splatfactoのオプションにはCPUメモリをキャッシュに使う指定もあるので、効果の程は不明だど、CPUメモリは64Gとした。
さて道具の目処はついたので、次は環境構築と試行になります。
色々と参考にさせていただいています。（感謝！！）