![見出し画像](https://assets.st-note.com/production/uploads/images/59343718/rectangle_large_type_2_09b542136ee4be4b43a8c4a86e86ad68.jpg?width=1200)
【Twitterまとめ】AR x Photogrammetry『AR Time Machine』
デザイニウムのxRエンジニアMatt(@mechpil0t)によるARとフォトグラメトリを組み合わせた『AR Time Machine』シリーズが話題になっているので、時系列でツイートをまとめてみました✨
The AR Time Machine series, a combination of AR and photogrammetry by Designium's xR engineer Matt (@mechpil0t), has been getting a lot of attention, so we've compiled a timeline of tweets.✨
AR Time Machineとは
『AR Time Machine』は、もともとMattが個人的に行っているライフワークのひとつで、実際の景色や建物、物体などスマートフォンやARグラスを通して見ることで、昔その場所にあった建物のフォトグラメトリ画像や当時の映像をARで現実世界と重ねて見ることができるようにしたプロジェクトです。今回はその中からフォトグラメトリの作品のものを取り上げていきます。
また最近ではAR作品を制作だけではなく、フォトグラメトリ画像をAR化する際のツールの開発などもしています✨
※追記: なぜMattが『AR Time Machine』を開発しようと思ったのか?そして普段どうやってコンテンツとなる場所や動画を探しているのか?をまとめた記事も公開されました。こちらも合わせてご覧ください😊
フォトグラメトリとは
フォトグラメトリとは、被写体をさまざまなアングルから撮影し、そのデジタル画像を解析して立体的な3Dモデルを作成する手法のひとつです。
最近では、LiDARが搭載されたiPhone12ProやiPad Proなどをつかって、手軽に高品質の3Dモデルを生成することもできるようになりました。いずれも3Dモデルを作成する方法として人気があります。
フォトグラメトリとLiDARの違いについては、STYLYさんの記事が詳しいので、参考にしてみてください。
https://styly.cc/ja/tips/ipad-lidar-3dscan/
それでは早速、時系列でご紹介していきます✨
AR x Photogrammetry Tweet
最初の投稿は、浅草寺で過去の動画をARで表示させたものでした。
この投稿は世界中でシェアされ、絶賛されました✨
the past & the present at Asakusa temple#AR #AugmentedReality pic.twitter.com/s3ZnS1ZBhO
— mechpil0t (@mechpil0t) July 18, 2020
続いて投稿したのは、Googleの Cloud Anchors とフォトグラメトリをつかったもの。
#AR ghosts of old tokyo 👻
— mechpil0t (@mechpil0t) November 9, 2020
restoring an old coffee shop using #GoogleCloudAnchors#madewithunity #designium #AugmentedReality #Photogrammetry #GoogleDevelopers #GoogleCloud pic.twitter.com/8awZ2lcIC0
続いて、プロレス好きのMattが、大好きな力道山のお墓をフォトグラメトリで生成。
trying to improve at photogrammetry📷https://t.co/nr0yiFgJIm#Photogrammetry #Rikidozan #力道山 #プロレス #History pic.twitter.com/05rrSV0B7C
— mechpil0t (@mechpil0t) November 24, 2020
フォトグラメトリのメッシュをオクルージョンに利用する実験。
experimenting with using a #photogrammetry mesh of an object for occlusion in #AR (at the Rikidozan statue)#designium #AugmentedReality #Rikidozan #力道山 #プロレス #immersal #madewithunity pic.twitter.com/2eYtKcGCWO
— mechpil0t (@mechpil0t) December 8, 2020
続いては、masanaga(@tasklong)さんの「かんだ食堂」のフォトグラメトリを活用させて頂いたR&D。masanagaさんとの出会いから(といってもリアルではなくTwitter上ですがw)、様々なフォトグラメトリ画像をどんどんAR化していきます。
Jumping back in the Tokyo Time Machine ⏰ Using #AugmentedReality and #Photogrammetry by @tasklong to restore a destroyed diner (かんだ食堂) in #Akihabara. Running on #iphone and #nreal#madewithunity #designium #AR #history pic.twitter.com/zesKXfdTS5
— mechpil0t (@mechpil0t) April 8, 2021
続いて、2019年秋に解体されたニッピン秋葉原本店のフォトグラメトリ。
restoring another ghost of #tokyo using #AugmentedReality and #Photogrammetry by @tasklong.
— mechpil0t (@mechpil0t) April 12, 2021
this time its a destroyed #Akihabara landmark, the Nippin Building (ニッピン). Running on both #iphone & #nreal #designium #AR #History pic.twitter.com/RmS3IxRQwJ
続いて1930年代に建てられた神保町の旧相互無尽会社ビル。
こちらもmasanagaさんのフォトグラメトリです。すごいですね。
Built in the 1930s, this building survived World War 2 but not 2020 💀
— mechpil0t (@mechpil0t) April 15, 2021
Restored with the Tokyo Time Machine using #AugmentedReality and #Photogrammetry by @tasklong#madewithunity #designium #AR pic.twitter.com/6ibY5DNzVI
そしてついには、NrealをつかってSketchfabから
「download->unzip->load the models (for Unity3D) 」が自動で出来るようにもなりました❗これでオフィスに召喚し放題です。
from browser to #AR 🤔
— mechpil0t (@mechpil0t) April 15, 2021
a runtime #Sketchfab downloader/importer for #unity3d running on #nreal 🕶️ #AugmentedReality #designium #Photogrammetry #madewithunity pic.twitter.com/mxMM97SxtK
そして池上駅近くにあったカラオケスナック「さくらんぼ」。こちらも@tasklongさんのフォトグラメトリ作品です。
さくらんぼ (Cherry) near Ikegami Station, restored with the #Tokyo Time Machine using #AugmentedReality and amazing #Photogrammetry by @tasklong#madewithunity #designium #AR #history pic.twitter.com/ge0wId1zBd
— mechpil0t (@mechpil0t) April 27, 2021
ここで「sketchfab to AR」のver2を開発していたところTwitterを見たsketchfabのメンバーからお声がけ頂きました。
#sketchfab to #AR version 2
— mechpil0t (@mechpil0t) May 1, 2021
1. GPS is used to find the closest #Immersal map
2. the map ID is used to automatically load the #sketchfab model URL
3. once downloaded the model is automatically aligned#AugmentedReality #designium #Photogrammetry #madewithunity pic.twitter.com/j16DMfERM4
sketchfabのAPI spotlight blogにMattの記事が掲載されています。
こちらでは「Tokyo Time Machine」という名前に。
my post for the #sketchfab API spotlight blog focuses on using @tasklong's photogrammetry to create the Tokyo Time Machine 🙂#AR #AugmentedReality #designiumhttps://t.co/K3UTG2F2vA
— mechpil0t (@mechpil0t) July 7, 2021
そして「sketchfab to AR」の開発はver3に✨
Immersalの地図座標を使った GoogleMaps による検索機能を追加しました。
#sketchfab to #AR version 3
— mechpil0t (@mechpil0t) July 15, 2021
added a #GoogleMaps based search function using the #Immersal map coordinates
model by @tasklong#AugmentedReality #designium #Photogrammetry #History pic.twitter.com/7EqYsbwseO
----- ここから、2022年2月追記 -------
2022年1月、最初にご紹介した浅草寺のAR Time Machineに、ヒューマンセグメンテーション(人間を認識してコンテンツを人間の背後に レンダリングすること)をつかった動画は世界中から多くのイイネ♡やシェアがされました😊
experimening with using human segmentation to reveal historical footage of the location. present people revealing the past.#AR #AugmentedReality #designium #history pic.twitter.com/FKQshzJmdj
— mechpil0t (@mechpil0t) October 25, 2021
続いてSnapchatのARグラス「Spectacles」で浅草寺のAR Time Machineとかんだ食堂のコンテンツを対応させました👓 ✨
#tokyo time machine on the #snapchat #spectacles 😎 videos placed where they were filmed over 100 years ago#SnapSpectacles #AugmentedReality #designium #AR #雷門 #浅草寺 #tokyo #asakusa #history pic.twitter.com/QKZzRUMg3P
— mechpil0t (@mechpil0t) January 18, 2022
restoring the destroyed diner (かんだ食堂) in #Akihabara, this time on #snapchat #spectacles using #Photogrammetry by @tasklong#SnapSpectacles #designium #AR #history #AugmentedReality #秋葉原 pic.twitter.com/UZz8h5nP90
— mechpil0t (@mechpil0t) January 31, 2022
ここまでが、2022年2月現在の「AR Time Machine」シリーズのまとめでした✨いかがでしたか?ご覧になっていただいたとおり、今もこのシリーズのR&Dは継続している真っ最中です。今後も新しい投稿があれば随時コチラの記事に追加していく予定ですのでお楽しみに!
また、デザイニウムの公式Twitterでも随時RTしていますので、ぜひフォローしてくださいね❗
編集後記
デザイニウム広報のマリコ(@marikocco)です!今回は、Mattの「AR Time Machine」シリーズをまとめてご紹介させて頂きました。大好きなシリーズなので個人的にまとめていてとても楽しかったです😊
また最近、「xRを日常に」をテーマとした『UxR Lab』も立ち上がりました。デザイニウム、ホロラボ、Mark-on のメンバーが所属し、xRが活用される様々な体験シーンにおけるUXを定義していくデザインLabです。ARおよびxRに興味のある方は、こちらも是非チェックしてみてくださいね😊