コロナ下のARサービス開発で感じたAR in VRのメリットと可能性
コロナ下に始まったARサービス開発。現地による調整が不可欠なARが、外出自粛が余儀なくされた状況下で以下にしてARサービスを開発したのか。その答えとしてのAR in VRという考え方、そしてそのメリットと可能性について書きたいと思います。
開発したのは『mirr』という、次世代の自撮りをコンセプトに企画されたサービスです。詳細についてはプレスリリースや以下の動画に譲るとして、ここではAR in VRについて書いていきたいと思います。
ちなみに、VR <-> AR間を行き来して同じ体験が作れるというのは、MESONで開発しOSSとして公開されたConektonなくしては困難だったと思います。
今回はそんな裏側を持つ『mirr』の開発を通して見えてきたAR in VRという開発手法と、それを可能にしたConektonについて書きたいと思います。
元々mirrは渋谷キャストの周年記念イベントで公開するために開発が始まりました。しかし昨今の新型コロナの影響を受け、そもそもイベント自体の開催も雲行きが怪しくなってきていました。しかしまだ中止が確定したわけではなく、開発は継続していました。
AR in VRという開発手法
しかし、やはり緊急事態宣言が出るかも、という緊張感の中、現地でテストをするわけにもいきません。そこで採用したのがVR内でARをプロトタイピングするという方法です。
AR in VRとは、VR内でARをシミュレートするという考え方です。
Oculus Questなどに代表されるVRゴーグルは既存のARグラスに比べて視野角が広いです。そのため、VR内に現地を模した背景を作り出しそこにARグラスを模倣した『領域』を設けることで、VR内でARグラスをかけているかのような状況を作り出します。
以下がAR in VRの開発中の動画です。
AR in VRでプロトタイピングを行う上で重要なのが『背景の構築』です。
いくらARグラスの領域を模倣したとしても、それだけで体験自体のプロトタイピングにはなりません。
今回は渋谷キャストの背景のモデルや点群データがあったため、それを利用して背景を作成しました。
スケールも合わせてあるため、かなり実際の体験に近い形でプロトタイピングすることができました。
Conektonによる効率化
本プロジェクトは、OSSとして公開が決まったあとに初めてConektonを採用して開発がスタートしたプロジェクトでした。
元々、Conektonのコンセプトには『クロスプラットフォーム』があり、またVR内でのARプロトタイピングも視野に入れていました。
Conektonの構成図。VR Headset (Prototyping)という文字が見える。
ConektonはMESONで開発しているAR開発向けフレームワークで、クロスプラットフォームとマルチユーザの機能に重点を置いて開発されています。
今回のようにAR in VRも視野に入れて開発されています。
そのためAR <-> VRを互換性を持ちながら開発を進めることができます。
今回もまさにそれが最大限に活かされたプロジェクトとなりました。
スタートからして、ARで始まったプロジェクトをVRに切り替えて開発を続けるという状況でした。そこから開発を続け、無事に、関係者を招いた小規模なお披露目会を開くに至りました。
当初、お披露目会当日は、開発していたVR版のみを体験してもらう予定でした。しかし、せっかく現地でお披露目会を開催するのだからと、実際の想定であるNreal Lightでも体験してもらおうという流れになり、急遽、Nreal Light向けにコンテンツを準備することになりました。
結論から言えば、VR用に用意したものをなくすだけですんなりNreal Light上で動かすことができました。
ConektonはNreal Light、Magic Leap、AR Foundation、そしてOculusに対応しています。今回のように同じコンテンツを別のプラットフォームで展開する場合にも利用できますし、AR Foundationを利用したいわゆる『オブザーバービュー』も簡単に実装することができるようになっています。
Conektonのイメージ図
興味がある方はぜひ利用してみてください。
現地での体験がまるでデジャヴュ
当日、現地にARグラスを持っていって体験をしたところ、外の空気感ということ以外はほぼVR内で体験してきたことそのままでした。
実際に現地に行ったのがそのとき初めてだったのですが、まるでデジャヴュを見るかのように、想定通りの体験をすることができました。
これはAR in VRは確実に、ARのプロトタイピングとして使えるということの証明だと思います。
今後MESONでは、VRでプロトタイピングしてそれをARに持っていく、という開発フローが一般的になりそうなくらい大成功を収めることができました。
そんなConektonですが、今はOSSとして一般に公開されています。利用も商用・非商用問わず利用可能なので、興味ある方はぜひ利用してみてください。また、バグや機能追加のコントリビュートも絶賛受付中なので、興味がある方はぜひOSSコミュニティにご参加ください。
▼ GitHubのリポジトリはこちら
https://github.com/MESON-inc/Conekton
▼ Slackの招待リンクはこちら
MESONはARのユースケース開拓に取り組んでいる企業なので、一緒にARプロダクトを開発したい、こうしたことに興味があるエンジニアを募集しています。興味がある方はぜひご連絡ください。