屋外でAR（拡張現実）体験-10 実践

iOS ARアプリMixAR camを使ってAR体験。
屋外でAR体験する場合について書きました。

MixAR camはAppleのiOS11 ARkitをいうiPhone/iPadで拡張現実を実現できる環境を使っています。昨年の秋にリリースされたこの環境はOSレベルでサポートされてる高度なAR環境です。しかし、まださまざなな制約、条件、環境があり、特に屋外でのAR体験をする場合は工夫が必要です。

1.　屋外AR体験と室内AR体験の違い
-1　Apple iOS11 ARkitではなぜ屋外は難しいか？
ARkitでは以下の機能を使って現実空間にARオブジェクトを配置してるようです。※AppleのARkit関係のドキュメントなど参考に書いてます。
■ポジショントラッキング
iPhoneのカメラとセンサーから取得した位置と向きから3次元空間での相対的位置で配置。
GPSなどの経度緯度などの現実空間での絶対座標・高度ではありません。
■平面検出
カメラから得た情報から平面を3次元空間上の仮想の平面（床、机、壁※ver.1.5より）のとして取得し矩形として認識。
床が複雑な形状(例えば階段)や壁面が曲線面は不得意。
■３次元点座標の取得
現実空間に存在する物にはカメラ映像から得た情報から点単位として3次元点情報として取得。
カメラ映像なので見た目、特徴の少ない物（例えば白い壁に白い物）などは不得意。
何もない空間（例えば雲ひとつない空とか凪の水面）ではノイズとして検出し点座標が取得されにくく不得意。
■周辺の明るさ推定
カメラからの情報で「全体として明るいか暗いか」を推定。しかし実空間の光源の位置や個数は取得できません。また夜など明かりが少ない空間は不得意。
■仮想線を利用した現実空間判定
カメラ映像から得た位置情報から仮想線上にあるあたりの判定。
その場で線の先が平面かどうかを判定してヒットさせる。
※MixAR camではゲームアクションがないのですが広い空間先の取得に使ってるのではないかと思います。
■現実空間と３D空間のスケール一致
カメラ映像から取得した情報から床との距離や机の長さを測ることができます。
※MixAR camではこの機能がありませんが他のARアプリで物の測定できるものがあます。
■カメラの画像をテクスチャとして取得
※これもMixAR camには使われてませんがカメラの画像をARオブジェクトにテクスチャとして表示できる。まだ体験したことがないのでここの書いたことは曖昧です。

MixAR camもARkitを使ってるため基本的にカメラから得られた情報とセンサーから平面、3次元点情報、明るさの明暗を使ってるようです。
限られた環境の室内でのAR体験に向いてるようで環境変化が少ない室内空間ではうまくいっても環境変化が大きな屋外では難しい場合があります。
特に屋外の公園など大きく広がった空間は苦手で絶対位置情報が取得してないのでどこかにいるかもわからないようでARオブジェクトが消えてしまったりします。
現在のARは発展途上なので今後、技術革新が進めばもっと素敵なAR体験ができると思います。
私自身、MixAR camのいちユーザーでかつプログラマーでないのでここに書いてる技術的内容は曖昧な部分があります。

-2　室内の場合と屋外で環境の違い。

■室内空間でのARオブジェクト配置
室内では床、机、壁のほかさまざまな物があるので現在のAR kitの特性を使えばARオブジェクトを思った場所に配置することができます。

■屋外空間でARオブジェクト配置
屋外では基準となるモノが少なく特に大きく広がった空間ではARオブジェクトが固定しにくいです。そこで特定のモノに対してARオブジェクトを配置していきます。あるいは固定できない特性を利用して演出としてAR体験するとことができます。

-3　その他難しい条件について
今夏のような異常な高い気温は屋外でAR体験をするとiPhoneがハングアップしてしまいます。
ARアプリはかなり高負荷な処理をするため外気温が高いとすぐに内部の温度が上がりアラートが表示されました。
室内では問題なく動作していても屋外環境は過酷な環境です。
あと屋外では周辺の安全を確かめてAR体験をする必要があります。人通り、段差、交通の往来、その他の危険な因子があります。気をつけましょう。

以上でMixAR camをつかって屋外と室内AR体験の違いについて書きました。
次回は、屋外でのAR体験をする場合の実践とその工夫について書きたいと思います。