iPhone(iPad) LiDARの裏で動いている技術

ソウ

2021年8月19日 22:20

はじめに

近年iPad Pro（2020年モデル）を始め、iPhone 12 ProなどにLiDAR(Light detection and ranging)が搭載されて話題になりました。

メイン用途としてはAR（拡張現実）や暗所撮影ですが、LiDARは以前より測量やロボティクスの分野で使われていたこともあり、空間をスキャンする目的としても使用されています。

では、LiDARでスキャンする裏側ではどういった技術が使われているのでしょうか。本稿ではその一部を紹介します。

自己位置推定と環境マッピング

LiDARによる空間スキャンは、自己位置推定と環境マッピングを目的としています。

これらには一般的にSLAM(Simultaneous Localization and Mapping)と呼ばれる技術が使われています。

SLAMは画像と、場合によっては加速度センサを併用することで自己位置推定と環境マッピングを実現します。

SLAMには大きく分けて画像をベースとしたSLAMことV-SLAM(Visual SLAM)と、LiDARなどのレーザーセンサーを使ったLiDAR-SLAMがあります。

次の動画がV-SLAMです。
点（特徴点）が描画されて、左上にマップを生成しています。
特徴点は三角測量による算出がされており（厳密には三角測量だけではない）、カメラの対象物の位置関係が記録されています。
これを連続で繰り返すことでカメラの自己位置推定と環境マッピングを実現しています。

次はLiDAR-SLAMです。
画像ベースの特徴点ではなく、レーザーの反射時間（ToF）による特徴点を算出しています。
一般的に画像ベースより精度と速度面でV-SLAMに勝っています。
しかし、スマートデバイスに標準搭載されているカメラだけでよいV-SLAMと比べて、LiDARという専用センサが必要なLiDAR-SLAMの方がコスト面で劣ります。

ARKitにおける自己位置推定と環境マッピング

AppleのARフレームワークであるARKitは、iPhoneやiPadでARを実現するためのフレームワークです。

ARKitではSLAMではなくVIO(Visual Inertial Odometry)という技術が使われています。

公式ドキュメント
To create a correspondence between real and virtual spaces, ARKit uses a technique called visual-inertial odometry. This process combines information from the iOS device’s motion sensing hardware with computer vision analysis of the scene visible to the device’s camera.
https://developer.apple.com/documentation/arkit/understanding_world_tracking_in_arkit

日訳
ARKitはVIOと呼ばれる手法を使用します。このプロセスは、iOSデバイスのモーションセンシングハードウェアからの情報を、デバイスのカメラから見えるシーンの画像分析と組み合わせます。

VIOとは、基本的にはSLAMと同等の技術ですが、SLAMよりも狭い範囲をターゲットとした技術です。
ARKiは基本的に画像ベースによる処理を行っています。ただし、LiDAR搭載機ではLiDARも使えるようになっています。

AppleがSLAMではなくVIOを採用しているのは、恐らくスマホやタブレットでARを実現するにはSLAMが過剰機能であるからだと考えられます。
スマホやタブレットでSLAMを実行しようとすると、計算能力も課題ですが、バッテーリーが恐らくもちません。
したがって、SLAMよりもVIOを調整・発展させる方向にしていると考えられます。