見出し画像

Re:ゼロから始めるiPhone LiDARで3Dスキャン！

iwama

iPad Pro(2020モデル)にLiDARセンサーが搭載されてから、1年と3か月ぐらいが経過しました。今回はそのLiDARセンサーを使用した3Dスキャンに関しての使い方から注意事項までを書いていこうと思います。
タイトルにはiPhoneと書いていますが、iPad Proでも同じことができます！
2022年3月現在AppleデバイスでLiDARセンサーが搭載されているのは
・iPhone12Pro/Max
・iPhone13Pro/Max
・iPad Pro(2020/2021)
となっています。

画像1

↑の画像はPolycamというアプリを使い、3分ほどのスキャンで作成したモデルです。

2022年3月15日追記
10か月以上前の記事を近代化改修しましたが、こちらのnoteの方がiPhone×3Dスキャンについて詳しく説明しているので、よければこちらもご覧ください。


そもそもLiDARセンサーって何？

LiDARはLight Detection and Ranging(光検出と測距)の略称となっており、ざっくりというと光の跳ね返りを元に距離を測る技術となっています。
LiDARスキャナーなそのLiDARセンサーを使用して3Dスキャンをするデバイスになります。

正直この話題に関しては株式会社ホロラボ所属の武仙様が詳しくブログにまとめていますので、そちらを参照して下さい。
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (1)
https://blog.hololab.co.jp/entry/2021/05/16/110850
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (2)
https://blog.hololab.co.jp/entry/2021/05/19/123857
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)
https://blog.hololab.co.jp/entry/2021/05/22/221541


フォトグラメトリとLIDARスキャンの違い

同じ3Dスキャンの技術だとフォトグラメトリという物が存在しますが、こちらは写真から3Dモデルを作成する技術となっており、LiDARスキャンとは全く違う方法で3Dスキャン(3Dモデル化)を行います。

iPhone×フォトグラメトリの詳しい説明はこちらからどうぞ！

iPhone LiDARを使うメリット

①iPhoneだけを用意すればOK！

全ての作業(スキャン→モデル化→データの共有)がiPhoneだけで行えるため、誰でも簡単に3Dスキャンすることが可能になりました。
特にiPad Proの場合は最小価格が税込9万円から購入できるのもGOOD！
しかもLiDARスキャンをしない時は普通のiPhone、iPadとしても使用できるのでスキがない。

②簡単にスキャンができる

コツ等はあるものの、上記動画の様に一部屋は1～2分程度でスキャン可能だったりと、初心者の方でも簡単に3Dスキャンすることが出来ます。

③何時でも何処でも3Dスキャン可能

普段から持ち歩いているiPhone/iPadで3Dスキャン可能なため、旅行先の記念場所やオシャレな喫茶店などを誰もがスキャン可能となります。
ただしスキャンをする場合は、管理者の方に許可を取る必要があります。

既存のLiDARスキャナーとは何が違うのか？

個人的にiPhone LiDARスキャナーは既存のLiDARスキャナー製品群とは違う、新しいジャンルのLiDARスキャナーだと考えています。
その理由として
①機体単価やアプリが安価なので手を出しやすい
②常時デバイスを持ち運ぶことが可能なので、どんな場合でもスキャンできる
③スキャンからモデル構築までの時間が短い
④スキャンレンジが5mと短い
⑤精度はそれなり
ということが挙げられます。
そのため既存のLiDARスキャナーの代用品として使うより、今まで使用できなかった場面などで運用することが大切だと思います。

iPhone LiDARでスキャンしにくい物

iPhone LiDARでスキャン出来ないものや、難しいものがいくつかあります

  1. 透明・半透明なオブジェクト
    LiDARスキャンはレーザー光線の反射を利用して3Dスキャンするのでレーザー光が反射しない透明なガラスや半透明なプラスチックを3Dスキャンすることはできません

  2. 表面に光沢が存在していたり反射率が高いもの
    磨かれた金属、滑らかな陶器、鏡、水面などが該当します。これらの物体をスキャンしようとした場合、レーザー光が乱反射してしまい正常な3Dスキャンを行うことができません。

  3. 小さい物や細かい形状が存在するもの
    フィギアや電線などは正常に処理できない場合が多いです。これはiPhone LiDARのレーザー照射密度が低いことに起因しています。

  4. 表面色が単色や特定のパターンが連続するオブジェクト
    LiDARスキャンの場合はiPhoneの自己位置推定にVIOを利用しており、同じ色が連続して続くと自己位置の認識がおかしくなり正常にスキャンできない場合があります。。

  5. 動いている動物や子供、走行中の乗り物などの動的物体
    3Dスキャンは基本的に位置やポーズが固定されていることが必須条件になるので、これらをスキャンするのは不可能です

iPhone LiDARスキャンアプリの簡単紹介

iPhoneやiPadを購入したからといって、アプリが無いとスキャン出来ません！という訳で簡単にLiDARスキャンアプリを紹介していきたい・・・所ですが、詳しい紹介をしてしまうとnote一本分になってしまう(なった)ので下のURLを参照してください。メジャー所のLiDARスキャンアプリを紹介した記事になります。

2022年2月現在のiPhone LiDARスキャンアプリまとめ表はこちら↓

Apple  LiDARの精度はどのくらい？

スキャンする環境や動き方によっても差はでますが、大体実測の1～2％程度の誤差が発生する感じです。

↑は実際にRTK-GNSS測量機を使って精度検証した結果です。これ以外にも複数回精度検証は実施していますが、大体は1～2％におさまっているためある程度信用できる数字だと思います(多分...)

iPhoneとiPadどっちが良いの？

まず前提として上記の書いたApple LiDARのメリットが変わる訳ではないのでご安心ください。それを踏まえた上でiPhoneとiPadのメリットをまとめると(iPhone12ProとiPad Pro2020の場合です)

iPadを使うメリット
①性能が良い(処理+排熱含む)
②iPad単体でデータの活用がしやすい
iPadはやはりiPhoneに比べて処理性能や排熱性能は高いと思います(あくまで体感的ですが)。画面サイズが大きいため、スキャンしたデータを見ながら打ち合わせをしたり、ARで表示するなどの見る・見せるという点が強くて好きです。

iPhoneを使うメリット
①常に携帯できる
②デバイスが小型である
iPhoneの良さは携帯できるのでいつどんな時でもLiDARスキャンが出来るという点です。また小型なため狭い空間でのスキャンに強いのも良きです。

スキャンをする時の心得

①スキャン対象とスキャン対象の周囲を確認し、障害物の有無やスキャンルートを選定しましょう。下見無しに３Dスキャンをしてもほぼ100％良いモデルは出来ません。どのように対象を撮るか、どのようなルートで移動するかは絶対にシミュレーションしておきましょう。

②同じ箇所を2回以上スキャンしないようにすること。Apple LiDARはスキャンする毎に誤差が蓄積していきます。そのため同じ箇所をスキャンしていても1回目と2回目で少し位置がずれてしまいます。その結果最終的なモデルにゴーストが発生してしまうため、同じ箇所のスキャンは避けましょう。

③スキャン中の移動はゆっくりとスムーズに行う。急な方向転換は絶対にNG。自分の経験上、歩きながらのスキャンは精度やテクスチャに悪影響を及ぼすことが多いです。すり足でゆっくりと移動しましょう。

④屋外でスキャンする場合は出来る限り曇りの日を狙いましょう。薄暗い時間帯や晴天の日は上手くスキャンできないことが多いです。特に晴れの日は日の当たり具合により景観が変わる場合があります。テクスチャ品質を重視する場合は気をつけましょう！日の差し具合によっては自分の影がテクスチャに映り込む場合もありますので注意しましょう。

⑤スキャン対象とデバイスは1～2m程離すと良いかも知れません。デバイスが対象と近い場合上手くトラッキングされないことが多いので気を付けましょう。

⑥連続でスキャンする場合はデバイスの温度に注意しましょう。デバイスの温度が上がりすぎるとデバイスのパフォーマンスが大幅に低下するためスキャンに悪影響を及ぼします。特に直射日光下でのスキャンした場合は一瞬でオーバーヒートします。日傘などで直射日光を遮るようにしましょう。

⑦スキャン後は必ず生成されたモデルを確認しましょう。モデルに穴が開いていたり、テクスチャに大きなズレがある場合があります。

⑧1回のスキャンがダメだった？良いモデルが出来るまでトライ＆エラーです。初めの内は上手くスキャン出来ないことの方が多いですが、自分なりの方法を見つけるまでの辛抱です。頑張りましょう！

スキャン中のオーバーヒート対策をしよう！

上記でも書きましたがスキャン中はデバイスにかなり負荷がかかりオーバーヒートを起こすことがあります。特に直射日光下でスキャンした場合は一瞬でオーバーヒートするので何か対策をとる必要があります。
個人的にやっている対策としては
①スマホのカバーを外す
②直射日光を遮るための日傘を用意する(スマホだけじゃなくて自分の熱中症対策にもなるのでGOOD)
③スマホクーラーを使用する

保冷剤ではなくスマホクーラーをオススメする理由は、携帯しやすいからの1点につきます。充電してバックやポケットに突っ込むだけで使えるので凄い便利ですよ。ハードな環境でApple LiDARを使用したい方にオススメの一品です！

最後に

ここまで読んでいただきありがとうございました。


この記事が気に入ったらサポートをしてみませんか？