見出し画像

徹底解説！iPhone 3Dスキャンの撮り方全て教えます

iwama

本記事は初めてiPhoneで3Dスキャンを行う方や、実際に試して見たが上手く行かなかったとお困りの方に向けたiPhone3Dスキャンの撮影方法等を解説したものです。

その為3Dスキャンとは何か？等の全般的な内容はこちらの記事をご参照ください。

なお本記事は2023年の1月時点での情報をまとめており、最新の情報ではない可能性があります。
また筆者独自の調査や見解も入っており、事実とは異なる部分が存在する場合があります。

自分の記事を読んで為になったという方にお願いです。可能な限りで良いので令和6年能登半島地震の被災地支援のため募金活動をよろしくお願いします。

iPhone3Dスキャンのタイプ

iPhone3Dスキャンにはいくつかのスキャンタイプが存在しています。 それぞれに特徴があるため用途に応じて使い分けると良いでしょう。
なお本記事はiPhoneのリアカメラ/LiDARの解説記事なので、フロントにあるFaceID(Truedepthセンサー)に関しては簡単な紹介程度となります。

LiDARスキャン

iPhone12/13/14Proシリーズ、iPad Pro(2020年モデル以上)に搭載されているLiDARセンサーを利用した3Dスキャン。LiDARセンサーの有効照射距離が5mとなっており、歩きながら動画を撮るように3Dスキャン出来るのが特徴となっています。

特徴としては部屋等の空間や大型の物体の3Dスキャンに向いていますが、小物や小さな凹凸を再現するのは苦手となっています。


LiDARスキャン(詳細モード)

利用可能なデバイスはLiDARスキャンと同じです。
通常のLiDARスキャンに比べて、より物体に特化した3Dスキャンとなっており、スキャン方法も基本的にはLiDARスキャンで大型の物体をスキャンする時と同じとなっています。

本機能を使えるアプリは限られており、現状ではScaniverseとPolycamのみが対応しています。


NoLiDARスキャン

現状NoLiDARスキャンを行えるアプリはScaniverseのみとなっています。
この機能が利用可能なデバイスはiPhoneXS及びA12プロセッサを搭載したiPad以降なら全てのiOSデバイスで利用可能となっています。

このNoLiDARスキャンの特徴は、LiDARセンサーを使わないでLiDARスキャンと同じ様に3Dスキャンが出来る点となっています。その為後述するフォトグラメトリではスキャンの難しい空間なども(比較的)簡単に3Dスキャン出来ます。

より詳しい仕様等に関してはScaniverseの公式ブログ(↓)を参照ください。

フォトグラメトリ

最新のiOSに更新できるほぼ全てのデバイスで利用可能となっており、リアカメラで撮影した写真を元に3Dモデルを作成します。フォトグラメトリに使用する写真は一部のアプリを除いて手動で撮影する必要があり、ある程度の事前知識が必要となります。

(iPhone)フォトグラメトリの特徴は大～小の物体の3Dスキャンに向いています。空間の3Dスキャンも可能となっていますが、1度の処理で撮影可能な枚数に上限がある為難易度は高くなっています。その為空間の3DスキャンはLiDARスキャンの方が向いています。

【補足】 基本的にはスキャンアプリ上で写真を撮影→写真をクラウドサーバーにアップロード→クラウド上でデータ処理を行い3Dモデル作成→完成したモデルをデバイス上にダウンロードという流れとなっています。

フォトグラメトリ(ビデオ)

Trnio/TrnioPlusが対応しているフォトグラメトリの方法です。
こちらは自分で写真を撮影する必要がなく、LiDARスキャン(詳細モード)の様に動画を撮影して3Dスキャンを行います。アプリ側で動画からフォトグラメトリに使えるシーンを選んでくれるので、フォトグラメトリに比べて難易度が低いというメリットがあります。
また手動で撮影するフォトグラメトリよりは空間のスキャンを行いやすいと思います。

NeRF

(注意:NeRFに関しては自分も詳細を理解出来ていないので間違っているかも知れません。後説明もざっくりです)

現状のiOSアプリだとLumaAIのみが対応している機械学習を用いて3Dモデルを生成する技術となっています。個人的感想ですがフォトグラメトリよりも形状や陰影を詳細に表現することが出来ます。

3Dスキャン時の動き方はフォトグラメトリとほぼ同じなのでフォトグラメトリに慣れている人であればそのまま使えると思います。
データの処理はフォトグラメトリと同じでクラウドサーバー上で行いますが、フォトグラメトリの2~3倍程度処理に時間がかかります。


TrueDepthスキャン

(注意:専門外の内容なので間違っている可能性があります。また説明もざっくりとした紹介のみです)

iPhoneのフロントカメラ部分に搭載されているTureDepthセンサーを利用して3Dスキャンを行います。TrueDepthセンサーはiPhoneの顔認証に利用されており、SEシリーズを除くiPhoneX以降の機種に搭載されています。
仕組み的にはリアカメラのLiDARセンサーと似ていますが、LiDARスキャンよりもより細かい形状の3Dスキャンが行なえます。

ただし有効照射距離は短く数十cmしか無いため小型の物体の3Dスキャンに特化していると考えて良いでしょう。 フロントカメラに搭載されているという都合上、画面を見ながらのスキャンが難しく3Dスキャンの難易度はかなり高いと思います。この問題はサードパーティ製のアタッチメントを購入することである程度対処可能となっています。

タイプのまとめ

参考程度ですが用途別にまとめてみました

部屋や庭等の空間を3Dスキャンをしたい
→LiDARスキャン

LiDARセンサーが無いiPhoneで空間の3Dスキャンをしたい
→NoLiDARスキャン※対応機種のみ、フォトグラメトリ(ビデオ)

車や人間大の物体を3Dスキャンをしたい
→LiDARスキャン(詳細モード)、フォトグラメトリ(NeRF)

小物の3Dスキャンをしたい
→LiDARスキャン(詳細モード)、フォトグラメトリ(NeRF)、TrueDepthスキャン

小物の細部まで3Dスキャンしたい
→NeRF、TrueDepthスキャン

iPhone3Dスキャンアプリの紹介

iPhone(iPadでも使用可)で使用できる3Dスキャンアプリはマイナーなモノまで含めると数十種類程提供されていますが、今回はその中でもメジャーな3Dスキャンアプリを10個程簡単に紹介していきます。

なお本記事では出力や処理品質に制限があり、サブスクに加入することで制限が解除されるアプリを有料アプリとしていますが3Dスキャン自体は基本的にどのアプリも可能となっています。出力や処理品質に制限が無いものは無料アプリとしています

3Dモデルの形式には一般的な3DCGで使用されているポリゴンメッシュ(以下メッシュ)と色がついた点が集合して3Dモデルを構成している点群が存在しています。

ポリゴンメッシュのファイル形式はOBJ,FBX,GLB(GLTF),USDZ,STLが主に使用されており、点群のファイル形式はPLY,LAS,e57,TXTが主に使用されています。

3dScannerApp

・対応機種:
LiDARスキャン
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
フォトグラメトリ
iOS14.0に対応する機種
・料金:
無料(フォトグラメトリはβテスト中であり制限あり)
・出力形式:
メッシュ=OBJ,FBX,GLTF,USDZ,STL,DAE
点群=PCD,PLY,PTS,LAS,e57
・スキャンタイプ:
LiDARスキャン or フォトグラメトリ or TrueDepth
・公式HP

特徴

3dScannerAppはiPhone3Dスキャンアプリとしては最古参ながら現在でも更新が続けられており、その機能数も全スキャンアプリの中ではトップクラスに多くなっています。

単一のアプリ内でLiDARスキャンからフォトグラメトリ、TrueDepth、RoomPlanが行えるのは3dScannerAppのみとなっています。特にLiDARスキャンはモノだけをスキャンや人だけをスキャン、作成する3Dモデルのメッシュサイズ等を指定することが出来、多様な3Dスキャン環境に対応することが可能となっています。

また汎用的なスキャンアプリとしては唯一体積の計測機能を搭載しているため一般ユーザーだけでなく、建設業ユーザーにもオススメのアプリとなっています。 ただし機能数が多く、他のスキャンアプリよりはUI面で分かりづらい部分がある為利用には若干の慣れが必要になると思います。

Polycam

・対応機種:
LiDARスキャン(詳細モード含む)
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
フォトグラメトリ
iPhone8以降のiOS16に対応可能なデバイス
Android端末(詳細は公式HPで)
・料金:
月880円 or 年6600円
・出力形式:
メッシュ=OBJ,FBX,GLTF,USDZ,STL,DAE
点群=DXF,PLY,LAZ(LAS),XYZ(TXT),PTS
・スキャンタイプ:
LiDARスキャン or LiDARスキャン(詳細モード) or フォトグラメトリ
・公式HP

特徴

Polycamは欧米で最もシェア率が高いスキャンアプリとなっています。LiDARスキャンは通常と詳細モードが存在しており空間から小物まで対応可能となっており、通常の自動撮影以外にも手動でスキャンしていくモードが存在しています。

手動スキャンを利用することで通常よりもテクスチャのズレや誤差を減らしてスキャンすることが可能となりますが、ラップ率等の計算を自分で行う必要があるため上級者向けとなっています。

Polycamに搭載されているRoomPlanスキャンは家具の認識率が高く、ワンルーム程度であれば１分程度で簡易的な3Dモデルを作成することができます。特にこのRoomPlanスキャンとPolycamの独自機能であるフロアプラン機能を組み合わせることで部屋の寸法を一瞬で確認することができます。

またフォトグラメトリのみとなりますがAndroid端末でも利用可能となっています。対応可能な機種等は公式HPのFAQを参照してください。

Scaniverse

・対応機種:
LiDARスキャン(詳細モード含む)
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
NoLiDARスキャン
iPhoneXS以降のiPhone
A12以降のプロセッサを搭載したiPad
・料金:無料
・出力形式:
メッシュ=OBJ,FBX,GLB,USDZ,STL
点群=PLY,LAS
・スキャンタイプ:
LiDARスキャン or LiDARスキャン(詳細モード) or NoLiDARスキャン
・公式HP

特徴
Scaniverseは現状提供されているアプリの中では唯一NoLiDARスキャンが可能となっているアプリとなります。このNoLiDARスキャンは幅広い機種でLiDARスキャンと同様なスキャンが行える為、3Dスキャン入門に最適なアプリだと思います。

無料LiDARスキャンアプリとしてはUIも分かりやすく、スキャン対象に応じて推奨のスキャン距離を選択可能となっています。

また無料アプリながらスキャン品質は有料のアプリで作成したものと遜色ないレベルとなっており、初心者からベテランまで幅広く利用できるアプリとなっています。

Metascan

・対応機種:
LiDARスキャン
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
フォトグラメトリ
iPhone8以降のiOS14に対応可能なデバイス
・料金:
月780円 or 年5500円
・出力形式:
メッシュ=OBJ,FBX,GLTF,USDZ,STL
点群=PLY,LAZ(LAS),XYZ(TXT)
・スキャンタイプ:
LiDARスキャン or フォトグラメトリ
・公式HP

特徴

Metascan最大の特徴はスキャン中の画面視点を切り替えることが可能な点です。通常のLiDARスキャンアプリではビデオ撮影する様なFPS(一人称)視点のみとなっていますが、Metascanの場合はFPS視点以外にも上空から見下ろした状態でのスキャンに対応しています。

この上空から見下ろした状態でのスキャンは空間をスキャンする時に効果を発揮し、自分が撮り忘れた部分を素早く見つけることができます。またFPS視点のままゲームのミニマップ表示の様に画面端に上空視点(その逆も可)を表示することができ、空間のLiDARスキャンに最適なアプリと思います。

またiPhoneでフォトグラメトリできるアプリとしては最多クラスの撮影枚数(1度に300枚)を誇り、Metascan上のモデル共有リンクをMeta Quest2で表示することで簡単にVRで閲覧する事が可能となっています。

WIDAR

・対応機種:
LiDARスキャン
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
・フォトグラメトリ
iPhone8以降のiOS14.5に対応可能なデバイス
Android端末(詳細はお問い合わせ願います)
・料金:
月720円
・出力形式:
メッシュ=OBJ,FBX,GLTF,USDZ,STL
点群=PLY,LAZ(LAS),XYZ(TXT)
・スキャンタイプ:
LiDARスキャン or フォトグラメトリ
・公式HP

特徴

WIDARの特徴はスキャンしたモデルの編集・加工機能が豊富となっている点です。通常のスキャンアプリで出来る編集は正方形状にモデルを切り抜くかテクスチャの色味を変更する程度ですが、WIDARの場合はこれら機能に加えてモデルの一部を削除したり、モデルのメッシュ自体を変形させたりすることが可能となっています。
またモデル内にエフェクトやライトを追加することも可能になっており、より多彩な表現を行うことができます。

WIDARもフォトグラメトリのみですがAndroid版が存在しています。またWIDARは日本のベンチャー企業が開発しているため、サポートも日本語で可能なのもメリットとなっています。

TrnioPlus

・対応機種:
LiDARスキャン
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
フォトグラメトリ
iPhone8以降のiOS15に対応可能なデバイス
・料金:
ミニマムプラン 月500円(月50スキャンまで可)
通常月額プラン　月1150円(月125スキャンまで可)
年間プラン　年8700円(制限無し)
・出力形式:
メッシュ=OBJ,STL,USDZ
・スキャンタイプ:
LiDARスキャン or フォトグラメトリ(ビデオ)
・公式HP

特徴

TrnioPlusは今までのスキャンアプリとは違い、LiDARスキャンのデータであってもクラウドサーバー上で処理を行います。その為処理に時間がかかるという欠点はあるものの、他のLiDARスキャンアプリだと破綻しやすい細かい部分やテクスチャ等がしっかりと再現されます。特にテクスチャに関してはズレが非常に少なくなっています。

TrnioPlusのLiDARスキャンではスキャン中にリアルタイムで正常にスキャンできた部分、出来ていない部分を色分けして表示します。これにより初心者でもスキャン領域が赤くなるようにスマホを動かすだけで簡単にLiDARスキャンを行うことができます。

またTrnioPlusでは他のカメラアプリで撮影した写真や一眼レフカメラ、ドローンカメラ等で撮影した写真をTrnioPlusにインポートすることでフォトグラメトリすることも可能となっています(1プロジェクトに付き300枚まで)。

SiteScape

・対応機種:
LiDARスキャン
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
・料金:
月5700円
年48800円
・出力形式:
点群=PLY,e57
・スキャンタイプ:
LiDARスキャン
・公式HP

特徴

SiteScapeは今まで紹介してきたスキャンアプリとは違い点群のみがスキャンできる建築向けのスキャンアプリとなっています。

無料版でもLiDARスキャン及びデータの出力は可能となっています。有料版にアップグレードするメリットは無料版の10倍程度(500m2)の規模でもスキャン可能となっている点です。

仕組みとしては1度のスキャンプロジェクト内で10回分のスキャンを行い、それをクラウドサーバー上で自動(もしくは手動)で合成を行うという仕組みです。これにより従来では不可能だった大規模スキャンを精度良く行うことが出来ます。

SiteScapeでスキャンされた大学の構内(SiteScape公式HPより)

Trnio

・対応機種:
フォトグラメトリ(ビデオ)
iPhone6以上のiOS13に対応可能なデバイス
・料金:
買い切り800円
・出力形式:
メッシュ=OBJ,USDZ
・スキャンタイプ:
フォトグラメトリ(ビデオ)
・公式HP

特徴

Trnioは先程紹介したTrnioPlusの前身となるフォトグラメトリ専用アプリとなります。Trnio自体が2013年に発売されているため現存するであろう全てのiPhoneで使用可能となっています。

800円と安価ながら値段以上の性能を誇っており、追加課金なしでも処理回数に制限が無いためフォトグラメトリの動きを理解する為のトレーニング等にも使用することが出来ます。

またTrnioPlusと同じく100枚まで外部の写真をインポートしてフォトグラメトリを行うことができるのもTrnioの特徴となります。

RealityScan

・対応機種:
フォトグラメトリ
iOS16に対応可能なデバイス
・料金:
無料
・出力形式:
メッシュ=特殊な為特徴にて解説
・スキャンタイプ:
フォトグラメトリ
・公式HP

特徴

RealityScanはフォトグラメトリ撮影中にリアルタイムで品質を確認することが可能なアプリとなっています。
仕組みとしては写真撮影と同時にクラウドサーバーに写真がアップロード→クラウド上で処理→処理結果がデバイス上にダウンロードされ撮影画面に品質を表示という感じになっています(言葉では説明しづらいので動画を参照にしてください)。

処理が問題なく進めば画面上に赤や黄色、緑の点々が表示されます。赤点は撮影枚数が少ない箇所、緑点は十分に撮影されている箇所を示しており、撮影者はこの色点を参考にしながら撮影することで品質の良いフォトグラメトリを行うことができます。

欠点としてリアルタイムに写真をアップロード&モデルをダウンロードする為、モバイル回線で利用する場合はデータ利用量に注意する必要があります。

対策としてはオフラインモードで使用することで撮影完了後に一括で処理を行うことは出来ますがリアルタイムアシストは使えません。

またフォトグラメトリしたモデルはSketchfabという3Dモデル共有プラットホームにアップロードされます。ユーザーはこのSketchfabにアップロードされたモデルをFBX形式でダウンロードすることが可能です。

ただしこの時Sketchfabにアップロードされたモデルは全世界中の人が閲覧&ダウンロード可能になっている場合があるのでプライベートなモノをスキャンする時は注意が必要です。

LumaAI

・対応機種:
NeRF
iOS16に対応可能なデバイス
・料金:
無料
・出力形式:
メッシュ=OBJ,GLTF
点群=PLY
・スキャンタイプ:
NeRF
・公式HP

LumaAIはフォトグラメトリよりも細かいパーツ(Type-Cケーブル等)も3Dモデル化できる点で優れています(NeRF自体の特徴でもあります)。

撮影自体も通常のフォトグラメトリの様に手動で撮影することも可能ですが、撮影範囲を設定した上でガイドラインに従って撮影するモードも搭載されており、初心者でも簡単に撮影することが可能になっています。

処理時間はiPhoneのフォトグラメトリアプリよりも時間が掛かりますが、フォトグラメトリでは撮影出来なかった部分も再現可能になる場合があるため状況に応じて使い分けるのが良いかと思われます。

iPhone3Dスキャンが苦手としているモノ

iPhone3Dスキャンは得て不得手がハッキリとしており、3Dスキャンする対象の材質や形状によってはどう頑張っても上手くいかない場合があります。
ここではLiDARスキャンとフォトグラメトリの苦手としているモノを解説していこうと思います。

LiDARスキャン

  • ガラスや透明なプラスチックや水面等の透明/半透明な物体
    →レーザーを透過してしまうのでモノとして認識されません

  • 鏡や磨かれた金属等の表面がよく反射するモノ
    ※特に鏡は映っているモノがスキャンされてしまいゴーストが発生します

  • 1辺が15cm未満の物体
    →LiDARスキャンする場合は1辺が15cm(iPhone14Proの縦幅)以上が望ましいとされています※LiDARスキャン(詳細モード)なら問題ありません

  • 高さが5m以上ある建物
    →人間の手だけでスキャンする場合の限界が高さ5m程度となっています。自撮り棒等を使うことである程度の高所でもスキャン出来ますが、ブレなどの問題により品質は悪化します。

  • 同じ色や模様が続いている場合
    →同じ色や模様が続いている場合、LiDARスキャンの処理にエラーが発生しおかしくなる場合があります。特に室内の天井は変化に乏しい場合が多いので注意が必要です。

  • 動いている物体
    →人(特に小さな子供)や動物は眠っている時にスキャンしましょう。

フォトグラメトリ

補足 :フォトグラメトリは写真に写っている特徴点(模様)を元に異なる写真同士で同じものが写っているかを判断します。その為特徴点が多いものはフォトグラメトリが成功しやすく、少ないものは成功しづらくなっています。

  • ガラスや透明なプラスチックや水面等の透明/半透明な物体
    →写真に映らなかったり、特徴点が非常に少ないので基本的に透明/半透明な物体はフォトグラメトリ不可能と考えても良いでしょう。

  • 鏡や磨かれた金属等の表面がよく反射するモノ
    →撮る角度によって表面に写っているものが変わってしまう(同じ特徴点が存在しない)のでこれらの材質はフォトグラメトリするのが難しくなっています。

  • 光沢があり表面がツルツルしているモノ
    →こちらはフォトグラメトリ自体は出来ても一部が欠けていたり、表面が凸凹になってしまう場合があります。

  • 単色や模様が存在しないモノ
    →特徴点が存在していないモノはフォトグラメトリすることが出来ません。

  • 動いている物体
    →写真ごとに写り込んでいる形状が変わっているためフォトグラメトリすることが出来ません。

3Dスキャンのコツ(共通編)

この項目ではiPhone3Dスキャンを行う場合の基礎的な内容を記載しています。その為スキャンしたい対象によっては一部異なる場合があります。場面毎の詳しい説明は後述の【場面別3Dスキャンのtips】を参照してください。

スキャンする対象と周辺環境を確認する

iPhone3Dスキャンには上記で紹介した様に苦手なモノがあります。その為事前に確認し対処(対処方法はtipsで紹介)する必要があります。
またスキャン対象だけではなく、スキャン対象の周辺環境もしっかりと確認しましょう。特に足場となる部分に障害物が無いかや人が立ち入る可能性が無いかをしっかりと確認しましょう。

十分な照度を確保する

3Dスキャンする場所は十分な明るさがあるようにしましょう。ただし明るすぎる場合にカメラを向けた場合映像や写真が白飛びする場合があるので注意しましょう。

照明の場所によっては影が発生し、その影がそのまま3Dモデルに反映されてしまうため、照明の位置には十分注意する必要があります。
屋外でスキャンする場合は影が発生しない曇りの日が一番望ましいとされています。

カメラ部分の汚れに注意する

スキャン開始前にカメラのレンズ及びLiDARセンサー部分に汚れが無いかを確認してください。レンズ部分の汚れはスキャン品質に直接影響を与える為注意が必要です。

基本的にフォトグラメトリもLiDARスキャンも素の状態で使用されることが想定されているため、レンズカバーはスキャン品質に悪影響を及ぼす可能性があることに注意してください。

手ブレを防ぐ

スキャン中の手ブレはテクスチャの品質に大きく影響します。特にフォトグラメトリはブレがモデルの形状に悪影響を及ぼすだけでなく、特徴点を認識出来ないため使えない写真になる場合があります。その為スキャン中は両手でしっかりとiPhoneを保持しましょう。

LiDARスキャン、フォトグラメトリ共にiPhoneの向きが縦、横、逆さまであっても問題なくスキャンが可能となっています。その為個人的に両手でしっかりと保持しやすい横持ちを推奨しています。

またスタビライザー(ジンバル)を使用することでテクスチャ品質が向上する場合があります。フォトグラメトリの場合はBluetoothリモートシャッターを併用することでより使いやすくなると思います。

撮影は基本正面から

LiDARスキャン、フォトグラメトリ問わずスキャン(撮影)時は対象物の正面から撮影することが大切になります。

斜めから撮影した写真は3Dモデル作成時に正面から撮った写真の様に引き伸ばされます。その為場合によってテクスチャが歪んでしまう場合があります。

その為可能な限りは正面から撮影する様に意識してください。特に高い場所などどうしても斜めから撮影する必要がある場所は自撮り棒を使って高さを確保するなどの工夫をすると良いでしょう。

スキャン対象が動かないようにする

スキャン中に対象物が動いてしまう場合、正常にスキャンが行えなくなります。特に小物スキャン等でパーツがしっかりと固定されていない場合や屋外スキャン時に風が吹いている場合は注意してください。

3Dスキャンのコツ(LiDARスキャン編)

熱暴走対策を行う

iPhoneLiDARスキャンは端末の処理性能を最大限まで使用するため、LiDARスキャン時はすぐに端末温度が上がります。端末温度が一定値を超えた場合、強制的に処理性能を引き落とし、端末の冷却が優先されます。
その為iPhoneLiDARスキャンを行う場合はいかに熱暴走を起こさないかが重要となります。

熱暴走が発生した場合、画面がカクつく、画面が暗くなるという症状が発生する為、これら症状が現れた時は直ちにスキャンを中断しましょう。

対策としてはスマホカバーを外す、スマホクーラーを使用する、屋外の場合は日傘を使用し直射日光がiPhoneに当たらないようするが挙げられます。

スキャン範囲の設定

一度に広い範囲をLiDARスキャンしてしまうと熱暴走や処理限界が来てしまい、品質の悪いスキャンしか行えなくなる場合が多いです。その為広域をスキャンする場合は複数の区画に分けてスキャンする様にしましょう。

一度にスキャンできる範囲は条件により変わりますが、10m×10m(100m2)以内を目安にするのが良いと思われます。
なお涼しい場所でスキャンをする場合は上記より広い範囲でもスキャンすることが可能ですが20m×20m以内に納めるのが良いと思われます。

スキャン対象との距離

スキャン対象によって推奨距離は変化しますが、空間の場合は1m～3m以内、詳細モードで小物をスキャンする場合であっても10cm~50cm程度は離れた距離でスキャンする必要があります。

iPhoneのLiDARセンサー自体の有効照射距離は5mですが、5m先では平らな面などを大まかに検知できる程度となっているため、ある程度の起伏等をしっかりと認識させるには3m以内が推奨されます。

iPhoneの角度

主に屋外スキャンをする場合に注意が必要な項目ですが、地面を計測する場合は地面に対してiPhoneの角度が30度から45度になるようにします。

iPhoneの角度が急過ぎる場合、地面以外にも水平線や遠景が写ってしまい自己位置推定に使える情報が少なくなる為です。また垂直面をスキャンする場合は面に対してiPhoneが正対する様にスキャンします。

スキャン時の移動速度

スキャン中の移動速度は品質に多くの影響を与えます。これは移動速度が早いほど手ブレなどが大きくなる為です。

移動速度は普段の徒歩移動の半分程度になるように意識してください。またスタビライザー使用時であっても移動速度が早い場合はiPhoneの処理が追いつかない場合があるため注意してください。

同じ場所のスキャンをしない

一度スキャンした場所を再びスキャンした場合、状況によっては一度スキャンした場所と認識されず、スキャンが2重にされる場合があります(以下ゴーストと呼称します)。

このゴーストは1度スキャンしてからの時間が増えるほど発生する確率が高くなっているため、基本的には一度スキャンした場所はスキャンしないようにしましょう。

もし2回スキャンが必要な場合(1周して起点でスキャンが終了する場合等)は1回目と同じ場所をじっくりと映すことでゴーストの発生が抑制される場合があります。

スキャン対象以外のモノを映さない

スキャン角度の項目でも述べましたが、スキャン対象以外のモノが画面に多く写っていると正常にスキャンできない場合があります。

特に空等の色の変化が乏しく常時変動しているモノはスキャンにとって有害となります。また人や自動車等移動している物体がスキャン画面に映り込んだ場合もエラーが発生する可能性が高くなるため注意してください。

3Dスキャンのコツ(フォトグラメトリ編)

何故写真から3Dモデルが生成されるか理解する

フォトグラメトリの仕組みを感覚的に説明すると、人間の目と似ています。人間の目も片目だけでは平面的(2次元)に見えますが、両目で見ることにより立体的(3次元)にモノが見えます。

フォトグラメトリも同様に2次元画像を様々な位置や角度で撮影した写真の視差等を元に3Dモデルを生成します。
ここで重要なのは複数の角度から同じ部分を撮影するという部分です。詳しい理論は慣れてきてから調べると良いかなと思います。

写真同士が70％以上重なる様に撮影する

フォトグラメトリ時に撮影する写真は、隣接する写真同士が70％以上同じ位置が写っている(オーバーラップ)様に撮影します。
もし仮に適切なオーバーラップを確保出来ていない場合は、正常に処理が行えずモデルが作成出来ないか一部が破綻してしまいます。

このオーバーラップは縦横どちらも70％以上重なっている必要があるため注意してください。

特徴点を理解する

特徴点を理解するにはパズルをイメージするのが一番良いと考えています。

例えば上記画像左側ならパズルをしたとしても比較的簡単に完成させることが出来ると思います。しかし画像右側は模様がすべて同じであり、完全に元の位置に戻すのは困難だと思います。

この様に特定の場所を特定しやすい模様や角を特徴点と考えるのが分かりやすいかと思います(学術的な意味は違うかも)
なので特徴点が多い物＝パズル難易度が低い、特徴点が少ない物＝パズル難易度が高いとイメージして貰えればな～と思います。

なぜ特徴点が必要なのか？

フォトグラメトリは複数の角度から複数枚の写真を撮影します。撮影した写真はどこからどの部分を撮影したかを機械的に判断する必要があります。
その判断材料の一つが上記で説明した特徴点になります。

上記画像の様に特徴点が存在している場合は、どこから何を撮影したかが分かるので写真を正常に並べる(アライメント)ことができます。

逆に上記画像の様に特徴点が一切存在しない場合は、どこで何を撮影したか特定出来ないため写真を正常に並べることが出来ません。その為特徴点が存在しないモノを3Dモデル化する事は出来ません。

カメラの位置を変えて撮影する

コツの冒頭で解説しましたが、フォトグラメトリは様々な位置から撮影するのが重要となります。

上記画像で考えた場合左と右では左の方が多くの位置から撮影されている為、より綺麗な3Dモデルが生成されます。
その為フォトグラメトリの写真撮影時は位置を同じ位置から角度を変えて撮影するのではなく、位置を変えながらオーバーラップを意識して撮影することが重要です。

角は多めに撮影する

角を撮影する場合はどうしてもオーバーラップの確保が難しくなります。
その為適切なオーバーラップを確保する為にも多めに写真を撮影するのが大切です。

この時も位置と角度の両方を変えながら撮影してください。

高さ方向も位置を変えながら撮影をする

高さ方向も位置(高さ)を変えながら撮影するのが重要です。
この時ただ垂直に高さを変えるのではなく、ドーム状になる様に高さとカメラの傾きを変えるとより品質が向上します。

最初は必要十分以上の撮影枚数を意識する

フォトグラメトリは撮影した写真の枚数に比例して品質も向上しやすいですが、データの処理時間が増加します。

品質と処理時間のバランスを見ながら撮影枚数を調整することが推奨されますが、基本的に撮影枚数が多いほうが成功しやすいです。 その為フォトグラメトリ初心者の場合は撮影枚数を多く取ることが推奨されます。

これはあくまで自分の経験上ですが、1周16枚以上の写真を撮影するのが良いと思います。

使えない写真を削除する

写真撮影時に背景の一部が動いてしまった場合(特に屋外撮影に多い歩行者や自動車等)は3Dモデル生成時に悪影響を及ぼすため可能な限り削除してください。

また撮影時に影が出来ている部分は特徴点が存在しない又は特徴点が乏しくなるため可能な限り影が出来てしまった写真は削除してください。
ただし光源の位置を動かせない場合や常時同じ位置に影がある場合はそのまま写真を使用しても問題ありません。

光源方向にカメラを向けて写真を撮影した場合は白飛びが発生する場合があります。こちらも3Dモデル生成時に悪影響を及ぼすので削除してください。

撮影した写真の中には手ブレの影響で写真全体がブレていたり、ピンボケしている写真も出てきます。
この様に正常に撮影されていない写真を処理に使ってしまうと、全体の品質に影響を与えてしまい、低クオリティの3Dモデルが生成されてしまいます。

その為フォトグラメトリの処理実行前に撮影した写真を確認し、使えない写真は削除しましょう。

場面別3Dスキャンのtips

眠っている子供や動物をスキャンしたい場合

こちらの場合はスキャン中に寝返りや起きてしまう可能性があるため可能な限り素早くスキャンする事が重要となります。その為使用するスキャンタイプはLiDARスキャン(詳細モード)かフォトグラメトリ(ビデオ)にするのがオススメとなっています。

理想的なスキャンポジションはスキャン対象の周囲を回れることですが、それが不可能な場合は自撮り棒を使用して反対側をスキャンするのが良いと思われます。

人をスキャンしたい場合

こちらの場合は細部をしっかりと撮りたいのでフォトグラメトリを利用するのが良いと思われます。LiDARスキャン(詳細モード)では腕の下側や足の内側等をスキャンする時に失敗しやすいためです。

被写体となる人は用途にもよりますが、VRアバターとして活用する場合は大の字の姿勢がオススメとなります。フォトグラメトリで3Dスキャンを行うため撮影に時間がかかります(大体5~10分程度)。
その間同じ表情をキープするのは難しい(瞬きも不可)為、胴体と頭部は別々でスキャンし、CGソフト等で合体させるのが良いと思われます。また頭部をスキャンする場合は椅子などに座ってスキャンすることで頭頂部までスキャンする事ができます。

万が一、一度のスキャンで体全体(顔含む)までをスキャンしたい場合は顔から順に下側へ円を描くようにスキャンすることが推奨されます。この時間違っても顔(特に表情)が2回以上スキャンされないように注意してください。

半透明な物体や光沢、反射するモノをスキャンしたい場合

光沢やある程度の反射(車のシルバー等)であれば曇りの屋外でLiDARスキャン(詳細モード)を使用することで上手くいく場合があります。
ただしフォトグラメトリ、LiDARスキャン(詳細モード)共に半透明な物体やよく反射する物体のスキャンは厳しいところがあります。

NeRFを使用することである程度改善される場合があります。 またテクスチャを得ることはできませんが、形状だけスキャンしたい場合はAESUBと言う専用スプレーを使用することでスキャンが可能になります(ただしスプレー自体は結構高いですが)。

フォトグラメトリで光沢のあるモノをスキャンする場合は以下の記事が参考になると思われます。

スキャンしたモデルに穴がある場合

スキャンモデルの穴は、スキャンしたモノの色が単色や特定のパターンの柄が連続している場合に発生しやすくなっています。特に表面が光沢しているモノの場合は上記現象が発生しやすくなります。

対策としては穴が出来た部分に柄付きマスキングテープ等のスキャン後に剥がしやすいテープ類を貼り付ける事で、強制的に特徴点を増やします。

人より背の高いモノをスキャンしたい場合

道具無しでiPhone3Dスキャンを行う場合、人の背丈よりも高いモノのスキャンは難しくなっています。
これは単純にスキャンレンジが足りていないという問題もありますが、スキャン中に状況を確認することが出来ないため、どこがスキャン出来ているか出来ていないかの確認が難しくなっています。

スキャンレンジが問題の場合、長めの自撮り棒を使うことである程度改善されます。ただし自撮り棒使用時はブレが大きくなる傾向があるためテクスチャの品質が低下する場合があることに留意してください。

スキャン中の状況確認に関しては、Metascanの上空ビューモードを活用することである程度の確認を行うことが可能になります。

広域のスキャンを行いたい場合

一度にスキャンできる範囲は条件にもよりますが10m×10m四方程度が推奨されています。それ以上の範囲をスキャンする場合は、スキャン中に熱暴走や処理落ちのリスクが高くなり、生成される3Dモデルの品質が極端に低くなる場合があります。

iPhone3Dスキャンで上記以上の範囲を計測する場合は、複数の区画に分割し、後からCGソフト等で合成する方法が推奨されます。
この時分割した区画同士の一部が重なっている様にスキャンすると良いでしょう。また重なる部分にマーカー等を設置すると合成時の処理がやりやすくなる為オススメです。

暗所でのスキャンを行いたい場合

暗所でのスキャンは、スキャン時にエラーが発生する可能性が高く推奨されていません。

万が一洞窟等の閉所かつ十分な光源を確保できない場所でスキャンする場合は、広角の懐中電灯で前方を照らしながらスキャンしてください。ただし懐中電灯の明かりが強すぎた場合、白飛びの可能性が高くなるため、使用する懐中電灯の選択には十分注意してください。

ただし上記のやり方であってもスキャン時のエラーが発生する可能性は高くなっています。

部屋全体をスキャンしたい場合

部屋全体をスキャンする場合、一番重要なのは適切な移動経路を選定することです。これは２回以上のスキャンを防ぐことでゴーストの発生を抑制するのと、死角によるスキャン漏れを減らす為です。

経路開始は部屋の片隅から開始し、波状に移動するのが良いとされています。スキャンレンジが変更可能なアプリはスキャンレンジを3m程度に設定し、ゆっくりと移動します。視点を変える場合は一度立ち止まってからiPhoneを動かすと良いでしょう。

天井部分をスキャンする場合は可能な限り素早く行います。これは天井部分の特徴点が少なく、長時間天井部分を映している場合、スキャンにエラーが発生する可能性があるためです。

部屋の中には様々なモノが存在していますが、LiDARスキャンとモノスキャンの相性はあまり良くなく、詳細モードも空間スキャン時には通常の処理よりも欠損が出やすくなるため使うことは避けた方が良いでしょう。
その為LiDARスキャンで部屋全体をスキャンした後、フォトグラメトリ等でモノをスキャンし、後から合成するのが一番品質良くスキャンできると思います。

小さいモノをスキャンする場合

小さいモノをスキャンする際、iPhoneのカメラ位置が下側になるように持ちます。これは可能な限り下側の死角になる部分を減らす為です。LiDARスキャン、フォトグラメトリ問わずiPhoneが逆さまになってもスキャン結果に影響を与えることはありません。

モノを置く土台は可能な限り光沢が無い素材のモノを使用します。また土台自体も単色等の特徴点が乏しいモノより特徴点が多いほうが成功しやすくなります。その為新聞紙等を下敷きにすると良いでしょう。

スキャンする時、画面全体にモデルが映り込む距離までカメラを近づけます。ただしこの時近寄りすぎて映像がボヤけてしまわない様に気をつける必要があります。
上側から撮影する場合は、光源の位置を意識して撮影する必要があります。これは撮影者自身の影がテクスチャに反映されるのを避ける為です。

ただし上記を意識してもiPhoneフォトグラメトリで葉っぱや特に細いもの(ケーブルやガンプラの角等)を3Dモデル化するのは非常に困難となっています。

Q＆A

メッシュと点群は何が違うんですか？

メッシュ(ポリゴンメッシュ)は日常でよく見かけるCGモデルで、三角形や四角形の面から構成されています。特に指定がない場合はこちらのメッシュで出力するのが良いと思います。

点群は、数千～数百万以上の色情報を持った点の集合体で3Dモデルを構成します(点の群れなので点群)。CGソフト等で扱えない場合があるため注意してください。

iPhone3Dスキャンの精度はどの程度ありますか？

iPhone3Dスキャンの精度はスキャン方法や範囲、サイズ、対象の材質等様々な要因が存在しているため一概に断言することは出来ませんが、実測値よりも1~2%以上の誤差が発生すると考えた方が良いでしょう。

その為、専用機材や専用ソフトで作成された3Dモデルと同等品質を達成することは困難と言えますので、特に精度が要求される内容に関しては3Dスキャンの専門家へ相談することをオススメします。

Android端末でも3Dスキャンがしたい

(筆者がAndroidユーザーではないので曖昧な部分が存在しています)

今回紹介したアプリの中では、PolycamとWIDARがAndroidに対応しています。ただしAndroid版はフォトグラメトリのみ可能となっており、LiDARスキャンを行うことは出来ないため注意してください。

今後時期は未定となりますが、ScaniverseとRealityScanがAndroid端末への対応を予定しています。

iPhoneとiPadのどちらがオススメですか？

iPhoneは小型軽量で携帯性も良いため、出先や小物のスキャンをメインで考えている場合はオススメです。またオプションパーツ(自撮り棒等)の装着も可能というメリットがあります。 反面、処理性能や排熱処理、充電の消費量が激しい為注意が必要となります。

iPadは端末の処理性能が高く、iPhoneよりも排熱処理性能が高いため広い範囲をスキャンする場合にオススメとなります。 反面、重量やサイズ面でiPhoneより腕に負担がかかり、小物スキャン時の取廻し性能も低いのが欠点となります。

ここからはあくまで個人的見解になりますが、iPhone、iPadのどちらでも3Dスキャンは可能となっている為、3Dスキャン以外でiPhoneとiPadのどちらがあると便利かで考えるのが良いと思っています。

iPhone14ProとProMaxではどちらがオススメですか？

現在自分が確認している情報の中では、iPhone14ProとProMaxの性能に大きな差は存在していません。ProとMaxで違うのはバッテリー容量と重量とサイズの３つとなります。

iPhoneのLiDARスキャンは特にバッテリー消費量が激しいため、一度の充電でスキャン出来る回数はProMaxの方が有利といえますが、重量やサイズの問題から腕への負担も大きくなります。

先程のiPhone、iPadの項目でも述べましたが、3Dスキャン以外の用途でどちらがあると便利かで決めるのが良いと思います(個人的には14Proの方が軽くて便利だと思っています)。

iPhone12Proと14Proで3Dスキャン性能に差はありますか？

iPhone12Proと14Proでは 処理性能、カメラ性能、手ブレ補正の性能に差があります。

処理性能は分かりやすいですが、これはLiDARスキャン出来る範囲やスキャン後の処理速度等に影響を与えます。

カメラ性能は12Proが1200万画素、14Proが4800万画素と画素数が全てでは無いですが、iPhone14Proの方が綺麗なテクスチャを撮影することは出来ます。

手ブレ補正に関しては映像のブレが3Dスキャンした結果に影響を与えるため、手ブレ補正が優れている14Proの方が綺麗な3Dモデルを作成できる傾向にあります。

当たり前の話ですが14Proの方が綺麗な3Dモデルを作成するという面で考えたら優れています。
ただし12Proだと3Dスキャン出来ないという訳ではありません(自分も元々12Proでやっていました)ので価格に大きな差があれば12Proでも問題ないと思います。

ちなみに確定情報ではないですが、12Proと14Proに搭載されているLiDARセンサーは同じものの筈です

ストレージサイズはどれが良いでしょうか？

iPhoneで3Dスキャンした場合はモデルの生成に使用するRAWデータと生成された3Dモデルデータの2つに分かれます。

余程広い範囲を１度にスキャンでもしない限り1プロジェクト辺りのRAWと3Dモデルデータの合計サイズが500MBを超えることは少ないです。
RAWデータと3Dモデルデータでは前者の方がデータサイズが大きい傾向にあります。

RAWデータを保存して置くことで3Dモデルの再生成を行うことが出来ますが、基本的には初生成時の結果に問題が無い場合はRAWデータのみを消去して、3Dモデルデータのみをデバイスに保存しておくことも可能です。

RAWデータを消去する事を前提にした場合は、現在のデバイスで使用しているデータサイズ+3Dスキャン用に10GB程度を確保しておくと良いでしょう。

スキャンしたモデルを共有するにはどうしたら良いでしょうか？

相手がApple製品ユーザーの場合は、USDZで3Dモデルを出力→メッセージ等でそのままUSDZのファイルを送ることで簡単に閲覧が可能になります。こちらはApple製品に標準で搭載されているため、一番手が掛からない方法になります。

SNSで共有する場合は、アプリ機能(対応アプリはまとめ表で)を使用して動画化するのがオススメです。大体10秒～20秒程度の動画が作成される為SNSとの相性が良いと思います。

AndroidユーザーやWindowsユーザーに3Dモデルを見せる場合は、アプリ機能のクラウド共有機能を使用すると簡単に見せることが出来ます。ただし単純にモデルを見せる機能なので光源の設定等をすることは出来ません。

3Dモデル単体を美しく見せたい場合は、ユーザー登録が必須となりますがSketchfabもオススメです。ほぼ全てのアプリがSketchfabへ直接データをアップロード可能となっており、光源やテクスチャの詳細設定が可能となっています。

複数の3Dモデルを組み合わせたい場合は、STYLYがオススメです。スキャンアプリ各種の使い方からSTYLYまでのアップロード方法、STYLY自体の使い方も解説した記事も日本語で公開されています。

VR空間で3Dモデルを見せたい場合は、DOOR NTTがオススメです。こちらも3DスキャンしたモデルをDOOR NTTにアップロードする方法などが日本語で詳しく解説された記事があります。

iPhone3Dスキャン時にあると便利な道具はなんですか？

iPhone3Dスキャン(特にLiDARスキャン)時の消費電力が激しく、すぐバッテリーが無くなってしまいます。その為モバイルバッテリー、特に急速充電に対応したモノを用意しておく事が推奨されます。特に出先でのスキャンはモバイルバッテリーが必須になるため注意してください。

カメラレンズ部の清掃用にメガネ拭きがあると良いでしょう。ティッシュやハンカチではレンズ部分に傷がついたり、汚れが酷くなる場合もあるので注意してください。

高所のフォトグラメトリを行う場合は、Bluetoothリモートシャッターがあると便利です。性能的には100円ショップで売っているモノで構いません。

夏場の屋外でスキャンする場合はスマホクーラーがあると良い場合もあります。Amazonでも複数販売していますが、サクラレビューの場合もあるので個人的にはサンワサプライ等の日本企業から販売されいるモノが良いのかなと思います。

1度のスキャンでモノの裏側もスキャンすることは可能ですか？

現状自分が確認しているアプリはPolycamとMetascanのみですが可能です。

1度で裏側までスキャンする場合はLiDARスキャンではなく、フォトグラメトリを使用します。 前述したフォトグラメトリ解説では、スキャン対象ではなくカメラ自体を動かして撮影すると書きましたが、裏側までスキャンする場合はモノ自体を動かして撮影します。

裏側までスキャンする場合はスキャン対象と背景になる土台等の色が異なる様にしてください。もし撮影ボックスを所有している場合、撮影ボックス内で撮影するとより成功率が上がります。

撮影は動画のようにスキャン対象の360度全てが写真に写っている様に撮影していきます。この時もオーバラップが70％以上になるように意識してください。

写真撮影後はObject MaskingをONにして処理を開始します。このObject MaskingをOFFにしたままだと確実に処理が失敗するので注意してください。


この記事が気に入ったらサポートをしてみませんか？