見出し画像

iPhoneで始める3Dスキャン生活

iwama

皆さん！3Dスキャンしてますかーーーーー！?
どうもiPhone3Dスキャン大好きおじさんです。今回はiPhoneで始める3Dスキャンというお話をしていこうと思います。

iPad Pro(2020)にLiDARセンサーが搭載されたことで3Dスキャンが誰でも出来る時代が到来しました。
ただいきなりiPhoneやiPadで3Dスキャンができるよ！と言われてもピンとこない方が大半だと思うので、今回のnoteでは簡単な3Dスキャン技術の紹介からスキャンアプリ、スキャン方法などを説明していこうと思います。

3Dスキャンのざっくりとした区分

画像1

まず3Dスキャンとは何なのかという話ですが、3Dスキャンとは現実にある物体を様々な手法でスキャンし、それをコンピュータ上で再現することだと個人的に思っています(もしかしたら違うかも)
3Dスキャンの方法としては、写真から3Dモデルを作成するフォトグラメトリとレーザー光を使用するLiDARスキャンに分けることができると思います。

フォトグラメトリって何ぞや？

画像2

フォトグラメトリを簡単に説明してしまうと、様々な角度から撮影した写真を元に3Dモデルを作成する技術となります。
上記画像はReality Captureというソフトを使い、iPhoneで撮影した写真から観葉植物をフォトグラメトリしている状況です。
フォトグラメトリ自体は上記のような小物からお城丸ごと、果てには都市丸ごと3Dスキャンできる技術となっており、測量分野や考古学分野、現在ではゲーム制作分野でも活用されている技術となっています。
通常のフォトグラメトリを行う場合、最低限
・PC(ある程度の規模のスキャンを行う場合はゲーミングPCクラスが必要)
・カメラ(一眼レフカメラなどが望ましいが、ある程度はスマホでも可)
・フォトグラメトリソフト(無料～数十万円と幅広い)
が必要となり、本格的に始めようとすると揃える機材が多い＆高額なのが難点だったりします。

フォトグラメトリについて詳しく知りたい方はこちらのnoteを見て下さい！


LiDARスキャンは強いけど高い

画像3

そもそもLiDARって何なのよって所から話が始まると思うんですが、LiDARはLight Detection and Ranging(光検出と測距)の略称となっており、ざっくりというと光の跳ね返りを元に距離を測る技術とかそんな感じだと思ってください(多分)
LiDARについて詳しく知りたい方はホロラボの武仙さんが執筆したApple iPad/iPhone搭載「LiDARスキャナ」について調べてみた三部作をご覧ください。かなり詳しく分かりやすくLiDARについてまとめられています。
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (1)
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (2)
Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)

個人的に3Dスキャンをする難易度はフォトグラメトリよりLiDARスキャンの方が簡単で精度が良いと思うんですが、一つ重大な欠点があります。
それは値段です！！！上記画像にはLeica製のBLK360というスキャナーの画像を使用している訳ですが、これ単体で260万円ぐらいします。260万円ぐらいします！
そしてこのBLK360がLiDARスキャナーの中でも格安な部類に入るので、もっと上位クラスの機種は1千万円越えなどもざらにあります。(ハンディスキャナーは別枠ということで...)

という事で趣味の3DスキャンでLiDARスキャンをしたい場合は普通の乗用車が買えるレベルの出費を覚悟しなければいけないのです...

今までの3Dスキャンは参入ハードルが高い！

ということで今までの3Dスキャンを振り返ってみると3つの難点が見えてきます

①機材・ソフトが高価
これは上記でも説明しましたが、LiDARスキャナーは最低でも普通乗用車クラスの金額が、フォトグラメトリもPC、カメラ、ソフトを揃えるのに十数万円、下手したら数十万クラスのお金がかかります。世知辛い世の中...

②ノウハウを構築するのが大変
これは特にフォトグラメトリが顕著なんですが、フォトグラメトリ用の写真ってただ写真を取れば良いという風にはなりません。撮影時の角度や写真の重なりなどを考えて撮影しないとコンピュータ上で3Dモデルにすることが出来ません。なので自分なりのノウハウを構築するのに結構時間がかかります(自分は1年かかってやっと初心者クラスを卒業できました...多分)

③機材を持ち運ぶのが大変
これは使う物によっても変わってきますが、本格的にフォトグラメトリを始める場合などは持ち運ぶ機材も増えるので気軽に3Dスキャンするという事は少し大変かなと思います。

とこんな感じで今までの3Dスキャンは、いつでもどこでも誰でも気軽に3Dスキャンできるか？と言われると正直し辛い環境だったんじゃないかな～と個人的に思っていたりしました。

3Dスキャンの入門編としてiPhoneを使ってみよう！

さてここからが今回の本題であるiPhone(iPadでも可)を使用して3Dスキャンを始めませんかというお話になります。

iPhone3Dスキャンの何が良いかという部分ですが大きく分けて3つの利点があると思っています。

①iPhoneだけを用意すればOK！
個人的に一番の押しポイントがこれです。フォトグラメトリをするだけであればどのiPhoneでも、LiDARスキャンをしたい場合はiPhone12Proシリーズか13Proが必要になりますが、iPhoneだけでスキャンが完結します。滅茶苦茶お手軽です！
し・か・も！スキャンアプリの殆どは無料～3000円程度で購入可能(高くても7000円くらい)なのでコスパも最強クラスです！

画像4

②簡単に3Dスキャンが可能(当社比較)
今までの3Dスキャンはノウハウを構築するのが大変と上記で書きましたが、iPhone3Dスキャンはそこら辺が結構簡単に出来ちゃいます！
後ほど紹介するアプリにはフォトグラメトリの撮影を補助する機能が搭載されており、初心者が躓きやすいような写真の重なりなどをアプリ側で補助してくれます。またLiDARスキャンの場合は動画を撮影する感じでiPhoneを動かすだけで3Dスキャンが可能だったりします！
...ただ簡単にスキャン出来るとは書きましたが、品質の良いスキャンをするためのコツやノウハウの構築はあるので注意してくださいね。

③何時でも何処でも3Dスキャンが可能！
これはまぁ考えてみれば普通のことなんですがiPhoneってどんな場所に行く場合であっても持ち歩きますよね？
つまり日常から3Dスキャナーを持ち歩ているのと同じなので写真感覚で3Dスキャンが可能になります！

とこのような感じでiPhoneはあれば誰でも簡単に3Dスキャンをすることが出来る時代になったのかなと思います。

便利だけど万能じゃないぞiPhone3Dスキャン

iPhone3Dスキャンは凄い便利ですし、誰でも簡単に3Dスキャンすることが出来る神のデバイスな訳ですがやはり欠点が存在しています。

①LiDARスキャンのレンジが5m程度
iPhoneという小型の端末でLiDARスキャンをする都合上仕方ない部分ではありますが、5m以上離れた物体のスキャンが出来ないので広い範囲や高い場所のスキャンが出来ません。

②スキャン品質はそれなり
これもiPhoneという端末(クラウドの場合もあるけど)で処理を完結させる都合上、PCや専用のLiDARスキャナーで作成したスキャンモデルには2～3歩劣ってしまいます...

③広域のスキャンが苦手
LiDARスキャンのレンジが5mの部分と被っている面もありますが、フォトグラメトリ、LiDARスキャンのどちらでもiPhoneのカメラ機能を使います。そのため近くはまだマシですが、遠ければ遠いほど画像は不鮮明になります。そのため広い範囲のスキャンをする場合、エリア全体を歩く必要がありますが高低差がある場合などは難しかったりします。

スキャンアプリは何を使えば良いの？

0912更新 iPhone_iPad LiDARまとめ.xlsx - 0912更新

現在iPhone3Dスキャンアプリは群雄割拠の戦国時代と化しておりその数は主要なアプリだけで11種、アプデが終了していたり最近でたばかりのアプリを入れると20種以上確認しています。
なのでアプリを1つずつ確認していくにもかなり時間がかかってしまうので今回は初心者でも使いやすいスキャンアプリを2つ紹介していこうと思います。

画像6


Trnioでどこでもフォトグラメトリ！

画像7

価格:610円(買切り)
アプリのヘルプ:公式チュートリアル:https://www.trnio.com/tutorial
日本語マニュアル:https://note.com/iwamah1/n/nd6fb91ea7738
対応デバイス:iOS11.3以上のiPhone/iPadに対応(推奨:iPhone6S以上)
出力形式:メッシュ:OBJ
Sketchfabへのアップロード:〇
アプリのリンク:https://apps.apple.com/us/app/trnio/id683053382
公式サイト:https://www.trnio.com/
公式Twitterアカウント:@TRNIO

TrnioはiPhoneやiPadで撮影した写真をクラウドにアップロードし、それを元に３Dモデルを作成してくれるフォトグラメトリアプリです。
３Dスキャナーアプリは色々とありますが、全て最新機種の上位版に搭載されているLiDARセンサーが必要だったりとハードルが高めですが、Trnioはネットに繋がって写真が撮れるiPhoneならどの機種でもOKです(ARkitモードを使用する場合はiPhone6S以上が必要)

画像8
画像9
画像10

Trnioを使えば小さな置物から人と同じサイズのある石像、使い方次第ではロッキー山脈(⁉)までスキャン出来ちゃいます！
LiDARスキャンで対応できない小物などはTrnioを使ってスキャンすることをおススメします。

Trnioには3種類のスキャンモードが存在しており、

①対象にiPhoneを向けながら周囲を歩くことで3Dスキャンが可能なOBJECTモード

画像11

②動画を撮影する感じで3Dスキャン可能なARKITモード(オススメ)

画像12

③カメラアプリで撮影した写真をTrnioにインポートすることで3Dモデルを作成する外部写真インポートモード

画像13

フォトグラメトリ初心者の場合②番目のARKITモードを使用し、慣れきたら③番の外部写真インポートモードを使用するのが良いと思います。①番のOBJECTモードは失敗確率が高いのであまり使用のオススメはできません...
また完成した3Dモデルのテクスチャ品質は③>①>②の順に良くなる傾向があるので、テクスチャ品質を求める場合は③の外部写真インポートモードを使用しましょう！

上記ツイートではTrnio ARKITモードでスキャン～Blenderで微修正～DOOR NTTにモデルを表示までの流れを解説しているので参考にして貰えればと思います！

Scaniverseで世界をスキャンしよう！

画像14

スキャンタイプ:メッシュスキャン
価格:無料
アプリのヘルプ:公式チュートリアル:https://scaniverse.com/support/
日本語マニュアル:https://note.com/iwamah1/n/nc8a5427157ef
対応デバイス:iPhone12Pro/13Proシリーズ、iPad Pro(2020/2021)
出力形式:メッシュ USDZ,FBX,OBJ,GLTF,STL/点群 PLY,LAS
Sketchfabへのアップロード:〇
アプリのリンク:https://apps.apple.com/jp/app/scaniverse-lidar-3d-scanner/id1541433223
公式サイト:https://scaniverse.com/
公式Twitterアカウント:@Scaniverse

Scaniverseは元々有料アプリでしたが、ナイアンテックに買収されたことから無料アプリとなった経緯があります。そのため有料機能が無料で使えてしまう最高に最強のLiDARスキャンアプリとなっています。


このような感じで雑にスキャンしても簡単にスキャン出来たり、UI周りの設定がシンプルとなっているためLiDARスキャン初心者でも使いやすいアプリだと思います。


このような感じでアプリ上でテクスチャを白黒に変更したりコントラストを変更することが可能な為、他の人とは一風変わったスキャンモデルを作成することが出来ます。

画像16

またScaniverseは自動でメッシュ数を削減してくれる機能が存在しており、画像の様にデータ容量で半分以下、スキャン後の処理時間も3分の2程度まで短縮されています。他のアプリにもメッシュ数を削減する機能はありますが、手動設定が必要だったりとワンステップ必要な為、Scaniverseより難易度は高くなっています。

画像17
画像18
画像19

iPhoneとiPadどっちを選べばいいの？

よくiPhoneとiPadどちらを使えば良いのか？という質問が来ます。
なのでiPhoneとiPadのメリットを書いてみました。

iPhoneを使うメリット
・常に携帯できる
・取り回しが良い
・自撮り棒やジンバルなどのアタッチメントが使用可能

iPad Proを使うメリット
・処理性能や排熱等の性能がiPhoneより上
・大画面なので見る、見せるという使い方がしやすい

結論
皆違って皆良い！...というのは冗談ですが3Dスキャン以外のiPhone、iPadの活用方法は人それぞれだと思うので、自分が欲しいと思ったデバイスのPro版を購入するのが一番良いのかなと思います。

画像20

参考程度の資料ですが、Apple LiDARスキャンユーザーの7割はiPhoneを使用しているとの結果がありました。

不要なデータを削除しよう

3Dスキャン沼にハマるとどんどん3Dスキャンモデルの量が増えてきて、気がついたらストレージがパンパンになっていたという人も多いと思います。(自分もその一人ですw)そんな人の為にデータ容量を削減する方法を説明していきたいと思います。
まず3Dスキャンをした場合のデータ構成は2種に分かれます。データの構築に使うRAWデータとデータ構築が完了した後の3Dモデルデータです。

基本的にiPhoneで3Dスキャンした場合の最終3DモデルデータはLiDARスキャンで平均15MB、最大50MB程度(最高品質で処理した場合)、フォトグラメトリだと平均nnMB、最大nnMB(最高品質処理)となります。RAWデータは結構重くてLiDARスキャンだと50～300MB、フォトグラメトリモードだと50~400MB程度となります。
これだけ見るとRAWデータ+モデルデータで1つあたり200MBのデータ容量があるように見えますがご安心ください。RAWデータを使用するのは3Dモデルを構築する段階のみなので、モデル構築に問題がない場合はRAWデータのみを削除することが可能です。そのためこまめにRAWデータを削除していくと内部には3Dモデルデータのみが残ります。なので削除前は200MBあったデータ容量も15MB程度まで減ります。
なのでストレージ自体は2GB程度を3Dスキャン用に確保しておくと良いのかなと思います(3Dモデルデータ自体もこまめにPCやクラウドストレージにエクスポートするならもっと少なくていいですが)
また自動でメッシュ数を品質に影響が出ない範囲で間引いてくれるScaniverseや他アプリよりモデルが軽量化されている(気がする)Metascanを使うのもいいと思います。

iPhone3Dスキャンに向いている物向いていない物

３Dスキャンの特性上スキャンに向いている物と向いていない物が結構はっきり分かれます。とりあえずまとめてみました。

iPhone3Dスキャン全般に向いている物
・岩や石像ざらざらとした質感のもの
・痛車や壁画などの模様がはっきりしているもの
・形状があまり複雑でないもの
・汚れが多いもの

iPhone3Dスキャン全般に向いていない物

  1. 透明・半透明なオブジェクト
    フォトグラメトリは写真に売っているものが全てです。そしてLiDARスキャンもレーザー光線の反射を利用して3Dスキャンするので写真に写らない透明なガラスや半透明なプラスチックを復元することはできません

  2. 表面に光沢が存在していたり反射率が高いもの
    磨かれた金属、滑らかな陶器、鏡、水面などが該当します。これらの物体を複数の角度から撮影した場合、表面に映る景色や模様が違ってみえます。そうすると違う物体と認識されてしまい正常に処理できなくなります

  3. 細かったり薄かったりするもの
    電線や糸、葉っぱや紙などは正常に処理できない場合が多いです。一応アップにして複数の角度から撮影すると上手くいく可能性もありますが、あまりおすすめは出来ません

  4. 表面色が単色や特定のパターンが連続するオブジェクト
    まず複数の写真でパズルすると想像してください。色々な模様が入っているものは並べやすいですが、牛乳パズルのように無地のものを並べるのはほぼ不可能ですよね？フォトグラメトリも同じで模様などに変化が無いと正常な処理が出来ません
    LiDARスキャンの場合はiPhoneの自己位置推定に色の変化を利用しているため自己位置の認識がおかしくなり正常にスキャンできない場合があります。

  5. 形状が特に複雑なもの
    特に境界線があるという訳ではありませんが、形状が複雑なプラモデルなどは失敗しやすいです。写真の枚数を増やすことで綺麗にスキャンすることもできますが、iPhoneフォトグラメトリには最大200枚という撮影枚数上限があることに留意してください
    LiDARスキャンの場合もiPhoneのLiDARセンサーの限界から複雑なものをスキャンすると潰れてしまったり合体してしまうことが多いです。

  6. 動いている動物や子供、走行中の乗り物などの動的物体
    3Dスキャンは基本的に位置やポーズが固定されていることが必須条件になるので、これらをスキャンするのは不可能です

iPhoneフォトグラメトリに向いていない物
・陶器製やプラスチック製の物体など表面がつるつるしているもの
・影になっている部分(環境によるので一概には言えないですが...)
・白飛びしやすいもの

iPhoneLiDARスキャンに向いていない物
・サイズが小さい物(30㎝×30㎝以下のものは失敗することが多い)
・自分より背が高い物(高い建物などは難しい)
・起伏の激しい地形

ここに書いてある内容はあくまで「iPhone」で3Dスキャンをした場合の内容の為、実際のフォトグラメトリやLiDARスキャンとは違っている可能性があります。ご了承ください。

3Dスキャン時の安全対策ヨシ！ご安全に！

3Dスキャンは一度ハマると抜け出せない魅力があります。...ただ怪我をしてしまうと3Dスキャンは出来ません！なので楽しい3Dスキャン生活を送るためにも気を付けて頂きたい事が3つあります！

①スキャン前に周囲の確認をしよう！
ここで確認したいのは周囲に障害物が存在していないか？段差が存在していないか？人は存在していないか？という部分です。事前確認をしっかりとして危険個所を認識しておくと事故率がグッと下がります！

②スキャン中は画面を注視しない！
歩きスマホって危険ですよね？つまりそういうことです。
スキャン時は画面ではなく外をしっかりと確認し、画面を見たい場合は立ち止まって確認しましょう！

③他の人に迷惑がかかる恐れがある場合はスキャンしない！
これはスキャン対象の周辺に人が大勢いたり、スキャン対象が他の人の敷地だったりという部分です。
(ここだけの話、スキャン中の動きは割と不審者ムーブだったりするので子供が多い場所などでスキャンするのは少し注意が必要だったりします)

スキャンをする時の心得

誰でも簡単にできると一番最初に書いておいてなんですが、やはりスキャンをする時に気を付けたい部分やコツというのが存在します。ここでは基本的な部分を書いていこうと思います。

  1. スキャン対象とスキャン対象の周囲を確認し、障害物の有無やスキャンルートを選定しましょう。下見無しに３Dスキャンをしてもほぼ100％良いモデルは出来ません。どのように対象を撮るか、どのようなルートで移動するかは絶対にシミュレーションしておきましょう

  2. 同じ箇所を2回以上スキャンしないようにすること。iPhone LiDARはスキャンする毎に誤差が蓄積していきます。そのため同じ箇所をスキャンしていても1回目と2回目で少し位置がずれてしまいます。そうすると出来上がったモデルに同じ場所のメッシュが2重生成(ゴースト)されてしまいます

  3. スキャン中の移動はゆっくりとスムーズに行う。急な方向転換は絶対にNG。自分の経験上、歩きながらのスキャンは精度やテクスチャに悪影響を及ぼすことが多いです。すり足でゆっくりと移動しましょう

  4. 蛍光灯や太陽等の非常に明るい物体にiPhoneを向けすぎるとiPhoneの自己位置推定機能にエラーが発生する場合があります。この自己位置推定機能はモデルの構築に大きな影響を与えるため出来る限り映さない、映すのは最低限を意識しましょう

  5. 手ブレはLiDARスキャン、フォトグラメトリの双方に悪影響を及ぼします。出来る限り脇を固めてiPhoneがブレないようにしましょう。フォトグラメトリの場合、ブレた写真は削除可能なので出来る限り削除しましょう

  6. 鏡や鏡面仕上げされた金属などがスキャン範囲にある場合は出来る限り布で覆ったりしましょう。直接鏡をスキャンしてしまうと文字通りのミラーワールドが作成されてしまいます

  7. 屋外でスキャンする場合は出来る限り曇りの日を狙いましょう。薄暗い時間帯や晴天の日は上手くスキャンできないことが多いです。特に晴れの日は影が映りこんでしまいます。どうしても晴れの日にスキャンする場合は正午等の太陽が真上に来る時間を狙いましょう

  8. 連続でスキャンする場合はデバイスの温度に注意しましょう。デバイスの温度が上がりすぎるとデバイスのパフォーマンスが大幅に低下するためスキャンに悪影響を及ぼします。特に直射日光下でのスキャンした場合は一瞬でオーバーヒートしてしまうので、対策としてスマホカバーを外したり日傘などで直射日光を遮るようにしましょう。

スキャンしたデータを友達と共有しよう！

スキャンしたデータを友達と共有する方法は幾つかあります。

①3Dモデルを動画にして、SNS等で共有
共有方法で一番簡単な方法がこの動画を共有する方法です。 動画自体はアプリ機能(Metascan,Polycam,Scaniverse,WiDAR SCANが対応)を使うことで誰でも簡単に動画化できます。ただ自分の好みのアングルや動きがない場合は3Dモデル画面を動かしている姿をiPhone標準機能にあるキャプチャを使うことで対応することも可能です。 (個人的に一番人に見てもらえる共有方法ですね。やはりまだまだ3Dモデルを自分で動かすのは難しいのかも...?)

②アプリのクラウド共有機能を使用する
2番目に簡単な共有方法がこのクラウド共有機能を活用する方法です。 対応アプリはMetascan、Polycam、WiDAR SCANとなっています。ただこのクラウド機能はWiDAR SCANのみが無料で使用することができ、それ以外の2種は課金が必須となるため注意が必要です。

(Metascanのリンク) クラウド共有機能の共通事項としては、各アプリのクラウドサーバーに3Dモデルをアップロードし、それをブラウザで閲覧する共有リンクが発行されるため、それをSNS等で共有します。 Metascanのみですが、Oculus Quest2のブラウザで共有リンクを開くことで簡単にVR表示が可能になります。

③Sketchfabにアップロードする
Sketchfabは世界最大級の3Dモデルプラットフォームです。 ほぼ全てのアプリがSketchfabへのアップロードをアプリ上で行えます。
ただしアップロードにはSketchfabのアカウントとデータサイズ制限(3Dスキャンモデルの場合ほぼ影響なし)、データが誰でもダウンロードできる状態となってしまうので注意してください

④STYLYにアップロードする
STYLYは日本の会社が運営するVR/AR/MRクリエイティブプラットフォームです。STYLYは直接スマホからモデルをアップロードすることは出来ませんが、チュートリアル記事が豊富で、誰でも簡単に綺麗な3Dモデル空間を作成可能になります。
他に比べて自分の世界の一部にスキャンモデルを活用する等色々な活用方法があります。

世界一分かりやすいSTYLYの使い方はこちら↓から
各アプリの使い方からSTYLYまでのアップロード方法が丁寧に解説されています。

⑤DOOR NTTにアップロードする
DOOR NTTの特徴としてはVR空間で直接3Dモデルをアップロードすることが可能という点です。 そのためDOOR NTT内で打ち合わせをしながら3DスキャンしたモデルをVRで見るという他では出来ない活用ができたりします。 自分も3Dスキャン講座を実際にDOOR NTTで開きましたが、その時はスキャンしたモデルをDOOR NTT内に直接召喚して説明しました。

DOOR×3Dスキャンの活用方法が詳しく解説された神サイトはこちら↓から


おわり

ということで皆さんもiPhoneで3Dスキャン生活を始めましょう！

この記事が気に入ったらサポートをしてみませんか？