見出し画像

NeRFで生成したデータをReality ComposerでARで表示してみた。

Tkrite inc.

Luma AIのNeRFで生成された3Dデータの中で自分で作成したデータはダウンロード可能です。（共有されたモデルをブラウザで見ることは他の人が作ったデータも可能です）ダウンロード可能な形式は現時点では以下の4つになります。

  • OBJ

  • GLTF

  • USDZ

  • PLY

なんとその中にはUSDZというiPadやiPhoneでそのままAR目的で使用できるデータ形式があるではないですか。
ということで今回は生成されたUSDZファイルを用いてReality ComposerというiOSでAR表示を行うアプリを用いた表示テストをやってみたいと思います。

Reality Composerに3Dデータをアップロードするまでの作業手順

Reality Composerへのアップロード手順は以下の方法を取りました。

  1. Luma AIからUSDZ形式でダウンロード

  2. Google Driveにデータをアップロード

  3. iPadでGoogle Driveを開きiPad内にデータを保存

  4. Reality Composerでデータを使用

Mac＆iPhone、iPadという組み合わせであればAirDropやiCloud Driveで3Dデータを共有することも可能ですが、複数名で同じデータを使いたい場合や異なるApple IDのユーザーにデータを共有したい、Windowsユーザーとも共有したいといった状況では使いづらいため、データ共有はGoogleDriveで行いました。

冒頭でお伝えした通り、現時点ではLuma AIは表示結果を他者に共有できてもデータを他者に直接ダウンロードさせることはできない仕様です。そのためダウンロードアイコンが出てくるのはあくまで自分で生成したデータのみになります。もしも試してみたい場合にはまず動画か画像で3Dデータを生成するところから始めましょう。

1.Luma AIからUSDZ形式でダウンロード

解像度は「low poly」「medium poly」「high poly」の3段階から選択できます。
highだとデータは重くなり、AR表示でも持っているiPhoneやiPadの性能によって使いづらくなります。使用している機器に合わせて最適なファイルサイズを選択するのが良いと思います。ダウンロードの流れは以下になります。

USDZののダウンロード

USDZ形式であればAR用として直接読み込めますが、blenderなどでデータを修正する場合にはGLTFやOBJを選択しましょう。

2.Google Driveにデータをアップロード

基本的には自分のGoogle Driveにデータをアップロードするだけです。Mac環境で作成していればiCloudドライブやAirDropを使ってデータを共有することも可能なので、使いやすい方を選択するのが良いと思います。

3.iPadでGoogle Driveを開きiPad内にデータを保存

もし、まだiPadやiPhone用のGoogle Driveがインストールしてなければまずはインストールするところからスタートしましょう。
同様にReality Composerがインストールされていなければインストールしておきましょう。どちらも無料で利用可能です。
その後、先ほどアップロードしたファイルをiPad内にダウンロードします。

今回、iPadを使用しましたので今後はiPadをベースに話を進めますが、基本的にiPhoneも同じ内容になります。

4.Reality Composerでデータを使用

ここからが本題になります。まずはReality Composerで新規プロジェクトを作りましょう。ダウンロードしたコンテンツを直接使うのではなく、プロジェクト内での利用が原則のようです。

プロジェクトを作成すると制作画面中に自動的にキューブが作成されます。今回はNeRFで作成したデータを利用するので、このキューブは削除します。

次はコンテンツライブラリーからGoogle Driveにアップロードしたデータを読み込みましょう。

コンテンツライブラリからファイル選択

ボタンが複数あって何を押せば新規の3Dデータが読み込めるか分かりづらいですが、コンテンツライブラリーは画面右上にあるプラスのボタンになります。

自分で登録したデータ以外にもReality Composerには大量のデータがありますのでそれらを組み合わせてもARデータが作成できます。
僕自身まだReality Composerは不慣れですが、こういったライブラリ内のデータも活用していきたいですね。

ARデータをアプリ内で配置します。配置箇所は左のナビゲーションにあるアンカータイプから選択します。今回は水平面を選択しましたので、ARボタンを押せば自分の部屋やデスクの上にARデータを配置できます。

ARデータを部屋に配置

一連の方法でNeRFで作成した3DデータをARにできました。
今回はただ3DデータをARで部屋の床に置いてみただけの内容になってしまいましたが、次回はReality Composerを使ってこの3Dデータに動きをつけてみたいと思います。

この記事が気に入ったらサポートをしてみませんか？