【Meta Quest Pro】カラーパススルー・ハンドトラッキングを活用したARゲームを作ったみた
GraffityのUnityエンジニア、高橋現秀です。
会社から「Meta Quest Pro貸すからARアプリ作って！」とのことで、本記事はその試行錯誤と開発の記録になります！
Meta Quest Proの3つの特徴
作る前に「このデバイスは何ができるの？」から見ましょう。
いくつかある中で、今回注目した機能は以下の3つです。
1.フルカラーのビデオパススルーによるAR
装着型ARデバイスにおける現実世界と仮想世界の合成方法には大きく2種類あります。1つは光学シースルー型、もう一つはビデオパススルー型です。
光学シースルー型デバイスの例として、弊社の開発実績(Groove Wave)のあるNreal LightやThink Reality A3(ハッカソン記事)が挙げられます。
光学シースルーは透過型のディスプレイに映像出力することで合成する手法です。
メリットは「透過」ですから、サングラスをかけているのと同じように、現実の情報を損ねることなく「ありのまま」を見ることができます。また近年の光学シースルーは技術向上により、解像度や発色もよくオクルージョン（現実の物体を仮想の物体が覆うこと）も違和感なく行えます！
一方デメリットとして、視野角の狭さが挙げられます。
ディスプレイの視野角には3種類あり、どの2点間から見るかで変わります。
具体的な数値はデバイスによるのですが、対角視野角はおおよそ30~50°ほどです。特にメガネ型であるため、上下の覆う範囲が狭く、垂直視野角が体感20°に満たない視野角となってしまっています。
次にビデオパススルー型です！Meta Quest Proもこちらに該当します。
こちらは光学シースルーと異なり、ディスプレイで視界を覆うデバイスです。ただしディスプレイ外側にカメラがついており、このカメラ画像を内側のディスプレイに映し出すことによりARを実現します。
メリットは圧倒的な視野角です！！
ほぼ人間の視野角いっぱいに現実・仮想オブジェクトを配置することができ、その没入感は凄まじいです！
デメリットとしてはカメラ画像を合成するためしばしば現実世界の方が歪んで見えることがあります。
2.ハンドトラッキングによる操作
Meta Quest Pro外側ついているカメラは単に撮影するだけではなく手先の動きも認識してくれます！
手先の位置・関節の認識だけではなく、
親指と人差し指をくっつける、手を握る、手のひらを左右に振るなどといったジェスチャに応じて処理を実行するといったことも可能で、かなり柔軟性のある表現ができます。
3.空間アンカーによる実世界上への仮想オブジェクトの配置
近年、自動で空間認識する技術も登場してきていますがまだまだ発展途上です。
Meta Quest Proでは「アンカー」と呼ばれる特徴点を実空間に配置し、空間認識を行うことができます。
流れはコントローラーでここが床、壁、天井、机と指定します。
手作業であるためやや面倒ですが、かなり正確なため、違和感なくARを実現することが可能になります！
特徴を踏まえたゲーム開発
端末の特徴がわかったところで、本題である
「どのようなARゲームを作るか？」
を考えます。
今までのARゲームは
スマホの画面を擦るとか、リモコンを単に振るとか、
どうしても端末のセンサーの問題で「大味な体感ゲーム」が多くを占めていました。
一方でQuest Proは高い没入感と正確なセンサーがあるため、より高度なインタラクションができるARゲームが次世代では求められると考えました。
例えば、
部屋に現れる敵を忍術の印を結んで倒す
同じ部屋の中にいる人とバレーを拡張したような対戦ゲーム
が挙げられますし、このデバイスにはこれを実現できる十分なポテンシャルがあります。
が時間的な問題もあり、今回は次のようなカジュアルゲームを作ることにしました。
手で穴を操作しモノを落とす、AR版Hole.io
Hole.ioはハイパーカジュアルゲームで有名なVoodooが手がけるゲームで、穴を操作し街中にある様々なモノを落としていくゲームです。
Hole.ioは「気持ちよさ」が考えられた良いゲームであるとともに、舞台が街中という点から、ARとの相性も良いと考え、これをQuest Proで実現してみました。以下が作成したゲーム画面です。
元のゲームの場合、タッチや方向キーで操作しますが、
今回は手の位置に合わせて穴を移動させるようにしました。
これにより、本当に穴を操っているような直感的な操作を感じることができます。
さらに手の開き具合によって穴の大きさを変えるというゲームロジックを新たに追加しました。こういった奥行きの出し方もARならではですよね。
おわりに
今回、Meta Quest Proのカラーパススルー・ハンドトラッキングを用いたARゲームを作成しました。
カジュアルゲームなのでその魅力は引き出しきれていないのですが、それでも高い没入感と直感的なインタラクションによるポテンシャルを感じることはできました。
技術はほとんど実用可能な水準なので、これを100％生かすARゲームを開発できることが、市場の覇権を取るカギになるでしょう。
今後もGraffityはミッションである「ARで、リアルを遊べ」を軸に、ARならではのエンタメ体験を追求し続けていきます！
Graffityでは、このような仮説検証力と仮説検証スピードを活かし「最短3か月で“心を動かす”ARエンタメ」をコンセプトに、AR技術に特化したエンタメの企画・開発と、DX化を支援するスタジオ「Graffity AR Studio」を運営しております。
これまで累計23万ダウンロードを突破したARシューティングバトル「ペチャバト」や、グローバルに展開しているARシューティングバトル「Leap Trigger」など、ARゲームを開発・運営しており、これらの知見を活かし、スピード感を持ってARを活用した“心動かす”エンタメの企画から運用までを、ワンストップでサポートいたします。
スピード感を持って仮説検証を通してAR体験をブラッシュアップしたい企業様はぜひ「Graffity AR Studio」へお問い合わせください。
また、Graffityで一緒にAR体験を作りたい仲間も募集しています！
この記事が気に入ったらサポートをしてみませんか？