【Snap】 Graffity ARエンタメ ハッカソン vol.2 - AR上で「ヒーロー」になれる機能をつくってみた【Lens Studio】
TL;DR
今回週末の2日間を利用して社内ハッカソンを開催しました。
私たちのチームでは、今回初めてSnapのLens Studioを利用してSnap Chat上で使用できるARフィルターを作成しました。
以下の動画は実際に端末で動かしたデモです。
シールドを外から見るとこんな感じです。
Lens Studioとは？
アーティストや開発者がSnapchat上でAR体験を提供するために設計された
統合開発環境（IDE）です。いわゆるUnityやUnrealEngine みたいなアプリのSnapchat版です。
カスタムシェーダーやトラッキング技術など、多数の組み込み機能により
構成されています。各機能のデモのテンプレートも充実しています。
どんな機能？
LensStudio では下記のようなさまざまな機能が最初から利用可能です。
・ハンドジェスチャー
・ハンドボーントラッキング
・Custom Landmarker
・etc.
ハンドジェスチャー とは？
画像認識による手の形を判定する機能です。
Lens Studio上でのハンドジェスチャーの特徴
・5種類の手の形が認識可能
・手の表裏は関係なく認識可能
・裏側の認識にラグあり
ハンドボーントラッキングとは？
手の動きを骨格でトラッキングすることで、より細かい手の動きを認識できる機能です。社内でトラッキングの精度を計測する上で、端末からの距離でどれくらいまでが検知可能か調べたところ、端末から1.8m離れた地点がトラッキング距離の限界で、2.0m以上離れるとトラッキングが外れてしまいました。
Custom Landmarker とは？
いわゆるVPS(Visual Positioning System ) と呼ばれている機能の一つで、任意の場所をマーカとして設定、メッシュ情報を利用して、任意の場所にARオブジェクトを表示させたりすることができます。
以下2つの公式ドキュメントを読めば、約2h程度でメッシュの作成〜アプリ上でメッシュのロード+メッシュ上にARObjectの表示まで行うことができます。
公式のCustom Landmarker Creator
Custom Landmarker Template
インスタで公開されているデモ
その他の機能
上記以外にも様々な体験を実現できる機能がありました。
・カメラの動きに合わせてオブジェクトを生成
・オブジェクトに沿ってエフェクトを表示
・カメラの動きに合わせてアニメーションを再生
・オブジェクトにコンテンツを載せる
プロダクトの制作過程
テーマを決めるにあたって
上記で紹介した機能について、instagramでデモの調査をしました。
ビジュアル面からの調査は、メンバーにLens studioで作る体験を絵として共有できたので、方向性が決まるまでが早かったです。
チームで検討した結果、やはりユーザーのインタラクションがトリガーになると体験型のエンタメとして面白そうだという話になりました。
また、ただモノやエフェクトを配置するのではなく、身体性のある体験にすることでLens StudioのARらしい機能も活かせそうでした。
最終的に、メンバーの1人がハマっていたアメコミにインスピレーションを受けて、「ヒーローの超能力を追体験するAR」を作ることになりました。
プロダクトの仕様
【体験内容】
ハンドジェスチャーでドーム型のシールドを張る
【体験フロー】
フローはこのような流れで考えました
開発中のトラブルなど
チーム開発Tips としてこちらにまとめてあるので技術系の記事で興味がある方はぜひごらんください。
最後に
Lens Studioは公式ドキュメントとテンプレートが充実していて、コードを書かなくてもハンドジェスチャーなどの機能を試すことができました。
今回のハッカソンを通じて超能力×ARの案は相性の良さに気づけたので、またLens Studioで挑戦できたらと思います。
・・・
Graffityでは、このようなARの技術を活かし「最短3か月で“心を動かす”ARエンタメ」をコンセプトに、AR技術に特化したエンタメの企画・開発と、DX化を支援するスタジオ「Graffity AR Studio」を運営しております。
これまで累計23万ダウンロードを突破したARシューティングバトル「ペチャバト」や、グローバルに展開しているARシューティングバトル「Leap Trigger」など、ARゲームを開発・運営しており、これらの知見を活かし、スピード感を持ってARを活用した“心動かす”エンタメの企画から運用までを、ワンストップでサポートいたします。
スピード感を持って仮説検証を通してAR体験をブラッシュアップしたい企業様はぜひ「Graffity AR Studio」へお問い合わせください。
また、ARエンタメのユースケースを一緒に作りたい仲間も募集しています！