Lens Studioの様々なテンプレートをまとめてみた
こんにちは、Graffityの堀です。
Graffityでは「最短3か月で“心を動かす“ARエンタメ」をコンセプトに、AR技術に特化したエンタメの企画・開発と、DX化を支援するスタジオ「Graffity AR Studio」を運営しております。
そんなGraffityでは最先端のAR技術を活用しプロトタイプを開発しており、
今回は、Snap.Incが提供している「Lens Studio」について書きたいと思います。
Lens Studioとは？
SnapChatのアプリ上で動かす事が出来るレンズ（ARフィルター）を作成するためのツールです。
現時点で、122ものテンプレートが公式から提供されているため、初心者でも容易にコンテンツを作成する事が出来ます。
開発環境
開発した際のLens StudioとSnap Chatのバージョンは以下の通りです。
Lens Studio 4.22.0
Snap Chat
IOS 11.82.0.30
Android 11.82.0.32
LensStudioで作成できるコンテンツ
数あるテンプレートの中から、いくつかリサーチしたので、簡単に紹介します。
Body Tracking
Face Tracking
Hand Tracking
VPS
複数人でのAR空間共有
平面検知
機能の概要と精度
Body Tracking
概要
上半身のトラッキングを行い、その動きに合わせて3Dモデルを動かしたり、体に沿ったARフィルターを適用する事が出来ます。
テンプレートの詳細
3DBody - トラッキングに合わせて、3Dモデルを動かせます。
画面内に腕が含まれる状態で映っていると、トラッキングがされます。
体全体が収まる距離は、カメラから2~3ｍ程度です。
Body Mesh - トラッキングされた体に対して、ARのフィルターを適用する
体が縦半分程度映っていると、フィルターが適用されます。
はやい動きをした場合。公式の動画ような追従はできず、多少遅れます。
FaceTracking
概要
顔のトラッキングを行い、3Dモデルが同じ動きをする事が出来るARフィルターを適用する事が出来ます。
テンプレートの詳細
Face Expression - 目や口、顔の向きの動きに合わせて、3Dモデルが動きます。
マスクをしていても検知はするが、両目を隠すと検知が出来なくなります。
真横を向くなどで目が見えなくなると検知が出来なくなります。
Face Morph - 実際の顔の位置に対して、3Dモデルと実際の顔とが、スムーズに変化する動きのフィルターです。
社内検証時には、一度検知すると4m程度（メジャーにて測定）まで、フィルターはかかっている状態を維持していました。
社内検証時には、検知がはずれた際に、2m以内（メジャーにて測定）まで近づくと、再び検知が行われる結果になりました。
HandTracking
概要
手のトラッキングを行い、特定のジェスチャーを検知したり、特定のポーズを検知する事が出来ます。
テンプレートの詳細
3D Hand Interactions - 手の指までトラッキングを行い、それのBoneを表示するものです。
近距離でのトラッキングは精度は高いです。
社内で検証した結果、トラッキングの検知の最大距離が1.8ｍ以内（メジャーにて測定）までの認識が可能なようでした
HandGesture - 5つの定義されているジェスチャを取得する事が可能です。
手の甲からカメラで認識する場合は、遅延が発生します。
VPS
概要
特定の場所に対して、オクルージョン込みでのオブジェクトの配置を行う事が出来ます。
公式の動画
テンプレートの詳細
CustomLandMarker
精度自体は非常によく、配置したオブジェクトのズレはほとんど発生しない。
複数人でのAR空間共有
概要
複数人で、AR空間を共有する事が出来ます。空間内にオブジェクトを配置したものが他の人からも見る事が出来ます。
確認できるテンプレート
Connected - 複数で、同じ空間にオブジェクトを配置したり共有できます
ホストをメインとして通信を行う作りになっているためか、ホストが移動すると、認識によっては、配置したオブジェクトの位置がずれたりする場合があります。
親側の画面
子側の画面
平面検知
概要
現実の世界の平面を検知して、そこに対して何かを行うためのものです。
テンプレートの詳細
Ground Segmentation - 平面を検知して、その場所にメッシュを生成します。
机の淵などの境界線がきっちりと取得する事ができるわけではない。
オリジナルLens機能の作成
今回、これらの調査知見を踏まえてSnapChat上デモとして、Snapchat上で動作するARフィルター機能を作成してみました。
制作過程などは以下の記事にて記載しておりますので、よろしければこららの記事も見てください。
【Snap】 Graffity ARエンタメ ハッカソン vol.2 - AR上で「ヒーロー」になれる機能をつくってみた【Lens Studio】
【Snap】 Lens Studio のチーム開発での躓きポイント【Lens Studio】
最後に
Graffityでは、このようなARの技術を活かし「最短3か月で“心を動かす”ARエンタメ」をコンセプトに、AR技術に特化したエンタメの企画・開発と、DX化を支援するスタジオ「Graffity AR Studio」を運営しております。
これまで累計23万ダウンロードを突破したARシューティングバトル「ペチャバト」や、グローバルに展開しているARシューティングバトル「Leap Trigger」など、ARゲームを開発・運営しており、これらの知見を活かし、スピード感を持ってARを活用した“心動かす”エンタメの企画から運用までを、ワンストップでサポートいたします。
スピード感を持って仮説検証を通してAR体験をブラッシュアップしたい企業様はぜひ「Graffity AR Studio」へお問い合わせください。
また、VPSを活用したARエンタメのユースケースを一緒に作りたい仲間も募集しています！