Graffity ARエンタメ ハッカソン vol.2 - ARマーカーを活用したキャラとのインタラクション企画
みなさんこんにちは、Graffityのサーバーサイドエンジニアの松本です。
この度、社内でハッカソンを実施しよう、となりました。
その名も、Graffity Hack Challenge！
社内メンバーが開発、そして執筆してくれた内容を順番に発表していきます。
チーム2つ目は、Denari, HoriチームによるARマーカーを活用したキャラとのインタラクション企画です！
・・・
テーマとその深掘り
設定したテーマとしては、キャラと一緒に何かしようといったテーマです。
・食事を一緒にとれたりすると、コラボカフェとかで同じ席でごはん食べれたりするよね
・そのキャラクターに対して、何かしらのインタラクションが取れるとなおよいよね
好きなキャラクターのマスコットと一緒にいれて楽しい、かわいいといった感情をユーザーに対して起こせたらな、といった考えの元で作っていきました。
アイディアの解説
キャラクターと一緒に体験を行っている感じってどんなの？と考えた結果出たアイデアが以下のものです。
このどちらのアイデアも、キャラクターに対して何かを行い、キャラクターから反応が返ってくるというのを主軸としたアイデアです。
この何かをする部分の開始方法として、この時点ではハンドトラッキングという方法を通してハンドサインをする事で、それを受け取ったキャラクターから反応が返ってくるといったものを作る予定でした。
開発したプロトタイプ
最終的に完成したものとしては以下です。
ハンドトラッキングのAndroidでの実装は手間がかかると考えたため、
今回は画像認識を用い、マーカー画像を印刷した紙を棒の先端に取り付けたものを用いた表示キャラクターとのインタラクションを開発しました。
前提条件
キャラクターを呼び出す画像と、キャラクターに対して変更を加える画像の2種類の画像があります。
今回のデモ
1. キャラクターを呼び出す画像を読み込むことによって、キャラクターを出現させる
2. 変更を加えるための画像をそれぞれ読み込む事によって、アニメーションの変更を加える
といった感じのデモです。
仕組み
画像を認識した際に、それに対応したPrefabを読み込むようにしています。このPrefabには、一つのComponentが付属されています。
Componentとは、アニメーションに対して何を行うためのものかを定義した設定データが入っているものです。
このComponentをGetComponentで取得を行い、Componentに定義されている設定データを使い、「ダメージを受けた時のアニメーション」を再生するという事を行って実現しています。
学び
今回の手法での振り返り
画像を読み込んだ際にそれをデータとして扱う方法自体は、色んな用途で使える一方で、データの数だけ、Prefabと画像を対応して登録を行っておく必要があるため、大規模の開発になってくると、対応関係の管理が大変になってくるように感じました。
また登録してある画像の特徴点さえあっていれば、複数の画像をほぼ同時に取得することが可能でした。つまり、1枚の画像で、複数のデータを同時に読み込めるという事です。
これができると、例えば何らかのカードゲームで、通常は1枚のカードに、1つしか画像を入れていないから1つの行動しかできないが、1枚に複数の画像が入っているカードだと、複数の行動ができるといったARのコンテンツに活かせそうと感じました。
ハンドトラッキング周りで試そうとした事
・MediaPipe
・ManoMotion
を試そうとしました。
MediaPipe
サンプルのアプリ自体は配布されていたので実際に試したところ、処理自体はそれなりに負荷がかかっており、ARFoundationと組み合わせた際に動く端末が大変限られるという事と、Unityでの環境構築の工程が思いのほか多かったため、実現をあきらめました。
ManoMotion
SDKです。導入するところまではいけたが、ビルドがどうしてもうまくいかなかったため導入を断念しました。
・・・
Graffityでは、「最短3か月で“心を動かす”ARエンタメ」をコンセプトに、AR技術に特化したエンタメの企画・開発と、DX化を支援するスタジオ「Graffity AR Studio」を運営しております。
これまで累計23万ダウンロードを突破したARシューティングバトル「ペチャバト」や、グローバルに展開しているARシューティングバトル「Leap Trigger」など、ARゲームを開発・運営しております。これらの知見を活かし、スピード感を持ってARを活用した“心動かす”エンタメの企画から運用までを、ワンストップでサポートいたします。
スピード感を持ってAR体験を企画・開発したい企業様はぜひ「Graffity AR Studio」へお問い合わせください。
一緒にARエンタメで世界を目指していく仲間も募集中！
この記事が気に入ったらサポートをしてみませんか？