現実のモノをARの操作インターフェースとして使う

こんにちは、321です。
UIデザインを生業としてますが、ここ一年くらいはBenchという会社でARのUIについて色々考えてます。

先日は『AR紙相撲』というアプリをリリースした経緯について書きましたが、本日新たにARアプリをリリースしましたのでご紹介させていただきます。

‎Benchの名刺

ARの操作インターフェースの「慣れ」について

まずは今回のアプリを作るに至った経緯について。

先日の記事でも書きましたが、ARではUIを世界中のどこにでも置くことができます。（技術的なことはさておき）
UIデザイナーは今まで、ディスプレイ上に最適に表示するためにいろいろなUI要素を作ってきました。
スクロール然り、タブ表示然り、リンク然り。
UIデザイナーは、それらのうちどのUI要素を使うか、それらをどう並べるかを考えてきたわけです。
その時のUIデザインの基本として「なるべくユーザーが慣れている操作方法を採用する」ということがあります。
こういうページだとユーザーはスクロールという操作に慣れているので、ちょっと長すぎるけどスクロールにしよう、みたいな感じで。

ARはデジタル世界がディスプレイから開放されるわけですが、この「慣れ」の対象もまたディスプレイの中から開放されます。

例えばスマートライトのスイッチをARで作るとして、既存の部屋の明かりのスイッチのように壁に置いたほうが慣れている人も多そうです。
この例の場合そこまで歩いて操作するのは不便ではありますが、「慣れ」を重視するケースでは採用する可能性もあると思います。
「不便」よりも「慣れ」が勝つことが往々にしてあるのがUIデザインの世界なので、ディスプレイの外の「慣れ」をどんどん取り込む必要が出てくると思います。

例えば重要な承認をする時にサインをすることはARの世界でも一つのジェスチャーとして残るかもしれません。
首を横にふることでNoを意味したり、首を傾げることでヘルプを表示したりの首のジェスチャーも使えそうです。
指で指して「これ」と言うことで選択するハンドトラッキング＆音声入力。
欠伸をすることでリフレッシュ用アイテムを表示するエモーショナルなUI等など。
要するに今までリアルな世界で当たり前になってきたあらゆる行為が、「慣れ」たUIとして使われうるようになる、のではないかと思います。

中でも根深い「慣れ」は物理法則に対しての慣れです。
モノを持っている手を離すと落ちる。
モノを傾けると、それに乗っているモノが落ちる。
現実世界では当たり前になっている物理法則ですが、ディスプレイの中の世界のUIではあまり採用されてませんでした。
（例外としてあるのはゲームです。ゲーム内では物理法則に則った部分とUIの部分の棲み分けがされており、ARのUIとしても大いに参考にできそうです）
（Macではスクロールする時上にスワイプすると画面が下にスクロールしますが、これはちょっと物理法則的です。これを逆にするとか、ARではありえない失態になると思います。※個人的な感想です）

ARのUIであらゆる「慣れ」を活かすという前提として物理法則は踏まえておきたい、ということで作ったのが『Benchの名刺』というアプリです。

Benchの名刺について

Benchの名刺では、名刺の絵柄を画像トラッキングのマーカーとして使い、名刺と同じ場所にAR上の平面（今後これをAR名刺とします）を置きます。
トラッキングの機能によって現実の名刺とAR名刺は常に同じ場所にあるため、現実世界の名刺がAR世界との架け橋になってくれるわけです。

AR名刺は最初は影のみを描写するようにしてましたが、AR上に出現するメンバーを名刺上から抜きたいということで画像をのっけてます。

トラッキングが成功するとAR世界では、AR名刺上にBenchメンバーのアバターが出現します。
AR世界でも物理法則（RigidbodyやCollision）があるので、名刺（≒AR名刺）を傾けると、アバターが滑り落ちていきます。

名刺を傾けたところ。アバターは慌ててバランスを取ります。
テストしてた時の写真なので印刷した紙の余りが見えてますね。。

名刺を上下に動かすとアバターも胴上げ状態で飛ばされるのですが、これがちょっとおもしろいので新しいモードを作りました。
それが下の写真「ジャグリングモード」です。

ジャグリングモード。アバターは丸まってボール代わりになります。

名刺を上下に動かしてバウンドさせて遊びます。
はねた数だけカウントします。
結構楽しいのですが異常に難しいです。
もっと簡単なゲームはないかと思い、追加したのが「迷路モード」です。

迷路モード。アバターは丸まったまま小さくなります。

迷路モードでは昔懐かしの「玉転がし迷路」をAR上で遊べます。
（玉転がし迷路を見たいことない人に説明しますと、傾けると玉が転がっていくので、それで迷路をすすめるゲームです。）
名刺サイズだと簡単すぎるため、迷路が２階建てになってます。

結論

跳ねさせたり傾けて転がしたりは物理法則として皆さん「慣れ」ているので操作方法はわかってくれると期待しているのですが、画像トラッキングのために画像がきちんとカメラに写っていないといけないなどの「慣れ」は必要になってしまってます。このあたりはARグラスが出たら解決する気もしますが、その分容量や処理の重さを軽くする必要が出てきそうです。

ともあれ、「モノを操作インターフェースとして使う」試作の第二弾としてはまずまずの出来ではないかと思っています。
完全無料ですので、ARに興味ある方は是非お試しいただければと思います！
（名刺のない方も画像を印刷してもらうことで遊んでいただけます。また、千円・五千円・一万円のお札を半分に折った人物の面を画像マーカーとしてて使うこともできます。こちらは紙の光沢が強くちょっと精度が低いようです。）
（アバターが二人・三人集まると違う動きをしたりしなかったり。。）