見出し画像

AppleのMR/ARヘッドセットを予想してみた -前編-

がみ/がんも

＜本記事の目的＞
本記事はMESON（メザン）というXR制作会社のメンバーで、Appleヘッドセットの妄想を好き勝手に語った会のまとめになります。
予測という名の下でXRへの熱い想いを語るものとなっており、確度の高い情報を見たい方は、他を調べて頂いた方が良いかもしれません……!!

イントロダクション ー Appleへの期待値 ー

来る日本時間6月6日、Apple WWDCが開かれます。今年の目玉は何といっても、GPT/LLMを始めとしたAI Appleヘッドセットでしょう。

2015年頃には次世代グラスの開発に着手していたと言われ、2019年頃から毎年のようにWWDCで発表があると言われ、勝手に落胆することを続けていました。
しかし今年は、Oculus創業者であるPalmerが「The Apple headset is so good.（＝Appleのヘッドセットめっちゃええやん）」と呟いたことで、発表はほぼ確実な見立てです。

ここまでAppleのMRヘッドセットが注目される理由はなんでしょうか。様々なリークがデバイスのスペック情報に寄っていますが、おそらく一番は革新的なUX/UIが提唱されることにあるのではないでしょうか。

そもそも、XR向けのグラス/ヘッドセット、その言葉や概念自体は古くのSF作品から存在しています。我々にはそれらのデバイスやそれを伴った生活を一定想像できてしまっているということです。「結局最近のiPhoneの新作みたいに、カメラ機能がグレードアップする程度の進化がXRデバイスで起きるだけなんでしょう？」そんな声も聞こえています。

一方で、初めてiPodのホイールを触った時の、これは一体なんなんだ？というワクワク感や、直感的に操作しやすく、それでいてもっと触りたいと思える感覚を、多くの人が覚えているでしょう。

Appleなら…Appleなら新しい何かを提唱してくれる…!!

さて本記事は、そんな願いを込めて、自分の所属する会社MESON（メザン）の有志とAppleヘッドセットを、願望多めで予測する会をやってみた、というものです。

1つでも当たったら褒めてください。それでは本編をお願いいたします。

① 既存プロダクト活用による常時着用

連携という基本戦略

さて、Appleヘッドセットの予想として、どういうものが多いでしょうか。

いくつかの記事を見ながら、MESON予測会で話した全体的な印象としては、Meta Questのような一般的な”スキーゴーグル”グラスを想起させながらも、”Appleっぽい”カラーリングや曲線を当てはめたものだな、というものでした。

また期待値を、低めに設定するような記事が多い印象でした。例えば外付けバッテリーが必要であるとか、革新的なアプリは搭載されないだとか、です。

一方でイントロにも記載した通り、他者/他社の既存のアイデアとは異なる”何か”を提供してくれることを期待している我々は、少し外れた予想をしたい、と会がスタートしました。

ここで、思考の端緒として、Appleのプロダクトの連携度合いが挙がります。

例えばAirPodsはiPhoneと連携し、（他にも機能はありますが）着脱によるシームレスな音楽体験を可能にしています。


Apple Watchには数え切れないくらいの機能が備わっていますが、iPhoneやApple IDにより、小難しい設定は基本的には不要、着けた瞬間に利便性を享受することができます。

ヘッドセットも同様に、”連携”の思想があるのではないでしょうか。

一番思いつきやすい手段として、「CPUなど演算をiPhoneに頼る」が挙げられます。加えて既存のデバイスと異なり、ワイヤレスでの接続を実施するという想定です。

具体的には、Meta Questのようなスタンドアロン型と違い小型で、MagicLeapやNrealのように外部デバイスとケーブル接続するグラス型とは異なりケーブルに振り回されない、そんなイメージです。

AirPods Proによる6DoF

加えて、ご存知の方も多いと思いますが、AirPodsを用いて6DoFのトラッキングが可能であることが知られています。

この6DoFのトラッキングは、XR体験をリッチにする上で必要な機能ですが、小型化に際して省かれやすい機能でもあります。
例えば、Nreal lightでは6DoFが搭載されていますが、その後にローンチされ、もはやサングラスのような薄さが魅力的なプロダクトであるNreal Airでは3DoFとなっています。

  • 3DoFのトラッキングは頭の向きをトラッキングできることを指し、6DoFのトラッキングとは加えて上下左右前後のトラッキングできることを指します。

  • 用途の差分の例として、空間のどこかに物体を配置したとします。6DoFではそこに歩いて近づくことができますが、3DoFだけでは前後を認識できないので近づくことができない、そんなイメージです。

もし、6DoFトラッキングをAirPodsに頼ることができ、かつワイヤレス/スムーズに情報共有できるのであれば、Nrear Airのような薄さでリッチな体験を実現することができる訳です。

日常に溶け込むには？

予測会が見つけたリークされている画像は、日常的に使うには悪目立ちする形状ばかりです。でも、Appleに期待する立場としては、Appleがそんな形状でローンチするかな？と感じます。

クールで、同時に、日常に溶け込むような、そんなデバイスが来るのでは？と期待しており、それを実現するには既存の技術をフルに活用する必要がある、という結論になりました。またその場合、Apple Watchに組み込まれているような省電力モードも、ヘッドセットには組み込まれることでしょう。あらゆる技術・手段を用いて、常にヘッドセットをかけるような世界を提供する、そんなデバイスになるのではという期待はどうしても膨らんでしまいます。

② AirTagによるMR地図作成

さて前チャプターでは、既存プロダクト活用を、常時着用に絞って議論を進めました。予測会にて異なる観点で注目された既存プロダクトとして、AirTagが挙げられます。

AirTagは現在、失くしたものを探すために使われます。背後の仕組みとして、bluetoothを用いた精度の高い位置トラッキングと、世界中のAppleデバイスによるネットワークを用いたbluetooth範囲外での大まかな位置の特定があります。これをXRと絡めるとどうなるでしょう。

高精度な位置トラッキング

まず、精度の高い位置トラッキングと、XRの結びつきは想像がしやすいでしょう。AirTagを付ければ、物体を3D空間上で位置を認識することができます。

少し話は変わりますが、筆者の初めてのXR体験は、ルーム型のHTC VIVEだったのですが、現実のオブジェクトの位置を反映した体験を作りたいのであれば、コントローラをくっ付けるなどして再現していました。

もちろん素晴らしい体験で当時の感動は忘れられないのですが、日常に溶け込むイメージは湧きません。なんで、コントローラをそのオブジェクトに付けるんだ、と。

さてこの文脈において、AirTagは、日常への溶け込みを実現します。”ものを探す”というメリットを提唱することで、「いろんな”もの”にデジタルセンサを付ける」ことを自然な行動へと変えています。

そして、ヘッドセットをかけると更に便利です。スマホの設定ボタンを開き、”探す”をタップし、地図を上から眺める必要がありません。
ヘッドセットをかければ、どっちに何があるかを見られます。部屋に壁掛けのTVを買う代わりに、壁にAirTagを取り付ければ良い、AirTagの位置にTVの視聴画面をセットするから、といったことも可能です。

他にもブレスト的に、色んな想像が浮かびます。例えば友人との待ち合わせ。AirTagから位置が分かればヘッドセット越しに街中にいる相手の位置が分かったりします。

以下は、以前にMESONで全然関係のないタイミングでプロトタイピングしたものです。狙いの1つとして、待ち合わせ時に光の柱やらバルーンやらが近づいてきたら便利だし面白いんじゃないか？というものですが、AirTagがあれば一発で実装できるわけです。

（待ち合わせ用ではないですが、Yahoo! Mapには「ルックアップ」機能がございます。こういう可愛らしい仕様も良いですね）

Appleデバイスによる巨大メッシュネットワーク

それではもう1つの、「Appleデバイスによるネットワークを用いたbluetooth範囲外での大まかな位置の特定」という技術は、何に使われるのでしょうか。

まず、Appleデバイスによるネットワークにかかる、予測会での認識を記載します。

そもそもAirTagがどのようにして、遠くにある自身の位置をスマホに伝える事ができるのでしょうか。こちらの記事の説明が分かりやすいため引用させていただくと、「近くにあるiPhoneやiPadと裏で勝手に通信し、暗号化した上で自分の最新の場所データをAppleに残す。ユーザーはそのうち、自分のもの（すなわち、自分のApple IDにひも付けられたもの）の情報だけを取り出せる」というものです。

この予測会まで筆者も認識していなかったのですが、Appleの既存デバイスは周囲のAppleデバイスと情報交換をしながら、位置情報をAppleにて管理しているそうです。

さて改めて、この技術はMRに何を提供するのでしょうか。

少し技術寄りの話になりますが、MR地図の作成に利用できるのではないか、という話が上がりました。

MRデバイスは体験の提供のために、現実空間を認識する必要があります。距離検知・平面検知・人物検知・デバイス自身の地球上の位置の推定などです。この中で、地球上の位置の推定について、このネットワークは有用ではないでしょうか。

既存の方法は種々にありますが、あえて大きく括ると、”特徴点”をベースとして位置を認識するというものです。

  • 例えば、マーカーを活用した方法が存在します。これは2次元画像をマーカーとして用意し、それをMR体験を開始させたい位置に人力でセットすることで、デバイスが地球上のどこにあるのかを、その相対感から算出する事ができます。

  • 他の例として、Googleのストリートマップの画像と照らし合わせる、Geolocation APIが存在します。スマホカメラから読み取れる画像をストリートマップの画像（からなるデータ群）と比較し、自身の場所を捉えます。

    • Nianticも、Pokemon GOなどのサービスを通じてユーザーから集めたデータを用いて、同様の位置推定の仕組みを開発しています。

  • ストリートマップに載っていないような屋内は、例えばImmersalなどが有名です。これは、ユーザーが自分自身で屋内の空間データを撮影し、それを特徴点データとして用います。データを取得する過程を空間マッピングとも呼びます。

さて前段の説明が長くなってしまいましたが、Appleデバイスネットワークはこの特徴点取得の常識をぶっ壊してくる可能性があります。

我々MESONもGeolocation APIやImmersalをよく用いるのですが、どうしても屋外から屋内に入るときのシームレスな体験の提供には一定のチャレンジが存在しています。

（色々と探しても、以下のような実験的な映像が見つかるのが関の山です……）

そもそもとして、広大な地球という空間に勝手に壁を作って建物を建てているだけなので、屋内/屋外を跨ったコンテンツの配置が難しい／手間がかかるという状態は理想的ではありません。卑近な例ではありますが、ルイージマンションで逃したお化けが隣の部屋に行く、そんなコンテンツを作るのが難しいのが現状です。

しかし、このAppleデバイスネットワークを用い、AirTagを探す精度で自分自身の地球上での位置を推定できるのであれば、屋内/屋外に囚われない体験を作る事が可能です。いわば、Appleだけが持つMR地図を作る事ができる、もはや既に持っている可能性があるわけです。

AppleがこのMR地図を開発者向けに提供した場合、多くのクリエイターがこぞって試し、また新しいMR体験が生まれるかもしれない。また、OSはiPhoneやiPadとも連動されるといった噂もあるので、新しいAppleヘッドセットに閉じない体験が生まれるかもしれません。そういった議論が予測会ではなされました。

予測会後に調べていたところ、既にWiredから同様のテーマで記事が出ていました。こちらは文脈の付与という流れで、技術ベースよりも社会的意味合いベースで書かれており、予測会の後に読みながら、なるほどと一人唸ってしまいました。
アップルの紛失防止タグ「AirTag」は、ARへの“扉”を開くツールにもなる

③ アナログへの回帰（ゼロ学習デバイスとしてのXR）

さて、予測会は細かいUX/UIの妄想話に移ります。まずはAppleが目指す「Fluid Interface」や「スキューモーフィズム」の話が改めて盛り上がりました。

まずFluid Interfaceについて、参考までに実例も交えていて分かりやすい記事を。

次にスキューモーフィズムとは、現実世界の物をメタファーとすることで、初めてそのデバイスを体験する人でも直感的に使えるという考え方です。

MESONがイメージした「アナログに回帰する」とは

予測会では、これらのAppleの思想から、ヘッドセットでは「アナログへの回帰」を目指すのではという表現をしました。

いくつかの意味を込めた表現なのですが、1点目としては、Fluid Interfaceの実例のように、「動作を途中で引き返す」ような体験の実現を想定しています。現在のスマホでいうと、スワイプした途中で引き返す動作を指します。

このスワイプを途中で止められる機能は、「実際に人間は考えながらページをめくるし、動作の途中で引き返すことがある」というメンタルモデルを再現するために作られています。予測会ではこれを、”デジタル（＝離散的）”なOn/Offではなく、”アナログ（＝連続的）”に行き来できるという意味でアナログと表現しました。

2点目は、（MESONでは「ゼロ学習デバイス」と表現しているのですが、）使い方を学ばなくても直感的に使えるという思想が提示されるかもしれません。MESONでは元々、ARデバイスにおける理想的なUIとして「人の習慣的所作がそのままインターフェイスになる」があり得るのでは、という話をしていました。

もはやインターフェイスの存在さえ忘れてしまうことが「ゼロ学習デバイス」の本質と捉えると、Appleの思想とも一致しています。MESONメンバーの好みなのですが、Appleから同様の思想が提示されたら嬉しいと盛り上がりました。

3点目は、ティム・クックCEOのインタビューに基づくものです。彼はAppleのCEOでありながら、テクノロジーに対する疑念と自然への敬愛を持つ人物であることが知られています。「もしあなたが、人とアイコンタクトをするよりも長い間スマホを見つめているならば、間違ったことをしている」と述べています。

なお、近しい考え方は、Nianticのジョン・ハンケCEOも述べています。テクノロジーを通じて人々を現実の物理的な空間の体験をより良いものにする、顔を上げて街を歩いて欲しいといった旨です。

Appleヘッドセットも、スマホを見て指だけを動かす生活ではなく、スマホ以前の行動を伴うような生活体験を提供するのでは、という意図で、「アナログへの回帰」という表現を採用しています。

実際のイメージ

では実際にどういうUI/UXが提供されるのでしょうか。予測会では、電子書籍を読むという行動を例に話をしていました。

まず本の選択は、本棚から本を選ぶようなUIになるかもしれません。アプリを開くとリアルサイズの本棚が床に置かれ、そこから本を選択するイメージです。図書室に並ぶ本棚の背表紙を撫でる気持ち良さをもう一度体験できるかもしれません。本を選ぼうとして、表紙を見て、やっぱり戻すという行動にも対応できることでしょう。ちなみにですが、iBooksもフラットデザインになる前は本棚のようなデザインをしていたので、十分にあり得る話かもという結論に至りました。

筆者注：なおnote記事を書きながら気づいたのですが、このやり方だと電車で電子書籍を選択できないので、この妄想は絶対に外れますね。

同様に電子書籍を読む際、ページを捲るような動作になるでしょう。ページを半分だけ捲り、前のページと後のページを行ったり来たりするような体験も戻るという行動にも対応できるかもしれません。一気にページを飛ばす際は、ペラペラと本の厚みを目安に捲るような体験も戻るかもしれません。

例を挙げればキリがないですが、こういったアナログな頃の世界観を再提示する可能性は十分にあり得るのでは、という話になりました。

そのほかにも、あまりに不便そうだったので冗談混じりでしたが、アプリはアイコンではなく机の上に本が並ぶようなUI、アプリを削除する際はゴミ箱に紙を捨てるようにくしゃっと丸めて捨てるUIといった妄想も話題に上がりました。

前編の締め

というわけで、一旦、前編はここまでです。ここまでお付き合い頂きありがとうございました。何か一つでも、刺激となるような考え方があれば幸いです！

また、6/2(金)公開予定の後編では、以下のテーマが続きますので、こちらも良ければ引き続きお楽しみくださいませ！
（追記：【こちら】にて公開しました！）

  • シームレスにMRへダイブする（iPhoneは魔導書）

  • デジタルクラウンの使い道

  • 触覚フィードバックとしてのApple Watch

この記事が気に入ったらサポートをしてみませんか？