見出し画像

オープンソースのAIグラス「Frame」

ソウ

FrameはマルチモーダルAIと連接して使用するAIグラスです。
AIの応答はレンズに表示されるため、ARグラスと言ってもいいでしょう。

ハードウェアはBrilliant Labsが提供しており、日本からもオーダー可能です。
私は裸眼視力のため選択しませんでしたが、度入りも可能だそうです。

ソフトウェアはオープンソースとしてGithubにリポジトリがあります。
ここで共通的なアプローチをしつつ、フォークして独自のLLMと連接するなどカスタマイズの範囲が非常に広いのも特徴の一つです。

下図がグラスの全体構成です。
様々なパーツで構成されていますが、グラスのブリッジ部分にあるカメラとマイク、AR Lensが重要なパーツとなります。

マイクから音声入力された指示に対してAIが応答し、AR Lensに表示される流れです。

以下は東京駅でAIにこれなーにと聞いたときの画像です。
グラスの中心に文字列があることがわかると思います。

使用感

見た目

使用感としては非常に軽くて取り回ししやすいデバイスです。
半日付けていても苦痛じゃないくらいには。

素材としての安っぽさやデザインはちょっと……。という感じですので、製品として日常的に使いたい人（開発者ではなくいわゆる消費者）はやめておいたほうがいいと思います。

そもそも自分で開発できないと、開封時点ではLLMにつながるだけなのでスマホでええやんってなりますので。

機能性

バッテリーの時速時間は申し分ありません。
半日くらい外でFrameを遊んでましたがバッテリー切れにはなりませんでした。

バッテリー残量がわからないのはちょっとマイナスでしょうか。
そこら辺のハードウェア情報が取れればLLMにバッテリーどれくらいっすかって聞けるかな。

画像をLLMに渡すことができますので、写真撮ってそれをクラウドに保存してっていうのはできそう。画像ができるということは動画もできると思う。

日本語の表示はまだ

本記事執筆時点ではレンズに日本語を表示することはできません。
開発チームが日本語と中国語の表示に取り組んいるそうですので、待つか自分で貢献するかすればいいと思います。

数日使っての感想

私はXR、特にAR分野についてこれまで色々と取り組んでいましたが、クソデカヘッドマウントディスプレイにうんざりしていました。

また、デバイスの操作もハンドトラッキング等ありますが制約が多いのが現状です。
その点AIが空間を認識して操作を肩代わりしてくれれば高性能なセンサーは不要ですし、自然なUXが実現できます。

だって嫌でしょ？　Apple Vision Proのようなクッソ高価でAmongUsみたいなデバイスを被って夢遊病者のように手をヒラヒラするのは。あれ外で使ったら悪夢ですよ。

Frameのようなデバイスはまだ成熟していないものの、私の考えるAR時代と方向性が同じだと感じています。

今こそテキストしか出ませんが、AR時代はパーソナルなAIが必要に応じて視界にあらゆるものを生成して表示してくれる様になるはずです。

そういった時代を先行体験できるのもFrameのいいところかなと思いました。



この記事が気に入ったらサポートをしてみませんか？