ARグラス開発キットMonocleを買ってみた！
こんにちは。怪しいものではありません。
なんか無精ひげで、髪の毛もぼさぼさだし、どうみても怪しいですけどね。
メガネにくっついてるのはBrilliant LabsのMonocleというARグラスの開発キットです。
ARグラスと言っても、6DoFとかあるわけじゃなくて、ハーフミラー式のディスプレイで視界の中に情報を表示できるだけです。本当はHUDと言った方がいいかもしれません。あと、カメラとマイク、２つのタッチセンサーが付いています。
それで、これを買えば何かできるというわけではなく、こういうデバイスがあるので、自分でプログラムを開発すれば色々できますよ、という開発キットとなっています。開発環境としてはこちら。
VSCodeのプラグインとなっているAR Studioがあります。
透明なちっこい筐体の中にNORDICセミコンダクタと言う会社のnRF52832というBluetoothチップが入っていて、その中にArm® Cortex®-M4 32-bit processor互換のCPUがあるらしいです。これ512 kB flash/64 kB RAMです。繰り返しますが64 kB RAMです。この上でMicroPythonを動かすわけですが、ディスプレイの解像度が640x400ピクセルであることもあって、プログラミングの感じはMSXとか8ビット時代のマイコンプログラミングです。MicroPythonのライブラリにもLineとかCircleとか懐かしい感じの命令があります。
さすがにその環境では意味のある処理をすることは難しいので3チャンネルのBluetoothでPC/iOS/Androidと通信できるようになっています。基本的にはPCやスマホで処理して、デバイス側にはディスプレイとカメラ・マイクがある形式ですね。XREALのグラスとかも同じ感じですよね。
iOSやAndroidのアプリとしてはNoaというアプリがソースコード付きで提供されています。
Noaではタッチするとマイクで音声を聞き取るモードに入り、聞いた音をOpenAIのAPIに投げます。OpenAIからのリザルトをMonocleのディスプレイに表示します。これでAIとの音声チャットができるわけです。
"Who are you?"
"I am a smart assistant here to help you with any questions you may have."
という感じです。日本語は使えるかというと、OpenAIなので、Noaアプリ側ではちゃんと表示されますが、残念ながらMonocleのディスプレイではフォントがないのか表示が乱れてしまいます。512 kB flash/64 kB RAMじゃあ仕方ないか。
また聞いた音声をこれもOpenAIに渡して英語で表示してくれる翻訳モードもあります。こちらは出力が英語なので、ちゃんと表示されます。
Stability AIのkeyを設定すると、カメラで撮影してものを説明してくれるみたいです。
先ほど書いたように、Noaというアプリはサンプルなので、これを修正して自分のアプリを作ってね。という位置づけのようです。
以前、LAWKの記事でも書きましたが、AIと会話できるからアイアンマンのジャービスみたいにすごい便利かというとぜんぜんそんなことはなくて、素のOpenAIは自分の位置情報も知らないし、リアルタイム情報も知らないので、ナビもしてくれいないし、天気も教えてくれません。なんも面白くない。
僕がこのMonocleでアプリを作るとしたら、パーティーでの会話を記録してくれるアプリを作りたいかもしれません。いや、パーティーなんか行きませんけど、懇親会とかですね。なんていう人とどんな会話したか全然覚えられないので、音声認識で会話をテキストにして、5分に1回くらい自分が見てるものの写真を撮っておいてほしいです。このMonocleをメガネに付けていたら、目立つから話しかけてもらったり、会話が弾むかもしれません。
でもMonocleってバッテリが70mAhしかないんですよね。実用的には無理かも。