AIアバターとの音声会話によって、MR空間から現実空間を制御
とあるセミナーでXRと生成AIについて喋ることになったので、以前、Meta Quest 3のパススルー機能のテスト用に作った「AIしげちゃん（MR版）」のデモ動画を作成し直して、生成AIとXR、現実空間とデジタル空間（MR空間）が融合しているイメージのデモ動画にしてみました。
前回のデモ動画では、MR空間内で「AIしげちゃん」と音声会話したり、Function callingで気象庁のAPIから指定した都市の天気予報を取得・回答させたりして、生成AIとXRが連動している様子を表現していました。
しかし、それだけだと現実空間とデジタル空間（MR空間）が融合している感じに見えないので、MR空間内のアバターに現実の部屋に設置されている環境センサーの温度や湿度の値などを尋ねたり、スマートリモコンを介して現実の部屋の照明を点けたり、消したりさせています。
概略のシステム構成は上図の通りで（実際には音声会話のためにGoogleの音声認識・音声合成サービスが挟まっている）、やっていることは単純です。
でも、MR空間から現実空間の照明などの家電製品が制御でき、同時にそれがMR空間にも反映されるので（パススルーなので当たり前ですが）、現実空間とデジタル空間（MR空間）が融合した、デジタルツインっぽく見えるんじゃないかなと。