【IUI2023に参加】Masktrap: Designing and Identifying Gestures to Transform Mask Strap into an Input Interface
はじめに
4月からM2になりました、杉浦裕太研究室、山本匠です。3/27から3/31においてオーストラリアのUniversity of Technology Sydneyで開催された 2023 International Conference on Intelligent User Interfaces (IUI2023)で発表してきました。NTTコミュニケーション科学基礎研究所の正井克俊先生、シドニー大学のAnusha Withana先生との共同研究です。
研究の概要
この研究は「マスクの紐を使ったジェスチャでの情報入力」の研究です。以前FIT2022、SIGDeMO2022で発表した内容に加えデバイスを改良し、12種類のジェスチャを平均識別精度93.07%で識別することができました。この研究の貢献をまとめると以下の3つです。
1. ジェスチャ設計
被験者に対して操作を提示しその操作に適したジェスチャを考案してもらうUser Elicitation Studyと呼ばれるユーザ実験によってジェスチャセットを決定しました。これらに関しては以前の記事にまとめているのでそちらをご覧ください。
2. 実装（デバイス作成&ジェスチャ識別)
マスクの紐をセンシングするために、センサを搭載した耳掛け型デバイスを自作し、得られたセンサデータから機械学習によってジェスチャを識別します。
ハードウェアに関しては、マスクの紐の物理的な動きを計測するために8つの反射型光センサと2つのマイクを搭載したデバイスを自作しました。デバイス自体は3Dプリンタで自作し、そこにセンサを取りつけることで自作しています。
ユーザがジェスチャをした時系列データを得た後、センサごとに特徴量抽出を行い、ランダムフォレストによってジェスチャを識別しています。
3. 精度評価実験
8人の被験者に実際にデバイスを着用してもらい、実際にジェスチャを行った際のセンサデータを収集しました。得られたセンサデータから平均識別精度は93.07%という結果になりました。
当日のフィードバック
紐の耐久性や眼鏡をかけている人に対するジェスチャの影響についての質問を受けました。今回の研究では実環境に近い環境での精度やユーザビリティを調査する実験は行っていないので、今後検討していきたいと思いました。
感想
初めての英語での口頭発表で緊張していましたが、とてもいい経験になりました。カンファレンス中、多くの国内外の学生や研究者の方とお話しすることができ、研究に関する直接的な議論からキャリアに関することなど、様々な会話をすることができたのが、とても財産になりました。