Study on Eye Behavior-Based Intent Detection for Dwell Selection
2023年度研究会推薦博士論文速報
［ヒューマンコンピュータインタラクション研究会］
礒本 俊弥
（LINEヤフー（株）LINEヤフー研究所 特任研究員
邦訳：凝視選択のための眼のふるまいに基づく意図検出に関する研究
■キーワード
視線入力／ヒューマンコンピュータインタラクション／ヒューマンモデリング
【背景】視線追跡装置の普及および視線入力における誤入力
【問題】意図推定の失敗による誤入力の発生
【貢献】眼のふるまいを解析することによる意図推定技術の確立
「目は口ほどに物を言う」というように，人間は眼を通じてさまざまなことを表現しています．これを技術で実現したい！というモチベーションで行っている研究です．
ユーザの眼のふるまい（視線，瞳孔系，まばたきなど）を認識可能な機器の発展に伴い，視線入力も発展してきました．最近では操作対象（例：アプリのアイコン）を見ながらのハンドジェスチャ（例：親指と人差しでつまむ動作）での入力に焦点が当たっています．アクセシビリティの観点では，視線入力は手をコンピュータへの入力に使用できない方・状況における新たな入力手法としても有用とされています．
本研究では，ユーザの眼のふるまいのみを使用した入力に着目しています．ここで課題となってくるのが，どのようにしてユーザの入力意図を検出するかです．眼は外界の情報を得るために絶えず動いており，眼を保湿するためにまばたきをし，取り込む光を調節するために瞳孔径を変化させています（もっともっとたくさんの意味を持って眼は動いています）．これらの多くは無意識的に行われています．このような眼のふるまいを入力に活用するには，無意識的に変化する眼のふるまいの中から，ユーザが意識的にある対象を「入力のために見ている」という意図を検出する必要があります．
この意図の検出は時間の閾値を元に行われることが一般的とされてきました．たとえば，1秒間ある対象を見た場合，ユーザはその対象を入力のために見ていると仮定し，入力を実行するというものです．この入力方法の課題として，入力する意図がなく見ている（たとえば読書や動画視聴，考えながら見ているといったことが該当します）にもかかわらず，入力が実行されてしまう誤入力の課題があります．極端な話として閾値を10秒とした場合は，誤入力の多くは防げますが，入力のために10秒間見続けるという行動をする必要があります．
そこで，本研究では時間の閾値によらない入力として，眼のふるまいからユーザの入力意図を検出し，検出した意図に応じた入力を実行する技術の確立を試みました（図上）．具体的にはユーザ実験を通じて入力タスク中の眼のふるまいを収集し，そこから特徴量の計算，機械学習を通じた「入力するために見た」か「そうでない」の二値を分類するモデルを作製（AUC=0.903）しました．10分間の入力タスクでは，実際に作製したモデルを使用した入力を行ってもらった際は，そうでないときと比べて約90%の誤入力を防ぐことができました．
また，博士論文の研究としては，どのように時間の閾値を決定すべきかという点にも焦点を当て，人間の認知プロセスと眼の動きから「入力を行うぞ」という意思決定に要する時間を求める式の導出も行っています（図下）．興味があればぜひ読んでいただければと思います．
本研究では，コンピュータへの入力の中でも特に「選択」という操作に着目していますが，将来的には感情や興味などの検出もユーザの眼を通して検出することも可能となり，さまざまなインタラクションが展開されると考えています．
■Webサイト／動画／アプリなどのURL
https://sites.google.com/view/toshiya-isomoto/projects
（2024年5月28日受付）
（2024年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2023年9月
学位種別：博士（工学）
大学：筑波大学
正会員
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［情報環境領域］ヒューマンコンピュータインタラクション研究会
「目は口ほどに物を言う」と言われるように，人は目を通じてさまざまな意思表示をしている．本研究は目の動き方や瞳孔の収縮などの無意識的な「目の振る舞い」から「このアイコンを選択するぞ」といったコンピュータへの入力意図を推定できることを示した．これは目だけで使える入力方法の実用性を高める大きな成果である．
研究生活 博士課程での研究テーマは，学部から眼のふるまいを使用した入力の研究を行っている中で，上記の誤入力の解決が20年以上行われておらず，チャレンジングなテーマだなと思ったことから決めました．なぜ眼のふるまいを使用した入力に注目したのかは覚えてないですが，大学に進学する前の高専での卒業研究から近しいことをしていました．博士課程進学前は海外との共同研究！インターン！とか色々考えていたのですが，コロナの影響もあり実現できませんでした．結果論にはなりますが，もっと行動を起こせば実現したことも多かったとも思います．博士課程への進学を考えている方にはぜひ，思い立ったが吉日のようにたくさん行動して多くのこと経験してもらえればと思います．たとえば，私の場合は当面の間は研究職に付いている予定ですので，私の研究に興味があれば気軽に連絡をしてもらえればと思います！ 最後は宣伝になりましたが，博士課程への進学を考えている皆様にとって，少しでも参考になればと思います．