HCIからCVへ
早稲田大学でHuman Computer Interaction（HCI）分野のアクセシビリティを研究しているD2の栗林です。HCIアドベントカレンダー2024の24日目として執筆させていただきます。博士課程進学後私の研究範囲はHCI分野からComputer Vision（CV）分野にまで広がりました。この記事ではその経緯について書きます。
CV研究に取り組んだ経緯
修士課程までは視覚障がい者のための歩行支援システムの開発に取り組んでいました。例えば、単独で列に並べるように支援するシステムLineChaserや盲導犬とのインタラクションを模倣したロボットPathFinderを開発しました。システムを当事者に使ってもらい、システムは本当に当事者にとって必要とされるものなのか、システムを今後どのように改善できるかなどを調査していました。
しかし、HCI研究を進めていく中で、技術的に自分では実現できない改善点が見受けられるようになりました。例えば、当事者からの技術の改善要望であったり、実社会にシステムを展開していく際に必要となる技術などです。そのような技術を開発したいと思いながらも、中には高度な専門性が必要となる技術があり、それを欠いていたため、手も足も出ず、もどかしい思いをしていました。
経緯１：ボストン大学への留学
そんなことを思っていた時に、ECCV2022にアクセシビリティ分野の問題をテーマにしたCV系の論文が発表されました。とても面白いと思ったため、私のアドバイザである浅川さんに早速その論文を紹介したところ、「その論文のラストオーサー、私の元ポスドクよ」と言われました。その論文を執筆したEshed Ohn Bar先生（ボストン大学）がCVPR2023でワークショップを開くという情報を浅川さんから得ました。私は、即座に過去のCHI論文で開発した画像認識技術を改善してワークショップペーパーを執筆し、2023年6月のCVPR2023に参加しました。
CVPRワークショップでは先生に直談判しました。当時の私は、ちょうど運よく大学から留学用の予算をいただいていて、留学先を自由に決めて良い状態でした。ワークショップが終わった後、「十分な研究予算もあり、自分と先生のテーマも近いので是非とも留学させてほしい」と学会会場で直接お願いしました。過去にCHIに論文を何本か通していた実績が認められ、2024年1月から留学生として受け入れていただきました。
留学中はテーマ設定もゼロから始めましたが、あまり苦労することがありませんでした。ちょうど私の考案したテーマがCV分野のトレンドに乗りつつも、アクセシビリティを専門としているからこそ提案できる独自の視点を持っていたようで、先生にもすんなりとテーマとして受け入れていただきました。先ほども書いたように、普段からHCI研究の技術面への要請について考えていたためだと思います。テーマを考案したのは2024年3月だったので、時期的にちょうど良い、5月締め切りのNeurIPSに挑戦しました。
他分野で研究してみて異なると感じた点の一つは実験のタイムラインでした。私の普段研究しているアクセシビリティでは必ず当事者に開発したシステムを使って頂きます。実験は何回も繰り返せるものではないため、実験に使うシステムは細かいところまでしっかりと実装された完成度の高いシステムでなければなりません。従って、システムの開発を締め切り3週間前、実験を1週間前までに終えます。そのため、研究で一番大変な期間は締め切り1ヶ月前から１週間前でした。一方、ボストンで私が取り組んだ研究では実験は全てコンピュータ上で行われるため、締め切り1時間前まで実験をすることが可能でした。そのため、一番大変な期間が締め切り直前でした。
結果は全員ボーダーラインのリジェクトでしたが学びは多かったです。まず、1番嬉しかった点は研究トピックを査読者に認めていただいたことです。自分にとっては新しい分野での論文執筆だったため、論文の良し悪しの感覚があまりわかっていなかったのですが、査読者からのコメントは今後もCV系の研究を続けていくモチベーションになりました。次に、一人もリジェクトがいなかった点も嬉しかったです。一方で、実験が足りていない、などの指摘が多く、CV分野の厳しさを感じました。（この研究プロジェクトは引き続き頑張っています。）
経緯２：日本科学未来館での非常勤研究員
2024年度から日本科学未来館のアクセシビリティラボという場所で非常勤研究員として分野横断的な研究をしています。在籍している研究員の専門はHCI、CV、ロボティクス、自然言語処理と幅広いです。
アクセシビリティラボでは他の研究員との日常的な議論を通じてテーマ設定を行いました。私はアクセシビリティラボでは、視覚障がい者を案内するロボットを様々な場所で運用するための技術（私はこれをHCI分野でMapless Navigation Systemと呼んでいます）の開発をしました。その中で、様々な分野から各コンポーネントの技術を見直してみると重要なテーマがいくつも浮かんできます。
こちらで考案したテーマはロボティクスの学会であるIROSに投稿しましたが、リジェクトでした。レビュワーの評価としては一人がWeak Accept、一人がボーダーラインでした。問題設定として面白いという点で一人はWeak Acceptをつけてくれたのですが、もう少し研究の規模を大きくした方が良いという意見があり、一人がボーダーをつけました。ボストン大学へ留学中に出した論文と同様、問題設定は認めて頂けて、ただ、研究としてのクオリティが問われてしまいました。（この研究プロジェクトも近々発表できるように頑張っています。）
CV研究を通じて思ったこと
HCI分野を通じて意識していた問題が他分野で認められたのはとても嬉しかったです。CV系の研究を始めた当初は自分のテーマを認めてもらえるか、戦っていけるのか、などの不安を抱えていました。ですが、私は、「視覚障がい者のための案内ロボットを様々な実環境で動かす」という軸を持っていて、それを実現するための課題をHCI研究を通じて常に考え続けていたのでうまくいったのだと思います。アプリケーションレベルで必要な要素技術が見えているからこそ、提起できる問題はあると思います。だからこそ、HCI研究者は常に現場やエンドユーザとの会話を欠かしてはならないと思います。
また、HCI分野の知見がCV研究において役に立ちました。私の場合は例えば、視覚障がい者の方をどう言葉で案内するのが良いか、どのような空間に関する情報が重要か、などの知見です。また、アクセシビリティの分野では明確なエンドユーザがいるため、Co-designやParticipatory designと言った当事者を巻き込んでシステムをデザインしていく方法があります（私の昨年の記事でも少し触れています）。私が行ったCV分野の研究でもエンドユーザにとって実際に発生し得るシナリオで役に立つAIを開発するために当事者を巻き込むプロセスを用いました。
まとめ
HCI研究者であるからこそ他分野にできる問題提起はあるのではないのでしょうか。現在のHCI研究のカバーする範囲は多岐にわたります。そのため、様々な現場やエンドユーザへの理解が深い研究者が多く存在します。また、HCI分野では研究者が様々な新しいシナリオや問題設定を提案する点も魅力的です。そういった多様な専門性/多角的な視点は他分野でも活躍すると思います。例えば、新しい技術を開発しても実際にエンドユーザが使うか/使えるかは彼らが使うシナリオ次第です。とある技術（LLM等）が便利だからHCI研究でどう使えるか研究する、だけではなく、実際にエンドユーザがXXXのようなシナリオで使うためにはYYYのようなニーズがあるからHCI分野から他分野に働きかけるor問題提起をする、と言ったような取り組みも重要だと思います。それができた時にHCI研究者の真価が発揮されるのかもしれません。