行為を修飾するインタフェースと見立て

はじめまして、これがnoteへの初めての投稿です。

筆者は、いわゆるHuman-Computer Interaction (HCI) の研究者です。

研究者は自分が明らかにしたことを伝えるために論文を書きます。論文には客観性のある事実や、曖昧性がなく伝達効率の良い文章の記述が求められます。そのため、研究者の主観的な思いや気持ち、はたまた研究を実現するための試行錯誤は公開された論文では隠れてしまうことがあります（ビジョンの提案やプロトタイプの試行錯誤自体が研究のcontributionになる場合はこの限りではないですが）。

そうした論文からこぼれてしまった思考や試行の痕跡、研究について考えていること、実践していることなどを、これからnoteに気の向くままに書いていきたいと思います。

今回は、筆者がインタフェースを設計・制作する際に意識していることについて「行為の修飾」と「見立て」という観点から話したいと思います。

なお、筆者の記事において「インタフェース」とは、主に、人間と情報世界の橋渡しとなる装置や仕組みのことを言います。

日常との接点を意識したインタフェースの設計

人間とコンピュータの関係性を扱うHCIの研究領域はとても広く、「HCI研究者」といっても研究対象や専門分野、興味は千差万別です（ここら辺を語り始めると本筋から外れそうなので、この記事では多くは語りません）。

筆者をHCI研究者たらしめているのは、テクノロジーが人間の能力や可能性に与える影響や、生活や体験を豊かにするテクノロジーの使い方への興味です。その上で、筆者は人間に対する心理学的・生理学的な理解のもと、人間の行動の中にテクノロジーを介在させる方法論の研究や、テクノロジーを介在させるコンテキストの設計に取り組んでいます。

これまで筆者の研究に関しては以下のwebページをご覧ください。

works | YOSHIDA SHIGEO

とりわけ研究する中で気に留めていることが、人々の日常や生活との接点です。筆者の提案するインタフェースは、人々に未知の体験をもたらすというよりも、人々の普段の行為に付随してその行為に修飾語を与える（「魅力的に」見える、「楽しく」会話する、など）形で利用されることを想定しています。そのため、元の行為を妨げないインタフェースやインタラクションの設計が肝要です。

また、近年では誰でもモノづくりが可能な環境が整備されてきており、質の良いプロトタイプを手早く簡単に制作することが可能になってきました。一方で、皆がモノづくりに参画できる社会になってきたからこそ、何をどのように作ったかよりも、なぜ作ったのか、これを通して見渡せる未来として何を想像したのか、ということがますます大事になってきます。そのためには、妥当性を検証するプロトタイプの作成だけで終わらせず、制作したインタフェースが使用される未来の姿を議論可能にするコンテキストの設計が重要であると思っています。

そのためには、必要な機能を満たしたインタフェースを作ることはもちろんですが、それに加えて、実際にインタフェースが使われる場面や状況を想定しやすくする「見立て」が必要であると考えています。自分の指を人形に見立てておままごとしたり、庭園の砂や石を風景に見立てたり、見立ては空想の世界をわかりやすく、または想像を豊かに表現するために使われます。

インタフェースを身近な道具に見立てて表現したり、評価実験を現実の状況に見立てて設定することで、インタフェースが普及した未来像を皆で共有しやすくなり、そのインタフェースの是非だけでなく、未来のあり方まで議論することができるようになるのではないでしょうか。

筆者の実践を2点ばかりご紹介したいと思います。

笑顔の自分が映し出される鏡：扇情的な鏡

「扇情的な鏡」は、自分の実際の表情と違った表情が映し出される鏡型のインタフェースです[1]。表情の変化が感情に影響を与えるとする「表情フィードバック仮説」[2]をもとに、画像処理によって生成した擬似的な表情を自身の実際の表情変化であるように視覚的にフィードバックします。そして、擬似的な笑った表情や悲しい表情のフィードバックよって、ポジティブ・ネガティブといった感情状態や、選好判断、実際の体験者の表情もつられて変化することを確かめました。

このインタフェースは、Webカメラとコンピュータ、ディスプレイによって構成されています。全体を木枠で覆うことで、カメラを目立たなくし、鏡のような外見に近づけています。三面鏡（ときどき紙芝居って言われる...笑）のサイドにある2枚は本物の鏡で、本当の表情と擬似的な表情を見比べられるようにわざと設置しています。

鏡は洗面台やトイレなど生活空間に必ずと言っていいほど設置されており、日常的に使用する道具の一つです。そして、鏡との日常的なインタラクションを通して、我々には自身のありのままの姿を映し出すという鏡の性質やその使用法が経験則として備わっています。そのため、鏡であるという認識を体験者に与えることで、ディスプレイに映し出される擬似的な表情であっても、体験者自身の表情であると錯覚させることができると考えました。

また、鏡のメタファを利用することで、自身の顔を見つめる状況を自然に作り出し、顔を見つめる行為自体に違和感をもたせないように配慮しています。さらに、ディスプレイ中の自分の顔と視線が合うように顔が表示される位置や視線方向を調整したり、変形処理をできるだけ高速にしたりと、鏡として認識しやすくするソフトウェア的な工夫も施しています。

こういった鏡型のインタフェースが家庭や社会に実装されるようになることで、鏡の前での行為（顔を洗う、歯を磨く、今日着る服を選ぶ、試着するなど）を修飾して感情的な側面の体験を与えることができるようになると考えています。朝起きて顔を洗ったときに、自分の顔が笑顔に見えれば、今日も一日頑張ろうという気持ちになるのではないでしょうか。また、大事なプレゼンの前に入ったトイレの鏡に映る自分の顔が笑顔に見えると、緊張を克服し魅力的な発表ができるようになるかもしれません。

嬉しいことに、以上のような考えや試みが認められてか、個人用機器、家庭用機器のインタラクションデザインの分野においてグッドデザイン賞（2013年度）を受賞することができました。また、日本だけでなく海外のデザインやアートのイベントでも展示する機会をたびたびいただき、多くの人とこの種の感情に働きかけるインタフェースの可能性について議論することができました。

展示していた気づいたことが、日本でも海外でも説明する前にディスプレイを覗き込んで体験しようとする人たちが多かったことです。「鏡 = 覗き込むもの」という体験を見立てからうまく伝えられていたのかもしれません。

勝手に涙が出てくる眼鏡：涙眼鏡

「涙眼鏡」は、目元から頬にかけて水滴を流すことで擬似的な落涙を再現する眼鏡型のインタフェースです[3]。感情に関する心理学研究で言われている「泣くから悲しくなる」[4]を実際に体験するために開発しました。一方で、ただ涙を流す感覚を再現するだけではその原因が類推できず、感情の喚起にまでいたらないと考えました。そこで、映像鑑賞中に涙を流すことで、鑑賞に伴う感情体験を変化させることを狙いました。

視力を補うために眼鏡をかけたり、立体映像を見るために3D眼鏡をかけたり、視聴行為を拡張する目的で眼鏡を装着したりすることはもはや自然な所作です。本研究もそれに倣い、鑑賞体験に感情的な修飾を行う眼鏡型のインタフェースを制作することにしました。また、目元付近に擬似的な涙を提示するという点からも、眼鏡のような目の周囲に装着する道具がインタフェースの見立てとして望ましいと考えました。

そして、機構や制御回路、配線を最適化し、眼鏡として違和感なく装着できるように、大きさや軽さ、造形をできるだけ実際の眼鏡に近づけました。電源ケーブルを外に出すのがどうしても嫌だったので、単４乾電池一本で動くようにしました（どうせ作るんだったらカッコイイほうがいい）。

視聴する映像と涙液の流れるタイミングを同期するために、映像中に埋め込んだカラーコード（輝度情報）を利用しています。ディスプレイ前面に取り付けられた制御モジュールは、映像の一部に埋め込められた輝度情報を常に読み取り、その変化に応じて眼鏡に涙液を流すタイミングを送っています。このような制御方式を採用することで、映像作家や監督が、自身の制作した映像コンテンツにカラーコードを埋め込むだけで、それを見た人が涙を流すタイミングを自由に設定できると考えました。これにより、鑑賞者の感情体験に直接的に作用する映像設計が可能になります。

さらに、映像配信サービスの発展により、映像に合わせて感情も伝送できるようになったとき、こうしたインタフェースを用いれば、モジュールをTV画面に貼り付けるだけで、従来ある映像配信基盤を変えることなく、各家庭に感情を配信することが可能になると考えました。コメディドラマやバラエティ番組などでは、面白さを増長するため劇中に笑い声（ラフトラック; laugh track）が挿入されますが、これはいわば「クライトラック; cry track」と呼べば良いのでしょうか。

webで映像や写真を公開したり、展示する機会をいただいたりする中で、嬉しいことがありました。心理学系の研究者の方たちから実験で使いたいとお声がけいただき、共同研究につながりました。ディスプレイの輝度情報のみで制御可能であるため、デバイスやプログラミングの知識がなくても柔軟に実験に組み込むことができました。

また、展示の際に来場者からいただいたコメントが、このインタフェースの解釈を拡大することにつながりました。この出来事に関しては次回以降の記事で紹介したいと思います。

ちなみに、解釈を拡大した結果に関しては明日（2021年5月8日）から開催されるHCI系の国際会議にて発表予定です。

おわりに

本記事では、筆者が制作してきたインタフェースの設計意図や、込めた思いについて書き綴りました。

見立てを通して日常的なモノやそれらを使う際の動作や慣習を利用し、提案したインタフェースが使用されるコンテキストを示しています。提案したインタフェースが現状ある問題の解として妥当であるか評価することも大切ですが、それを使っている人々の様子を想像することが難しければ、そうしたインタフェースが真に使われる未来はなかなか訪れないと思っています。

次は皆さんが作ったモノの設計意図や思い描く未来について聞かせて欲しいです。

（この記事の内容は、2017年11月発行のヒューマンインタフェース学会誌 第19号における筆者の記事「行為を修飾するインタフェース」に加筆修正を加えたものです。）

編集協力：yunoLv3

参照

[1] 吉田成朗, 鳴海拓志, 櫻井翔, 谷川智洋, 廣瀬通孝. 2015. リアルタイムな表情変形フィードバックによる感情体験の操作. ヒューマンインタフェース学会論文誌, Vol.17 No.1, 15-26.

[2] Fritz Strack, Leonard L. Martin, and Sabine Stepper. 1988. Inhibiting and Facilitating Conditions of the Human Smile: a Nonobtrusive Test of theFacial Feedback Hypothesis. Journal of Personality and Social Psychology, Vol.54, No.5, 768-777.

[3] Shigeo Yoshida, Takuji Narumi, Tomohiro Tanikawa, Hideaki Kuzuoka, and Michitaka Hirose. 2021. Teardrop Glasses: Pseudo Tears Induce Sadness in You and Those Around You. In CHI Conference on Human Factors in Computing Systems (CHI ’21), May 8–13, 2021, Yokohama, Japan. ACM, New York, NY, USA, 14 pages.

[4] William James. 1884. What is an Emotion?. Mind Vol.9, No.34, 188-205.