HCIの「3つの波」
イギリスの学部課程のHuman Computer Interaction (HCI)の授業で習った、HCIの「３つの波」という考え方のまとめです。
１カリキュラムの例として、留学記として、３つの波の話をしながら誰かの何かにお役に立てれば幸いです。
この記事はHCIアドベントカレンダー2023の22日目の投稿です。
自己紹介
こんにちは、ブリストル大学コンピューターサイエンス学部３年生の中川茉奈美(@manami_bunbun)です。
未踏Jrなどの高校時代の経験をきっかけにHCI研究を志し、学部からHCIを学べるイギリスのUniversity of Bristol(ブリストル)に進学する選択をしました。
2023年は２つのHCI研究機会に恵まれ、これからもHCIの世界にいようと決意させてくれたぐらいすごく楽しかったです。まだ研究紹介は書けないタイミングなので、最近の大きなインプットである"HCIの3つの波"を、テスト勉強がてら私なりにまとめてみようと思いました。訂正項目があれば、1月にあるテストの私の点数のためにも、是非ご指摘ください。
はじめに
HCIのユニットカタログにさらっと
3 waves historical development of the theoretical underpinnings of human-computer interaction
とかいてあって、3 waves….?となって検索して出てきたのが、
HCIアドベントカレンダー2021 の加藤淳さんの「HCI 研究の捉えどころのなさと3つの波、次の波」でした。
日本語で「3つの波」の考え方がヒットしたのは大変ありがたく、自分も学んだことを日本語で残しておこうという考えに至りました。
また、授業の中心となっていたThird-wave HCI, 10 years later---participation and sharing(Susanne, 2015)を参考に、私なりの解釈ですごく噛み砕いていきたいと思います。
３つの波
HCI分野の考え方が、３つの波（ブーム）で進化してきたという意見が”3 waves”です。
「進化してきた」と書くと、過去の分析手法は古典的すぎるのかとなるかと思われるかもしれません。しかし、そうではなく、むしろ今もデザインの現場で使われています。
というのは、例えば第一の波の分析手法は数値的な結果を基に計算するので、客観的な指標としてコンセンサスのとりやすいものになります。
一方で第三の波になると、観察やアンケートを基に解釈や推察を行うので無限に色んな可能性を考えることができます。
個人的に考えていて楽しいのは第三の波です。ただ、テストやビジネス文脈でのプロダクトデザインなど、他者と答え合わせをするような場面では第一の波の考え方の方が便利だろうなと思いました。
第一の波
第一の波では、他の波と比べると機械だけに焦点を当てて使いやすさを考えるイメージです。例として、Fitts' lawとKLM-GOMSを紹介します。
Fitts’ law（フィッツの法則）
1954年にFittsが提唱した法則です。噛み砕いて言えば、「対象物が大きくて近いほどポインターをはやくあわせられるよね」といった話です。
複数の方法で数学的に定式化されています。
これに関しては日本語で解説が多くあるので、図だけ貼ります。
図の字が小さくて恐縮ですが、ぼんやり眺めていただいたらわかるように、ポインターを対象物に移動させるまでの時間 (T) を予測できることを提唱した法則です。
KLM-GOMS
GOMSモデルという大枠の中の一つがKLM-GOMS です。
GOMSはThe Psychology of Human Computer Interaction (Card et al., 1983)で、ユーザーの認知構造を "Goal", "Operators", "Methods", "Selection Rules"の4 つのコンポーネントで記述するモデルとして提唱されました。
これらの要素に分けることで、目標タスク実行完了時間を予測することができるという考えです。
KLM-GOMSは、Keystroke-Level Modelの頭文字から取られています。
いくつかあるGOMSのテクニックの一つで、一連のオペレーターをリストし、個々のオペレーターの実行時間を合計することで時間を予測します。
例えば、オンラインアンケートを作成するときに、各選択肢をドロップダウン形式にするか、または記述式にするかなど検討するときに使います。
この場合、一連のオペレーターをリストすると、以下のように分けられます。
アンケートを開く
質問を読む
選択肢を選ぶ
提出ボタンを押す
この中の「3. 選択肢を選ぶ」のタスクのデザインは、国一覧の膨大なドロップダウンの選択肢から"Japan"を探す場合であれば、"Japan"と手打ちで記述する方がかかる時間は短いかもしれません。
このような仮説を検証するために、実際にタスク実行完了時間を何人かで測定し平均値を算出することで、一般的なタスク実行完了時間を予測します。
第一の波まとめ
このように、第一の波では、画面上(UI)の使いやすさに着目し、数値的な分析を行います。
メリットとして、明確に何を改善すれば良いのかわかりやすいです。
例えば、Fitts' lawではボタンの配置や大きさによる使いやすさを数値的に分析して改善することができます。
デメリットとして、これらの発想はユーザーがある程度操作に熟練しているという前提にあることです。
スマートフォンやPCが普及している現在は、この前提はある程度適応されると思います。ただ、この第一の波が来ていた1980年代はまだ熟練ユーザーは少ない時期だったと思うので、今よりも限界を感じる方が多かったのだと思います。
第二の波
第一の波と比べると、機械を使う人間にも着目したUXデザイン的な発想になります。
個人的には、大枠のコンセプトはわかりやすいのですが、各分析手法の背景や考え方を深く理解しようとすると結構ややこしい気がしています。
第二の波の例として、Distributed Cognition, Activity Theory, Situated Actionが挙げられます。
Distributed Cognition
Distributed CognitionはHutchinsが1990年代に提唱しました。
この理論は、認知が個人の頭の中だけでなく、社会的環境やツールを通じて分散している(分散認知)という考え方に基づいています。
個人と社会的コンテキストとの間の相互作用に焦点を当てており、ユーザーとその周囲の環境やツール間の認知活動(情報)の流れを理解するために使われます。
How to land a place (Hutchins, 1995)という船員がナビゲーションタスクを実行する方法を研究が有名です。
Activity Theory
Vygotskyらによって1990年代に提唱された、Activity theoryは概念的アプローチであり、予測可能な理論ではありません。
個人がどのようにして文化的ツール（言語、技術など）を使用して活動を行い、その活動が個人の思考や学習にどのように影響を与えるかを理解するための枠組みを考えます。
具体的には、"Activity"は以下の要素で構成されているとし、矛盾点(contradiction)を見つけるための分析を行います。
Subject (individual or group)：主体
Object or motives：対象物
Tools/instruments : 媒介となる道具
Socio-cultural rules : 文脈
まずOutcome(ゴール)を設定し、このトライアングルに倣って分析していくやり方があります。
詳しくはVictor Kaptelinin. 2014. Activity Theory Retrieved が参考になります。
Situated Action
Suchmanが"Plans and Situated Actions: The Problem of Human-machine Communication"の中で1987年にSituated Actionを提唱しました。
人間と機械のコミュニケーションにおいて、人間の行動は事前に定められた計画に基づくのではなく、その時々の状況や文脈によって決まるという考え方です。
少し難しくいえば、認知主義的なアプローチでは、行動が構造化されていることが前提となっていますが、実際にはユーザーがテクノロジーを利用する際の実際の状況や文脈から構造化できない影響が多く含まれているという主張です。
この主張のために、三つのコンセプトが紹介されています。
指示性（Indexicality）: 言語は指示的であり、行動やコミュニケーションの意味は周囲のものへの参照に依存する。
臨機応変（Ad Hoc）: 行動や解決策は特定の目的のために存在し、計画は一般的な目的を持ち、行動は臨機応変な性質を持つ。
相互理解性（Mutual Intelligibility）: 互いに理解し合うための努力が必要であるが、機械はこれを行わないので難しい。
これらを通じて、サッチマンは、人間と機械間の相互作用における、状況や文脈の重要性と、計画やルールに頼らない臨機応変な行動の必要性を指摘しています。
使い分け
各考え方はわかったものの、個人的に混乱したのが、上記三つの手法の使い分けでした。TAいわく、以下のように使い分けたら良いらしいです。
第二の波まとめ
第二の波は "人間＋機械" にフォーカスが当たっており、第一の波よりは包括的な分析ができます。
例えば、「機械を使用して、子供にひらがなを教えたい」(アンパンマンの喋って光る「あいうえお表」ボードを想定します) のようなゴールを設定します。
そのゴールを達成するために、どのような要素や文脈を考えるべきなのかを観察データをもとに書く手法を用いて炙り出して改善していくというようなイメージです。
この例だと、アンパンマンが喋る機能は「ひらがなを教える」というゴール達成に役立つのかみたいな分析ができます。
しかし、これは同時に第二の波の限界を示唆します。
第二の波では、教室や学習時間など機械を使うための「環境」が用意された特定の状況を想定しているからです。
それに対して、日常生活で子供が「ひらがなを学ぼう」と思うにはどうすれば良いのか、といった、もっと大きな「環境」でモチベーション等を考えるのが第三の波です。
第三の波
あえて言語化するなら、第二の波が特定の環境でのgoal-orientedだったのに対し、第三の波は日常生活でのmotivation-orientedです。
例として、Flow States, Self-determination Theory(SDT)を用います。
Flow State
CsikszentmihalyiによってFlow Stateは提唱されました。
(＊Flow State周りはオリジナルの文献へのアクセスが厳しめに制限されているので、用語の呼び方などは人によって異なる場合があります)
まず、個人が感じるタスクの難易度 (Challenge level) と自身の能力 (Skill level) が、どちらも平均以上であったときに"Flow"は発生します。
この項目は"Challenge-Skill balance"と呼ばれています。
このFlowが発生したとき、以下の８つの心理状態を図ることができます。
Action awareness merging : 無意識に、自然に、動作できているか
Clear goals: やることが明確か
Unambiguous feedback: 機械からのフィードバックが明確か
Concentration on the task at hand: タスクに集中できているか
Sense of control: タスクを制御している感覚があるか
Loss of self-consciousness: 自身を忘れているような感覚があるか
Transformation of time: 時の流れが違う感覚があるか
Autotelic experience: 報酬などに左右されずモチベートされているか
そして、"Challenge-Skill balance"も含めた上記９つの人間の心理状態を、アンケート等を用いて各項目において推察します。
アンケートは色々種類があります。
まず、FSSとDFSがあり、ざっくりした違いをいうと、FSSはタスク後にアンケートに答えてもらいますが、DFSはタスク中に随時アンケートに答えてもらいます。
(参照：Assessing flow in physical activity: The flow state scale–2 and dispositional flow scale–2 (Jackson et al. 2002))
また、FSSの中にも36項目の質問を用意する長いバージョンもあるのですが、ここではShort Flow States Scalesの方を紹介します。
(参照: Development and Validation of a Scale to Measure
Optimal Experience: The Flow State Scale (Jackson et al. 1996))
Short Flow States Scalesは各項目に対して１つの質問でスコア化して測ります。
スコアへの解釈まとめは以下の表の通りです。
Self-determination Theory(SDT)
Edward と Richard によって1988年に提唱されたSDTは、人間の行動の動機づけに関する心理学的理論です。
この理論では、自律性（Autonomy）、能力（Competence）、関連性（Relatedness）の、主に3つの基本的な心理的ニーズに注目しています。
Autonomy (自律性) : 個人が自分の行動を自由に選択し、自分の価値観や目標に沿って行動できる感覚。
Competence (能力) : ユーザーが自分自身を有能で効果的だと感じること。
Relatedness (関連性): 他者とのつながりを感じ、所属感を持つこと。
最近では、SDTをより日常的な大きな文脈で捉えようという動きになっています。
この図の引用元である、Designing for motivation, engagement and wellbeing in digital experience (Peters et al., 2018) が詳しく解説しています。
第三の波まとめ
このように、日常生活の範囲まで心理にフォーカスを当てた分析が第三の波です。
学部生が書いている特権として感覚的な言語化が許されるなら、「機械によって意識高い系にしていこうぜ」みたいな波だった気がします。
第四の波…?
第三の波が提唱されてから随分と時間が経ち、LLMなど "AI" の使用が、より日常的になる中、第四の波が何かみたいな議論があります。
個人的には、今までの流れが「ユーザーが主体的に(積極的に)動く」ことを前提としていたのに対して、その前提が崩れる事象を想定した波が来るのではないかと思っています。
例えば「めんどくさいからLLMにやらせよう -> LLMの出力を受けて行動を変容させる」ケースの場合、その根底にあるのは第三の波が考えているような意識高い系のモチベーションではない気がします。機械(AI)の出力の質によって必要と判断すれば作業する、というような比較的受動的な行動な気がします。
加えて、今までは機械の出力に「正解」がある想定でしたが、生成系AIの出力が「正解」かは不安定であり、その前提を踏まえたのが次の波がカバーするべき範囲のような気がしています。
本来人間が行うタスクの一部を「機械が代替できるのでは」と発想して実行しアウトプットを活用する …そんな意識低い系モチベーションというか、機械マネジメント力のようなものを想定した分析手法が生まれてくるのではと勝手に思っています。
(サッチマンのSituated Actionの議論がこれらをカバーできるのかもしれないとも思います。)
まとめ…?
HCIの３つの波について私なりにまとめてみた上で、第四の波について考察しました。
Third-wave HCI, 10 years later---participation and sharing (Susanne, 2015)の考え方を多角的に検討した結果のまとめというよりは、「この考え方を勉強しました！ 」という記事なので、まだ解像度が荒い部分があるのはご容赦ください。
ちなみに、この授業のカリキュラム的には、
オンデマンド授業で各理論の概要を掴む
ワークショップで習った理論の応用の仕方を実践的に学ぶ
対面セミナーで最近の応用事例などをもう一回授業してもらう
というサイクルを１週間で回すことを、6回繰り返しました。
その後、コースワーク期間が約3週間ありました。
内容としては、指定された大学内での動作に対して各波の分析手法を用いて分析や比較をするといったようなチームレポートです。
で、クリスマス休暇を挟んで、学んだ理論の応用力を問われるような記述式のテストがあります。
内容的には結構理解したつもりですが、過去問がリリースされないのと、IELTsのwrting試験のような要素も入るので少し怖いです。
最後に
イギリスは学部が３年制なので、今は最終学年です。夏に学部を卒業した後は、HCIの研究をするためにイギリス外に進学する予定です。
正直、具体的な進学先はどうなるかわからないので、機会があればラボ見学など色んな方にお話を伺いたいです。
また、テストが終わった2024年2月以降は手が空いていて、何か研究したいと思っています。是非研究機会やカジュアルに話す機会、勉強会など何でもお声がけいただければ幸いです。
現在の興味的にはCSCW, AI-mediated communicationなどですが、これから大学ではハードウェアのインタラクションの授業があったり視野を広めている段階なので、とりあえず何でもお声がけください。
2018年ぐらいにHCIをやりたい！と私が言語化したのを見ていた方々からすると、やっとあいつ研究できたのねってなっていると思います。
渡英直後にコロナ禍に巻き込まれて一生振り回されていた私に、機会を与えてくださったり、個別に話してくださったり、勉強会や様々な場所でモチベーションを支えてくださった方々に本当に感謝しています。
これからも精進していきますので、今後ともよろしくお願いいたします。
参考
(引用スタイル揺れ、ごめんなさい…)
[３つの波の考え方]
HCI 研究の捉えどころのなさと3つの波、次の波 （Kato, 2021）
Third-wave HCI, 10 years later---participation and sharing (Susanne, 2015)
[第二の波]
Victor Kaptelinin. 2014. Activity Theory Retrieved
[第三の波]
The Psychology of Human Computer Interaction (Card et al., 1983)
Development and Validation of a Scale to MeasureOptimal Experience: The Flow State Scale (Jackson et al. 1996)
Assessing flow in physical activity: The flow state scale–2 and dispositional flow scale–2 (Jackson et al. 2002)
Karen A Miller, Edward L Deci, and Richard M Ryan. 1988. Intrinsic motivation and self-determination in human behavior. Contemporary Sociology 17, 2 (1988), 253.
Designing for motivation, engagement and wellbeing in digital experience (Peters et al., 2018)