共感覚と感覚間協応と多感覚統合の違い

この記事は，認知心理学や工学の分野でも近年注目が集まっている「共感覚」「感覚間協応」「多感覚統合」について取り上げ，それぞれの類似点と相違点を簡易的にまとめたものである．

記事の内容は共感覚研究者である横澤一彦教授・浅野倫子准教授らによって執筆された「共感覚-統合の多様性-」(勁草書房, 2020)の第6章に記述されている内容を主に参照している．また，内容に齟齬があると誤解を招いてしまうので，著者の横澤一彦教授と指導教員である鳴海拓志准教授にこの記事の内容をチェックして頂いた．

第1章〜第3章でそれぞれの言葉の定義と大まかな解説を行った後，第4章でこれまでの情報をもとに「共感覚と感覚間協応と多感覚統合の違い」についてまとめた表を作成した．結論だけ閲覧したいヒトは第4章から見ることをおすすめする．

1. 共感覚とは

1-1. 定義

一つ一つの文字に特定の色を感じる「色字共感覚」や，数字が特定の空間に配置されているように感じる「数型共感覚」など，誘因刺激と励起感覚の組み合わせに様々な種類がある"共感覚"．

数型共感覚の一例(Smilek et al., 2007)

実態があまりに多様な共感覚を科学的に議論可能な土台にあげるためにあえて定義するのであれば，以下のような(大まかな)定義になる．

共感覚(synesthesia)(Yokosawa & Asano, 2020)
「ある感覚や認知的処理を引き起こすような情報(刺激)の入力により，一般的に喚起される感覚や認知処理に加えて，他の感覚や認知処理も喚起される現象」

1-2. 特徴

この定義を踏まえると「明るい声」のような感覚モダリティを超えたメタファーや幻覚も共感覚に分類してしまいそうになるが，実際には共感覚とは異なるものとして扱う．それは，以下に示されている共感覚の基本的特徴を満たしていないからである．(Simner & Hubbard, 2013; Ward, 2013)

共感覚の基本的特徴(Simner & Hubbard, 2013; Ward, 2013)
1. 保有率が低い
2. 日常的な認知活動が誘因刺激となる
3. 時間的安定性がある
4. 個人特異性がある
5. 自動性がある
6. 意識的経験である
※各項目については第1章で詳しく記述されている

この基本的特徴は，共感覚者をたくさん集めて，一見バラバラに見える共感覚に共通する性質を探し出し，さらに可能なものを客観的手法を用いて検証するという一連の作業でわかった特徴であるため，必要条件とは言い切れない．この基本的特徴に基づけば，「ミラータッチ共感覚」は個人特異性が低いため共感覚とは異なるという批判もある．(Ward & Banissy, 2015) 

ミラータッチ共感覚 (Banissy & Ward, 2007)
他人が身体に触れられているのを見て，
自分の身体が触れられていると感じる共感覚

また，共感覚における励起感覚はその共感覚者自身しか経験できず外部からはその内容を直接的に観察できないことからも，「共感覚とは結局なんなのか」という質問に答えることは現状では難しい．

※共感覚についての最新の研究動向については，この記事で取り上げている共感覚: 統合の多様性(横澤 & 浅野, 2020)やJamie Wardによるこちらのレビュー論文，「Philosophical Transactions of the Royal Society B」という学会誌を参照．

2. 感覚間協応とは

2-1. 定義

ピンク色に甘みを感じたり(Hidaka & Shimoda, 2014)，「ブーバ・キキ効果」という音の響きによって異なる形状の印象を励起する(Ramachandran & Hubbard, 2001)など，一見無関係な情報間に自然と結びつきに結びつきを感じることがある．これらは「感覚間協応」に分類される．感覚間協応は単純な知覚属性間に生じるものから，印象評価など高次の認知処理が加わるものまで様々な種類がある．

ブーバ・キキ効果(Ramachandran & Hubbard, 2001)
「ブーバ」「キキ」がそれぞれどちらの形状に適合するか回答を求めると，ほとんどの参加者が丸みを帯びた形状を「ブーバ」
尖っている形状を「キキ」と答える．

感覚間協応は前述した共感覚の定義を満たすため，両者をひとまとまりにして見る立場もある(Cohen, 2017; Martino & Marks, 2001; Ramachandran & Hubbard, 2001)．しかし，両者間に相違点に注目し，2つを独立した異なる現象として扱う立場もあり，共感覚および感覚間協応の基盤メカニズムを解明するうえでは相違点に着目するべきであるという考えから，両者を区別するとしている．それを踏まえてCharles Spenceは感覚間協応について以下の定義をレビュー論文内で述べている(Spence, 2011)．

感覚間協応(cross-modal correspondence)
「異なる感覚モダリティに与えられる刺激(つまりオブジェクトや出来事)の属性や次元の間に適合性が見出される効果(両者感の冗長性は問わない)」

2-2. 冗長性について(synathetasia / cross-modal)

定義で記述されている「冗長性」については以下のような解説がされている．

冗長性(redundant)
「処理対象とする刺激属性が複数の感覚モダリティで知覚・認識可能であるかをさす概念」
----
<例>
冗長性がある→対象となる刺激属性が，1つの感覚モダリティの処理だけでも把握可能な情報なのに，複数の感覚モダリティの処理によって把握している．Ex: オブジェクトの知覚(視覚や触覚など)

冗長性がない→対象となる刺激属性が，特定の感覚モダリティでのみ処理可能である．Ex: 音の高さ(聴覚)や明るさ(視覚)

その上で，英語文献では冗長性がない刺激属性を対象とする場合はsynesthetic(共感覚的)，冗長性の有無を問わない場合にcross-modal(感覚間)と使い分けられている傾向がある．ただし，冗長性の有無の判断は難しく，横澤やSpenceらは冗長性がある可能性を否定できない場合を含んだ，より広い範囲の現象をカバーする用語として感覚間協応(cross-modal correspondence)を用いている(Spence, 2011)．

※cross-modal correspondenceの訳語として，感覚間協応以外にも「感覚間一致」「感覚間対応」を採用している研究者もいる．

2-3.特徴

感覚間協応は，この冗長性以外にも大きな特徴として「大人数の人に共有されるもの」という特徴がある．これは，一般人口の少数しか持たない共感覚とは大きく異なる性質である．

感覚間協応の特徴(Spence, 2011)
1. 冗長性の有無を問わない
2. 大人数の人に共有されるものである．

2-4. 4つの分類

知覚処理レベルのものから印象評価などの高次な認知処理レベルまで多くの種類が存在する感覚間協応が全て単一のメカニズムで生じているとは考えにくいため，4つのグループに分類し，それぞれ異なる基盤メカニズムが存在するのではないかと考察している(Spence, 2011; Deroy et al., 2013)．

感覚間協応の4つの分類
1. 構造的協応(structual correspondences)
　2つの情報が共通の神経基盤で表象されることが原因で生じるもの．
2. 統計的協応(statistical correspondences)
　生活する中で環境についての統計情報が蓄積され，共起頻度の高い刺激属性のペアの情報が内在化することによって形成されるもの．
3. 意味的協応(semantically mediated correspondences)
　情報に共通の言語ラベルが与えられることにより生じるもの．
4. ヘドニック協応(hedonicaly mediated correspondences)
　共通した感情を喚起させる情報間に生じるもの．

しかし，生活環境内で共起しやすい可能性がある「統計的協応」に含まれるものは同じ言語ラベルを適用される可能性が高く「意味的協応」にもなりえるなど，複数の分類に当てはまる感覚間協応が多数存在する．このようなグルーピングは基盤メカニズムを明らかにする上で重要な意味を持つが容易な作業ではない．また，Felipeらは構造的協応に分類されるとされていた色とピッチの感覚間協応にも文化差異があることを指摘しており，これは構造的協応にも統計的協応などと関係があると示唆される内容となっている(Felipe et al., 2020)．

※このほかにも，感覚間協応のメカニズムに関する議論やその効果について共感覚: 統合の多様性(横澤 & 浅野, 2020)では述べられている(とても面白い)が，ここで書いているとキリがないので割愛する．

3. 多感覚統合とは

3-1. 定義

感覚間協応とは異なる形での感覚モダリティ間の相互作用処理として，多感覚統合(multisensory integration)があげられる．この多感覚統合は以下のような定義として紹介されている．

多感覚統合(multisensory integration)(Yokosawa & Asano, 2020)
「異なる感覚モダリティに入力された刺激を1つの事象として知覚・認識する処理」

3-2. 特徴

ここでは特に感覚間協応と多感覚統合の違いについてまとめる．

感覚間協応と多感覚統合の違い(Yokosawa & Asano, 2020; Spence, 2011; Spence, 2007; Welch & Warren, 1986)
1. 刺激の感覚モダリティの数
感覚間協応：複数の感覚モダリティに刺激が入力されるとは限らない
多感覚統合：必ず複数の感覚モダリティに刺激が入力される必要がある
2. 刺激の時空間的な一致性の有無
感覚間協応：時空間的な一致性を問わない
多感覚統合：時空間的な一致性に基づく必要がある(ひとまとまりの事象として知覚・処理されやすい)
3. 一体性の仮定(unity assumption)の有無
感覚間協応：一体性の仮定が働かず，あくまでも独立のものとして扱われる
多感覚統合：一体性の仮定が働き，複数の感覚モダリティに入力された情報が共通の事象に由来すると仮定する．

これらから，感覚間協応と多感覚統合はそれぞれ異なる形で感覚に入力された情報を処理していると言える．

感覚間協応：共起頻度や意味概念的な共通性など生活環境内に存在するなんらかの規則性に基づいて，関連のありそうな情報同士をまとめる．
---
多感覚統合：1つの情報源から発生された情報が異なる感覚器官に入力され，感覚モダリティごとに分けられたものを，再び一つにまとめる．

4. 共感覚と感覚間協応と多感覚統合の関係

これまでの情報をもとに，共感覚と感覚間協応と多感覚統合の関係を整理した図を以下に示す．この表は，Deroy & Spence (2013)による共感覚と感覚間協応の類似点・相違点を翻訳した表(Yokosawa & Asano, 2020)に，この記事を執筆している著者が"多感覚統合"の欄を追加し，それぞれの項目について加筆修正したものである．加筆修正するにあたって明示的ではなかった部分については参考文献を示している．

Table 1 共感覚と感覚間協応と多感覚統合の関係
大きい画像はこちら

共感覚と感覚間協応については査読付き論文誌にも記載されている"正しい"情報であるが，多感覚統合に関しては著者が本記事を執筆するにあたって追加した項目であるが故に議論の余地が残されている点に留意されたい．

また，前章までで述べたように共感覚・感覚間協応・多感覚統合のそれぞれの境目はいまだに曖昧で，切り分けが明確ではないということも忘れないようにしたい．

知覚情報処理について議論される際に「クロスモーダル知覚」という単語が使用されることがある．これは以下のように定義されている．

クロスモーダル知覚(cross-modal perception)(Narumi, 2018)
ある感覚における知覚が同時に知覚された他の感覚に対する刺激の影響を受けて変化した結果生じる知覚
<この知覚が生じる原因>
①感覚間協応
②多感覚統合と最尤推定
③コンテクスト・知識・経験

クロスモーダル知覚は時空間一致性が必須である点において多感覚統合ではあるが，複数の感覚モダリティに刺激が入力されるとは限らない点をみれば感覚間協応とも言え，どちらの特徴ももつ．しかし，その定義として「誘因刺激と励起感覚が異なる感覚モダリティにまたがっている」という点でグルーピングした点が前章までに記述した分類方法とは異なると考えられる．

5. おわりに

前章までに共感覚・感覚間協応・多感覚統合・クロスモーダル知覚について定義や事例を確認しながら，その差異をまとめるということを行った．Table1でも指摘しているように，これらの知覚処理は相違点だけではなく類似点も多く，捉え方の違いであると指摘される人もいるかもしれない．しかし，「表層的な類似性が同じメカニズムの上で成り立っているという保証がない一方で，相違点が示すものの裏にはメカニズムの違いが潜んでいることが多いため相違点に向き合う方が建設的である．」というYokosawa & Asano (2020)の意見を僕は支持したい．

僕が所属する研究室では工学的な文脈から多感覚統合やクロスモーダル知覚のインターフェースへの応用に取り組むことが多い．このような認知心理学的な文脈でそれぞれの知覚処理の相違点や類似点をまとめることで，表層的なディスカッションのみならず，より源流に近いヒトの知覚処理メカニズムについて，研究を多面的に捉えることができるのではないかと考えている．

最後にはなるが，この記事を執筆するにあたって添削・アドバイスを快く引き受けてくださった横澤一彦教授と鳴海拓志准教授にこの場を借りて感謝申し上げたい．

6. 参考文献

本記事の中で参照した文献についてはすべてハイパーリンクを指定しているのでそちらを参照していただきたい．しかし，Table. 01に関してはリンクを埋め込むことができなかったため以下に参考文献を示す．

[1]Odegaard, B., & Shams, L. (2016). The brain’s tendency to bind audiovisual signals is stable but not general. Psychological science, 27(4), 583-591.
[2]湯淺健一. (2016). 主観的時間知覚に関する多感覚処理メカニズムの研究.
[3]妹尾武治. (2019). ベクションの多感覚性について―視覚にとどまらないダイナミクス―. 日本音響学会誌, 76(1), 46-52.
[4]Narumi, T., Miyaura, M., Tanikawa, T., & Hirose, M. (2014). Simplification of olfactory stimuli in pseudo-gustatory displays. IEEE transactions on visualization and computer graphics, 20(4), 504-512.
[5]Smith Roley, S., Mailloux, Z., Miller-Kuhaneck, H., & Glennon, T. (2007). Understanding Ayres' sensory integration.
[6]Stein, B. E., Meredith, M. A., Huneycutt, W. S., & McDade, L. (1989). Behavioral indices of multisensory integration: orientation to visual cues is affected by auditory stimuli. Journal of Cognitive Neuroscience, 1(1), 12-24.
[7]Dionne-Dostie, E., Paquette, N., Lassonde, M., & Gallagher, A. (2015). Multisensory integration and child neurodevelopment. Brain sciences, 5(1), 32-57.