No.10：複数話者に対する聴覚注意の皮質応答

Selective cortical representation of attended speaker in multi-talker speech perception
（Nima Mesgarani & Edward F. Chang, 2012）

明らかになったこと

・人間の聴覚システムは注意を向けている音と関係のない音を抑制することで，話者に注意を向けることを可能にする．

・複数人の音声の聞き分けは後側頭葉において，あたかも1人の話者の声を聞いているかのようにコード化されている．

背景

・人間は雑音の中でも特定の話者の声に選択的に注意を向けることができる．

・しかし，その音響的注意に関してどのような聴覚システムがはたらき，どのように情報が脳にコード化されているかは明らかになっていない．

手法

・男女2人の同時話者に対するリスニング注意タスクをおこない，その際の脳波を計測する．

タスクの刺激は，男女それぞれの声で　
　" ready (call sign) go to (colour) (number) now" 　
と同時に読み上げられる．
　call signは"ringo", "tiger"の2種類
　colourは"blue", "red", "green"の3種類
　numberは"two", "five", "seven"の3種類
これらを組み合わせ，男女合計24通りの刺激を作成する．
施行ごとにターゲットとなるcall signをあらかじめ提示され，そのcall signの方の話者の言葉に結びついたcolourとnumberを答える．

同時に2人の音声を聞かせた場合（single）の正答率は74.8%
どちらか一方のみの音声を聞かせた場合（attend）は100%だった．

・脳波は，3人のてんかん患者に対し，言語優位半球の後側頭葉に硬膜化電極を挿入し，計測した．

検討方法

・脳波から聞いた音声のスペクトログラムを再構成（参考）し，正解トライアルと不正解トライアルでそれぞれ，singleとattendの相関をみた．

正解トライアルにおいては再構成したattendとsingleの相関が高かった．
一方，不正解トライアルでは相関がみられなかった．

また，singleとattendの類似性を見る指標（AMI）では
正解トライアルではcall signの終了と同時に急激に大きくなった．（attentionが向けられた）
不正解トライアルではcall signの途中で下がった．（attetionが逆方向に向いた）

つまり，注意が成功した時はcall signの途中でどちらにも注意を向けず，call signの終了と同時に注意が向いていたことが明らかになった．

・男女それぞれの話者の声（single）をトレーニングデータ，合成音声（attend）をテストデータとし，どちらの声に注意を向けていたのか，脳波を用いて予測を行なった．

デコーディングでは最小二乗法を用いた線形回帰による分類をおこなった．

正解トライアルではcall signのタイミングでは分類ができなかったものの，colourとnumberのタイミングでは高精度で分類ができた．
一方，不正解トライアルでは全てのタイミングにおいて分類ができなかった．

さらに，不正解トライアルを
　colourとnumberの組み合わせミス（Incorrect）
　組み合わせは正解しているがターゲットと逆の話者の回答（Correct masker）
の2種類に分類し，それぞれの場合の話者の予測をおこなったところ，
Incorrectがチャンスレベルであったのに対し，正解トライアル（Correct target）では93%, Correct maskerでは27.3%となり，優位に話者の推定をすることができた．

議論

・人間の聴覚システムは関係のない音を抑制し，特定の話者に注意を向けることを可能にしている．

・後側頭葉は単に音の特性を反映するのではなく，知覚的側面の影響を受けている．

・注意のミスは内的な干渉による神経活動の低下によって引き起こされたものかもしれない．

・さらに，脳内のメカニズムを明らかにすることで，自動音声認識等の工学的アプローチや，病気や恒例による言語知覚障害のメカニズムの解明に繋がるかもしれない．