日本語を勉強する外国人であり、また日本語教育を探求する研究者として学んだこと
ウッドマン カタリナ様
おめでとうございます！あなたの論文「Audiovisual Speech Perception of Multilingual Learners of Japanese」がInternational Journal of Multilingualismに掲載されることが決定しました。
このメールを受け取ったとき、すごく嬉しかった。
修士課程を修了するために2年間の深い学びと努力を重ねた後、初めて筆頭著者として論文が受理されたことは、自分が学者としての一歩を踏み出したという感覚を強く感じさせた。
この論文の出版にあたり、これまでの研究の道筋について考えを巡らせることにした。結局、18歳で高校を卒業し、脳神経外科医になろうと考えていた当時の私の目標は、明らかに時間とともに変わってきた。
本記事では、この道のりについて考察し、この研究がどのように生まれ、今後の博士課程での研究にどのような意味を持つのかを説明したいと思う。
新米研究者
学部生の時から、研究に参加することに強い関心を持ち始めた。まず、アルツハイマー病のマウスモデルを用いたミクログリアの研究を行う神経科学の研究室に所属し、その後、様々な文脈で体周辺空間（peri-body space）に関する研究を行う知覚心理学の研究室に参加した。
この頃から認知科学の研究を始め、徐々に興味が高まり、最高潮に達したのは、オンタリオ州ロンドンのWestern Universityで開催された「Association of Scientific Studies of Consciousness（ASSC）」の学会に参加したときだった。この時点で、心の哲学の授業で学んだアイデアと心理学の授業で学んだ内容を組み合わせることに楽しさを見出し、最終的に医学進学コースから研究コースへと進路を変更した。
この時点で、具体的にどの分野の研究を行いたいかはまだ明確ではなかったが、研究室での活動が非常に楽しく、答えたい質問が山ほどあることだけは確かだった。様々なスキルを身につけたが、特に影響を受けた経験の一つが、1890年から1968年まで（アメリカでサイケデリックスが禁止されるまで）に発表されたサイケデリックスに関する歴史的な心理学研究を調査するプロジェクトであった。
同時に、2019年から2020年にかけて奈良教育大学に留学し、日本語学習に多くの時間を費やしたことで、言語への情熱も一層高まった。この時、言語学習者としての自分と心理学研究者としての自分という、二つの面を持つようになった。
この経験は卒業論文に影響を与えた。創造性の測定方法が提示され、実験をデザインする課題が与えられた際、言語への接触が創造性に与える影響についての研究をデザインした。
しかし、奈良教育大学での留学後すぐに卒業して京都大学に進学する予定であったが、人生の状況が変わり、パンデミックにより日本の国境が閉鎖された。
そのため、1年間を費やして哲学の学位を修了することに決め、仏教とヒンドゥー教のテキストに対する情熱を見出し、結果として「伝統的な自己の構築とアナッタ（無我）教義」に関する二つ目の卒業論文を執筆することになった。
卒業後、言語学・認知心理学・心の哲学という三つの愛する分野があった。これらのトピックに対する情熱を持ちながら、大学院進学の準備を整えていた。しかし、パンデミックのため、日本の国境はまだ非日本人には閉ざされたままだった。
京都のアパートに移ることができず、契約を完全に放棄せざるを得なかった。その代わり、アメリカと日本の時差のため、夜にオンライン授業を受け、昼間はスターバックスでバリスタとして働いていた。パンデミックの間、サービス業で働きながら、日米の興味深い違いに気づき始めた。
マスク
パンデミック前に日本で生活していたため、常にマスクを着けていることに慣れていた。クラスメートが特に理由もなくマスクをしているのを見るのは日常的な光景だった。パンデミックが始まった際も、日本ではすでにマスク文化が定着していたため、マスクの着用は容易に受け入れられた。
一方で、アメリカではマスク着用がうまくいっていなかった。パンデミック前の日本ではクラスメートがマスクをしていることは当たり前だったが、アメリカでは突然、マスクを着けるべきか否かを巡って常に議論が巻き起こっていた。
しかし、この状況で特に興味を引いたのは、マスクを着けるとお互いの理解が難しくなるという一般的な不満だった。これは、日本で生活していた間に一度も感じたことも、聞いたこともない問題だった。
この日米間の違いに興味を持ち、視聴覚的な音声知覚に関する探求の道へと導かれた。
私たちはみんなリップリーディング（読唇術）を使っている
リップリーディングとは、口の動きを視覚的な手がかりとして音声を理解する技術である。多くの人々は、リップリーディングを聴覚障害者のコミュニティと結びつけて考える傾向があるが、これは手話が利用できない場面で、聴覚障害者がコミュニケーションの一環としてリップリーディングに頼ることが一般的であるためである。
しかし、言語が手話であれ音声言語であれ、すべての言語において、非言語的な要素がコミュニケーションに寄与している。これには、表情や身振り、文脈的な手がかり、そして口の動きが含まれる。
言語の処理を考える際、脳を「予測を行う機械」として捉えると理解しやすい。脳は、常に周囲で何が起こるかを予測しようとしており、その際、環境や経験から得られる様々な手がかりを使って、自らの予測を検証したり修正したりしている。
特定の音を発音する際に口が作る形は、このプロセスの一部である。この視覚的な情報は、実際に聞こえる音声情報と組み合わされ、これを「視聴覚統合 (Audiovisual Integration)」と呼ぶ。
視線知覚研究の中では、この視聴覚統合が視覚的注意（visual attention）の一部として取り扱われ、コミュニケーション中の眼球運動に特定の変化をもたらす。つまり、会話に参加している際、視線は自然に話者の顔や他の関連する視覚的手がかりの間を行き来する。この視線の動きは、視線追跡装置を用いて研究者が測定することができる。
その一例として、Hisanaga, Sekiyama, Igasaki, Murayamaによる研究が挙げられる。彼らは、文化的および言語的要因が音声知覚に与える影響を調査し、視覚と聴覚の情報をどのように統合するかを検討した。この研究では、日本語話者と英語話者を比較し、反応時間、脳活動（EEGによる測定）、および視線追跡という三つの主要な指標に基づいて分析が行われた。
この研究によれば、英語話者は口の動きを視覚的に確認することで、反応時間が短縮され、認知負荷が軽減されたことが明らかになった。つまり、視覚的および聴覚的な音声手がかりを統合することで、リスニングがより容易になり、視線の動きもそれに応じて変化することが示された。
この文献を読み進めるうちに、マスクを着用している時に多くの人々が他者を理解しづらいと感じる理由の一つがこれかもしれないと気づいた。もし成長過程で口の動きといった視覚的手がかりをコミュニケーションの一部として利用してきたならば、それが突然取り除かれた時にコミュニケーションが難しくなるのは当然のことだろう。
しかし、疑問は残る。なぜこの問題が日本人の間ではあまり話題に上がらないのだろうか？
日本語 vs. 英語
前述の研究に戻ると、英語話者は視覚的手がかりが追加された条件で音声をより迅速に処理したのに対し、日本語話者は聴覚のみの条件に比べ、視聴覚統合の条件で処理速度が遅くなるという結果が見られた。
日本語話者と英語話者を比較した研究では、英語話者が視覚的な手がかりを追加された場合、音声をより速く処理することが確認されたが、日本語話者では異なる結果が得られた。日本語話者は、視聴覚条件において、聴覚のみの条件よりも反応が遅くなった。
ERP（事象関連電位）の結果によると、視覚情報は英語話者と日本語話者の両者において初期の脳反応に影響を与えていた。しかし、英語話者の場合、その影響は後期の脳反応にも及んでおり、これは英語話者が音声を知覚する際に視覚情報により依存していることを示唆している。
積山教授の論文では、英語話者と日本語話者が視覚的手がかりを使用する方法に違いがあることを示す様々な証拠が紹介されている。
発達に関するデータでは、英語圏の子供たちは成長と共に視覚的影響が増加するが、日本語を話す子供たちにはそのような変化は見られなかった。
視線追跡データを使用した研究では、英語話者において口への視線の偏りが観察されたが、日本語話者にはその傾向がなかった。
ERPの研究では、英語話者にとっては視聴覚統合された音声を聞く方が聴覚のみの音声を聞くよりも効率的である一方で、日本語話者の場合は逆の結果が示された。
さらにfMRI研究でも、英語話者は主に一次聴覚皮質（A1）で神経接続（情報伝達経路）が活発である一方で、日本語話者は主に上側頭溝（STS）でその接続が行われていることが示された。STSは通常、音声の視聴覚統合が行われる部位である。
ここで注目すべき点は、英語話者において、聴覚皮質が視覚情報を処理し、他の脳領域へ伝達する主要な拠点となっており、これは音声知覚の初期段階で起こるということである。対照的に、日本語話者ではこの役割がSTSで行われている。
では、なぜこのような違いが生じるのだろうか？
その理由として考えられるのは、1. 言語そのものの違いと 2. 話者が属する文化の違い、またはこれらの要因が混在している可能性がある。
言語に関する説明としては、言語が音韻的に異なることがこの違いを引き起こしていると考えられる。日本語は英語に比べて音韻的要素が少なく、そのため日本語の会話ではリップリーディングがあまり情報を提供しない。例えば、日本語には3つの子音クラスターしかないが、英語には46もの子音クラスターがある。つまり、日本語を話す際に形成される口の形は非常に限られており、それに伴いリップリーディングによって得られる情報も少なくなる。
この結果として、一般的な日本語話者は、英語話者に比べてリップリーディングから得られるメリットが少ない。リップリーディングが情報としてあまり役に立たないため、日本語話者は口の動きを全体的な音声理解に利用する傾向が低くなる可能性がある。
文化に関する説明としては、視聴覚音声知覚における日本語話者と英語話者の違いは、注意の文化的な違いに関連していると考えられる。具体的には、東洋（日本）と西洋（英語圏）では、音声を処理する際の視覚的注意パターンが異なるとされている。
西洋文化では口元に注目する傾向が強く、これがリップリーディングと視聴覚情報の統合を促進する。一方、東洋文化、特に日本では、他の文脈的手がかりを重視する（高文脈文化）ため、目や他の顔の表情に注目し、口の動きのような視覚的手がかりへの依存度が低くなるとされている。
複雑になる部分
言語的背景が視線知覚に大きな影響を与えることは明らかだが、その影響がどれだけ言語に由来し、どれだけ文化に由来するのかという議論は複雑である。特に多言語話者を考慮すると、その複雑さは増す。
例えば、積山教授による別の研究では、中国語母語話者と日本語母語話者を対象に、マガーク効果という測定法を用いて比較が行われた。
マガーク効果とは、音声知覚の際に聴覚情報と視覚情報が矛盾することで、異なる音が知覚される現象である。例えば、「ba」という音を聞きながら「ga」という口の動きを見ると、「da」という音が知覚されることがある。
中国語話者と日本語話者は、どちらも英語話者に比べてマガーク効果が弱いことが示され、これが文化的要因の影響を支持する証拠となった。しかし、注目すべき点は、特に日本に長く住んでいる中国語話者や、第二言語である日本語に多く触れている中国語話者は、マガーク効果に対してより敏感になるという点である。
また、Viorica Marian教授による研究では、バイリンガルが聴覚と視覚情報の統合にどのような影響を受けるかを調査し、韓国語と英語のバイリンガルを対象にマガーク効果を研究した。この研究では、言語能力に関係なく、バイリンガルはモノリンガルよりもマガーク効果を頻繁に経験することが示された。視線の偏りに関する測定は行われなかったが、研究者は韓国語-英語のバイリンガルが音声処理において視覚情報により多く依存していることを発見した。
興味深いのは、この結果が第二言語を習得することで、音声知覚におけるリップリーディングのような視覚的手がかりの使用が促進される可能性を示唆している点である。
もちろん、文化的な違いも両ケースに影響を与える可能性がある。例えば、形式的な日本語のコミュニケーションにおいて、直接的なアイコンタクトが少ないことが、日本語話者が視覚的手がかりに依存する度合いを低減させている可能性がある。しかし、バイリンガルに見られるように、文化的違いだけがその説明を提供しているわけではない。
言語に関する説明に戻ると、もう一つの要因が見えてくる。バイリンガルを、二つの言語が統合された辞書を持つユーザーとして捉えると、英語と日本語の違いと似た状況が浮かび上がる。バイリンガルはモノリンガルよりも音韻的に複雑な辞書を持っていると考えられる。
つまり、頭の中には「辞書」が存在している。この辞書には、音韻がどのように表記され、どのように聞こえ、そしてどのように口で形成されるかといった情報が含まれている。この辞書の大きさ、特に発音に関する部分は、視聴覚情報をどのように統合するかに影響を与える。
バイリンガルの場合、彼らの辞書には、話す二つの言語の音韻が組み込まれているため、その「音韻的辞書」はモノリンガルの辞書よりも大きくなる。このため、バイリンガルにとってリップリーディングはより有用な戦略となる。視覚的な手がかりが、彼らの辞書に含まれるより多様な音韻の違いを解釈するのに役立ち、特に第二言語を使用する際にその効果が大きくなる。
修士課程のプロジェクト
京都大学の研究生として文献レビューに取り組んでいたが、入国できず、入学試験を受けることができなかった。次の入試の時期が来た際、大学側は前例のない決定を下し、オンラインでの入試受験が許可された。結果、真夜中に休憩なしの口述試験を受けることになった。発話障害を抱える自分にとって、これは特有の不安を引き起こす状況だった。
それでも、なんとか合格することができた。
入学式が始まる頃には国境が再開され、日本に到着し、修士課程の学生として本格的に活動を開始した――でも、長時間のフライトと時差の影響で説明会のほとんどを逃し、難しい講義についていくために日本語能力を向上させようと必死になっていた。
修士課程での最大の課題は研究プロジェクトだった。これがなければ卒業することができない。研究生として文献レビューに取り組んだ後、いくつかの疑問が残っていた。
多くの研究は、被験者が第二言語を話しているときの視線行動や、マガーク効果のような特定の言語に依存しない課題に焦点を当てていた。このため、第二言語を使用しているバイリンガルが、第一言語を使用している場合と比べて、どのように視線行動が変化するのかが気になった。
さらに、これまでの研究では、バイリンガルと視線知覚、言語的背景との関係が示されているが、これらの関係に関する理解にはまだ多くのギャップが存在する。例えば、これまでの研究は主にバイリンガルとモノリンガルの比較に焦点を当てており、トリリンガルなどのより複雑な多言語主義がどのように異なるかはあまり探究されていない。
ここで重要な疑問が浮かび上がった。多言語話者の視線行動は、モノリンガルやバイリンガルと異なるのだろうか？
これらの違いを理解することは、多言語学習が認知プロセスや知覚戦略にどのような影響を与えるかを解明する上で重要である。
この疑問から、以下の二つの研究質問を設定した：
多言語話者の視線バイアスは多言語使用によって変化するのか？
異なる言語を聞いているときに視線バイアスに違いはあるのか？
これらの質問に答えるために、以下の二つの仮説を基に実験を設計した：
多言語主義およびバイリンガリズムは、口元への視線バイアスと音韻区別課題の成績との関係を媒介する。
口元への視線バイアスは、刺激言語（L1対L2）によって調整されると想定される成績に影響を与える。
この研究では、バイリンガルを二つの言語を話す人、多言語話者を三つ以上の言語を話す人と定義した。これは、第三言語の習得が与える影響を理解することに関心があったためである。多くの日本語学習者は、英語と別の母語を話す国から来ており、日本語は彼らが習得する第二言語ではないことが多いからである。
当初は、以前の研究でよく使われているマガーク効果を利用することを検討したが、被験者が母語を聞く場合と第二言語を聞く場合で視線行動がどのように変化するかを比較することができないと気づいた。そこで、新しい課題を作成した。
この課題では、英語と日本語の二つのセットのビデオを使用した。区別が難しい音韻を特定し、音韻要素が一つだけ異なる最小対（ミニマルペア）を選定した。これらのミニマルペアの例は以下の表に示されている。
各ビデオでは、話者が一つの文を発声し、その文中でミニマルペアの一つの単語が発音される。
被験者は、どの単語が聞こえたかを報告する。
このタスクの例を以下に示す。
被験者は、これらのビデオをランダムな順序で二つのブロックに分けて見た（順序効果を避けるためにカウンターバランスされている）。各ビデオで何を聞いたかに基づいて、どれだけ正確に回答したかが計算された。
このタスクに加えて、被験者はコンピュータのウェブカメラを使用して視線追跡を行った。当初は、研究室内の視線追跡装置を使用する予定だったが、国境が依然としてほとんどの外国人に閉ざされ、ソーシャルディスタンスの強い状況では、被験者を募集するのが困難だったため、オンラインでの方法に切り替えた。この方法は「ManyBabies Project」で複数の研究室で既に検証されている。そして、54人の被験者を集めるために大きな努力が必要となった。
この研究で何を見つけたのか？
当初の予想に反して、視線行動が話す言語の数と課題の成績との関係を媒介するという明確な証拠は得られなかった。仮説では、多言語話者およびバイリンガルの被験者はモノリンガルの被験者よりも口元に注視する頻度が高いと予測していたが、データはこれを支持しなかった。
この仮説がデータに反映されなかった理由はいくつか考えられる。一つは、多言語話者のグループが、世界各地の言語を話す多様な個人で構成されていたことが挙げられる。
例えば、マレーシア出身の参加者は、家庭でマレー語や北京語を話し、地域社会では英語を使用し、日本に住んでいる現在では日本語を話していた。また、家庭内でフランス語と日本語を話して育った参加者や、子供の頃にサウジアラビア、中国、アメリカなど複数回移住した経験がある参加者もいた。
このように、データ全体を分析すると、これらの異なる背景が交絡要因として働いている可能性が明らかである。
もう一つの理由として、多言語主義と視聴覚的音声知覚との関係は、当初の仮説よりも複雑であり、今回使用したモデルではデータに適合できなかった可能性がある。
このため、さらにこの問題を探るために事後分析（post-hoc analysis）を行うことにした。この種の分析は、研究者が初期の研究後に予想外の結果を調査したり、元の仮説に含まれていなかった追加の質問を探求するために行う統計テストである。
事後分析では、メインの分析で見落とされていたかもしれないパターンや違いを特定することができる。ただし、事後分析の結果はデータ駆動型であり、事前の仮説に基づいていないため、偶然によるパターンを見つけるリスクが高まる。そのため、これらの結果は、さらなる研究で確認されるまでは、あくまで探索的なものであり、決定的なものとして解釈すべきではない。
事後分析の結果、英語を母語とするバイリンガルおよび多言語話者は、提示された刺激（英語 vs. 日本語）に応じて視線パターンに違いが見られたことが分かった。
特に、英語を母語とするバイリンガルおよび多言語話者は、英語の刺激にさらされた時、目と口の間で視線を移動させる頻度が高く、日本語の刺激よりもその傾向が顕著であった。この違いは、英語話者が英語を使用する際に、口元の手がかりにより依存していることを示唆している。
さらに、Mann-Whitney U検定を行った結果、英語を母語とする話者と非母語話者との間で、英語と日本語の両方の刺激に対する視線行動に差が見られた。
特にアジア言語の背景を持つ非英語母語話者は、日本語を処理する際に口元からの視覚的手がかりにより強く依存していた。これは、マン・ホイットニーU検定でも有意な結果として示されたが、下のグラフでも確認できる。
上のグラフは英語の刺激に対する結果を示し、下のグラフは日本語の刺激に対する結果を示している
では、事後分析の結果をどのように解釈すればよいのだろうか？
この場合、強い結論を導き出すことはできないが、英語を母語とする話者に関しては明確な傾向が見られる。特に、英語話者は処理している言語に応じて視覚的注意の戦略を調整しているようだ。
もちろん、先に述べた「顔回避仮説」のような文化的要因もこの結果に影響を与えている可能性がある。言語に対する慣れや文化的背景も、個々の視聴覚情報処理に影響を与えていると考えられる。
次の研究計画
この研究は修士研究の大部分を占め、2024年4月に修了するための基盤となった。
この研究は、当初「Audiovisual Speech Perception in Second Language Listening（第二言語における視聴覚的音声知覚）」というタイトルの48ページにわたる論文として2023年に提出され、現在は京都大学の記録に保管されている。卒業後は、「Audiovisual Speech Perception of Multilingual Learners of Japanese（日本語を学ぶ多言語話者における視聴覚的音声知覚）」というタイトルで短縮され、『International Journal of Multilingualism』に掲載された。方法、結果、考察の詳細については、こちらの論文を参照してほしい。
この研究の最後に残された主要な疑問は、日本語が第二言語話者にどのような影響を与えるかという点である。日本語学習者がどれほど多様な文化的・言語的背景を持っているかを理解しようとすると、その複雑さがすぐに明らかになる。しかし、日本語を学ぶ際、認知戦略や言語処理の方法が変化すること、そして英語と日本語を切り替える際にもその影響があることが明らかになっている。
これらの変化に伴い、文化的影響と言語的影響の議論が続いている。ある意味で、日本語を学ぶために来日する学習者は、単に言語情報に触れるだけでなく、日本文化にも触れることになる。
多言語主義に関する議論では、「言語習得（language acquisition）」と「言語使用（language use）」の大きな区別があることが、包括的な視点からの議論で明らかになる。これは、Cenoz教授の研究によって強調された点である。
言語習得とは、多言語主義になる過程を指し、言語学習のための足場作りや、既に知っている言語をリソースとして活用すること、コースに参加することなどが含まれる。
一方、言語使用は、多言語主義で「ある」ということに関わる。それは、言語内でのアイデンティティや、トランスランゲージング、授業外で自然に行われるコミュニケーションの使用方法などを含む。
日本語教育に関する文献の多くは、多言語主義における言語習得側に焦点を当てている。つまり、日本語学習を助ける要因や、教師のための教育方法に関する研究が多く見られる。
言語習得に関する研究は重要である一方で、日本語を非母語話者がどのように自然に使うかについても、包括的に理解することが同様に重要である。
そのため、研究目標は、「多言語話者としてのJSL学習者の包括的視点」というプロジェクトにおいて、日本語教育の言語使用側に焦点を当てることである。
この目的を達成するためには、日本語が学習者に与える認知的影響と、日本で生活し、日本語母語話者と実際に交流する社会的影響の両方を理解することが重要である。
最終的な目標は、日本語学習のプロセスを個人および社会レベルで深く理解し、日本語学習の道を探求していくことである。
Woodman, K., & Manalo, E. (2024). Audiovisual speech perception of multilingual learners of Japanese. International Journal of Multilingualism, 1–17. https://doi.org/10.1080/14790718.2024.2402330
私の目標は、研究者として透明性を保ちながら、外国語学習や心理言語学に関する興味深い研究を共有することです。研究をより多くの人に届けるため、学術論文が読みづらかったり、オープンアクセスで発表できずにジャーナルの有料壁の背後に隠れてしまう場合には、こうした記事を執筆する予定です。