Crossley et al. (2008, 2011, 2014, 2016) のレヴュー
今回は，Scott Crossley氏の論文4本のレヴューである。例によって，論文のまとめというより，整理と感想というものなのでご了承を。
Crossley氏の論文は最近よく読むのだが，とても多作なので読んでいるとどの論文がどういう内容だったんだっけと混乱してくるので，自分の研究のためにも1つのテーマの中で整理することにした。今回のテーマは「テキストの読みやすさの評価（の公式）と読解による理解度の関係」である。
Crossley et al. (2008)
まず，大元となる1本目はこちら。
Crossley, S. A., Greenfield, J., & McNamara, D. S. (2008). Assessing text readability using cognitively based indices. TESOL Quarterly, 42, 475-493.
L2（ESL）向けのテキストの難易度について，伝統的に用いられてきたFlesch Reading Ease（FRE），Flesch-Kincaid Grade Level (FKGL) といった読みやすさの公式と，Coh-Metrixというテキスト分析ツールで得られる指標に基づく読みやすさの公式（Coh-Metrix L2 Reading Index）のどちらがその予測に優れるかを検証した研究である。
扱うデータは先行研究から得た日本人英語学習者の（アカデミックテキストによる）クローズテスト得点で， それをそのテキストの読みやすさの指標とする。そして，各テキストについて語彙（CELEX頻度），統語（統語的類似性），結束性（隣接する文間における内容語の重複）の3つの要因に関わる指標を算出し，そのクローズテスト得点を予測する重回帰分析が行われている。
分析で得られた回帰式をL2 Reading Indexとし，FREやFKGLよりもクローズテスト得点との相関が高いことを示したうえで，これらの伝統的な公式よりもL2 Reading Indexはテキスト難易度の予測に優れるとした。
Crossley et al. (2011)
2本目はこちら。
Crossley, S. A., Allen, D. B., & McNamara, D. S. (2011). Text readability and intuitive simplification: A comparison of readability formulas. Reading in a Foreign Language, 23, 84-101.
こちらは先の2008年論文と同様のアプローチを，実際に特定のレベルが付与されている英語学習者向けテキストに対して行ったものである。具体的には，初級，中級，上級それぞれ100ずつのテキストに対して，FKGLとFRE,そしてL2 Reading Indexによる評価を行い，判別分析によるレベル（級）の分類精度を比較するというものである。元となるコーパスはCrossley氏の2012年の論文と同じと思われる。
結果として，FKGLとFREでもテキストレベルのある程度の分類は可能だが，L2 Reading Indexのほうがよりその分類精度に優れることが示されている。
Crossley et al. (2014)
続いて3本目。
Crossley, S. A., Yang, H. S., & McNamara, D. S. (2014). What’s so simple about simplified texts? A computational and psycholinguistic investigation of text comprehension and text processing. Reading in a Foreign Language, 28, 1-19.
ここからは，テキスト難易度の評価と実際のテキスト理解の関係を検証した研究になる。この論文では，2011年論文で分析されたテキストのうちのいくつかを実際に学習者にPCで単語ごとに読解させ（moving-window paradigm），単語の読み時間と理解質問（正誤判断課題）への回答成績がテキストレベルで変わるかを検証している。
テキストは初級，中級，オーセンティック（上級とほぼ同じとしている）からそれぞれ9つが選定され，その冒頭の段落のみが読解に用いられている。これらのテキストは2011年及び2012年の研究によって，レベル間で言語的特徴が異なることが示されているのがポイントである。
ANOVA及びANCOVAによる分析の結果，テキスト難易度による読解時間の差は見られたが，学習者の読解熟達度を共変量として統制した場合はその効果は有意ではなくなった。理解質問もテキスト難易度による差はあったが，これも学習者のL2熟達度や背景知識の影響を受けることが示された。
ちなみに，この論文のデータは以前レビューしたKim et al. (2018) でも別の観点から分析されているものである。
Crossley et al. (2016)
最後の4本目。
Crossley, S. A., & McNamara, D. S. (2016). Text-based recall and extra-textual generations resulting from simplified and authentic texts. Reading in a Foreign Language, 28, 1-19.
この論文では，テキストレベルと理解度の関係を，筆記再生課題のデータに基づいて検証している。おそらく，筆記再生データは2014年論文と同じ実験の中で得られたものと推測される。
再生プロトコルを明示的なテキスト情報と明示されていないテキスト情報（推論など）に分類し，それぞれが初級，中級，オーセンティックというレベルの影響を受けるかが主要な検討課題となっている。
分析にはLMEが用いられ，読解熟達度やL2熟達度を含むベースモデルと，それにテキストのレベルを加えたフルモデルの適合度を比較することで，テキストレベルの効果を検証している。
分析の結果，明示的な情報の再生はテキストの難易度が低いほど多くなり，暗示的な情報の再生は難易度が高くなるほど多くなることが示されている。暗示的な情報の結果は直感とは一致しないかもしれないが，難しい（一貫性の低い）テキストほど活発な推論が行われるというのは，読解研究ではよく主張されることなので，気になる方は論文本文を読んでいただきたい。
まとめ
ここまで，英語学習者を対象としたテキストの難易度評価の公式に関する研究と，その公式及び類似した他の観点で評価されたテキスト難易度と実際の理解度の関わりに関する研究を，合計4本レビューした。特に2011年以降の3本は同じ材料（テキスト）を用いた研究で，まずは特定のテキストの言語的特徴を分析したうえで，その違いが実際の学習者の理解プロセス（読解時間）やテキスト記憶（再生課題）とどのように関わっているかを検証するという一連の流れがあり，非常に興味深い。こういったアプローチは自分がこれまで行った研究とも通ずるところがある（自分の研究はもっと規模の小さい感じだが）。
今後の発展可能性としては，扱うテキストのジャンルを変えたり，別の理解度の指標を用いたり，あるいは新たな言語的特徴の指標や公式を用いたりと様々な方向性が考えられるのだが，新しい公式という点ではすでに今年（2019年）にその公式を提案した論文がJournal of Research in Readingに出版されている。ただし，この公式は今回とは別のテキストや分析ツール，英語母語話者の理解データに基づいているので，今回の一連のレビューには含めなかった。別の機会に，この論文についてもレビューしたい。