Language Learningに論文を出版しました
Wiley社のLanguage Learningに以下の論文を出版しました。（本記事執筆時点では，オンラインによる先行公開となっています）
Nahatame, S. (Early View). Text readability and processing effort in second language reading: A computational and eye-tracking investigation. Language Learning. https://doi.org/10.1111/lang.12455 (Read-only version is available from here)
論文内容について
概要は上記リンク先に書いてある通りですが，2つのStudyが含まれている関係であまりAbstractの分量に余裕がなく，書ききれない部分もあったので，こちらでもう少し詳しく書いておきたいと思います。
本研究は，リーダビリティの公式によってL2読解中の視線計測指標（に反映される処理負荷）がどの程度予測されるかを検討したものです。主な研究の背景としては，①Flesch Reading Ease (FRE) やFlesch Kincaid Grade Level (FKGL) のような伝統的なリーダビリティ公式の妥当性研究，②Crossleyらを中心に行われた自然言語処理の技術を援用して読みやすさの新たな評価方法を探る一連の研究（こちらとこちらでレビュー），そして③Eye-trackingコーパスを含む読解中の視線計測に関する研究（こちらやこちらでレビュー），の3つがあります。このように複数の範囲の研究分野を背景にしている関係で，冒頭のBackground Literatureのセクションが大変長くなっております…。
これらの研究の流れを受けて，「読みやすさ」の定義には「理解」だけでなく「処理」の観点も含まれているのに（含まれるべきなのに）その点を検討した研究が少ないとか，文章の難しさとL2読解処理の関連を検討した研究はあるけど単語ごとの読みで自然な読解方法ではないとか，Crossley et al. (2019) が処理に特化した読みやすさの公式を提案しているけど実際の処理データではなくどちらの文章が早く読めたかという判断データに基づいているなどの問題点を指摘して，本研究を行うという流れになっています。
本研究では，Study 1で日本人英語学習者の視線計測データを収集し，それをCoh-Metrixで算出されるFRE，FKGL，L2 Reading Index (CML2RI) という3つの公式で予測する研究を，Study 2でCop et al. (2015) の視線計測コーパスからL2読解データを使用して，Automatic Readability Tool For English （ARTE）を用いてNew-Dale Chall Formula，Crowdsourced Algorithm of Reading Comprehension / Speed (CAREC, CARES) などの公式も含めながら同様の視線計測指標を予測するという研究を行っています。なお，視線計測指標はGlobal reading measuresとしてMean fixation duration, saccade length, skipping rate, regression rateの4つを使用しています。
大まかな結果として，Study 1 とStudy 2を通して，FREなどの伝統的な公式よりもCML2RIやCARECといった新たな公式が視線計測指標の予測に優れるという結果が複数得られたことから，結論としてはこれらの新たな公式のほうが視線計測指標に反映されるような読解中の処理負荷のより正確な指標となり得るだろうと述べています。
ただし，実際に論文を読んでいただければ分かりますが，必ずしも新たな公式のほうが伝統的な公式よりも常に予測に優れるという結果が出ているわけではないですし，全ての視線計測指標がリーダビリティの公式で予測されたわけではありません。一応の結論として上記のようなことを提示していてそれをAbstractにも含めていますが，本当に主張したかったことはGeneral Discussionに書いていることです。つまり，処理負荷の観点で公式を使用するなら1つの公式にこだわらず複数の公式の結果を吟味したほうが実用的であるとか，公式の予測力に影響を与えるテキスト・読み手要因の特定が必要であるとか，既存の公式ではなく処理負荷の推定に特化した新しい公式の開発が必要である，といったことです。これらの内容はAbstractには含められていませんが，OASISのAccessible Sumamryには書かれています。
なんだかよく分からない，はっきりしない結果だなぁと思う方もいると思うのですが，ある意味でこれがかなり真実に近いように思っています。というのも，そもそもほとんどの公式は読みやすさ ≒ 内容の理解しやすさとして開発されていると思いますし，理解しやすさと処理しやすさにはある程度の相関はありつつも異なる部分もあるので，既存の公式を使って処理負荷について「ある程度の予測はできるが十分ではない」というのはもっともらしい結論だとも思います。それゆえ，先に述べたように，処理負荷をより正確に推定するにはやはり処理時間などのデータに基づいて新たな公式を開発するほうが妥当だと考えています。本論文の最後もそのように締めくくっていますが，このような書き方はChief editorにも "well-balanced conclusion" だと言ってもらえました。
とはいえ，この研究だけでは確かなことを言えないのも事実ですので，先に述べたようなテキストや読み手の要因を踏まえたうえでこの結果を再検討するような研究ができればと思っています。ただ，研究デザインの面で困難な点もあるので時間がかかるかもしれませんが…。
査読ほかについて
査読を含め，今回のオンライン公開までにはいろいろなことを経験し，思うことがありました。ここにそのすべては書けないので，最低限のことだけ書いておきたいと思います。まず，Language Learningは査読コメントの分量が多いことで知られていると思うのですが（少なくとも私の周りの話を聞く限りではそう），今回もその例外ではなく，Editorからのコメントも含め相当量のコメントを頂きました。語数を数えてみると，最初の査読コメントが4000語くらいでした。さらに，それに対する応答を自分で書いたもの (response letter) を加えると合計で1万語を超えていました。語数だけで言えば最初に投稿した論文よりも長くなってしまっています。
ですので，修正や追加の分析で時間を食ってしまい，再提出の期限は1か月くらい延ばしてもらいました。この間，統計分析のご助言を仰がせて頂いた先生もいて，大変感謝です。また，修正による大幅な字数超過があり，それを減らすのにかなり苦労しました。
査読プロセスにおいては，Lead editor, Chief editorともにとても細かく論文を見てもらったように思います（Chief editorは最後だけですが）。これを掲載されるすべての論文（掲載されないものも含めたらもっと多くの論文）に対して行っていると思うと，相当大変な仕事だなと思います。この辺りはジャーナルにもよりけりだとも思うのですが，少なくとも今回の私のケースではeditorsの仕事に感謝するところが大きいです。
投稿するジャーナルや論文言語にかかわらず，論文はいつになっても満足するものを書くのは難しいと感じます（満足できたらそこで終わりだと思いますが）。技術は日進月歩ですし，理論や知見も学べば学ぶほどたくさんのことを知ることになるので，仕方のない部分もあるのですが，この論文についても理論的な部分でもう少し正確な書き方ができたかなぁとか，方法論的な面でこうしておいたほうがもっと適切・正確だったかなぁとか，考察や解釈でoverstateしていないかなぁとか，今更ながら思うところも多々あります。そういう思いを次の論文を書くモチベーションにして，満足するものは書けなくとも，以前よりも良いものを書けるように研究を続けていきたいと思います。