TOEICは難化している？

今日のブログタイトルでグーグル検索すると、該当するサイトが多数ヒットします。YouTube動画で、その理由と対策を解説している人もいます。警視庁「捜査一課」でも、この問題について緊急会議が開かれたようです。

刑事H: 巷ではTOEICが年々軟化しているという噂が流れています。
刑事T: 自分も、TOEICが南下しているという話をよく聞くのですが。
デカ長: トーイックは何かしているようだが、証拠はあるのか？

刑事C: スコアの有効期限を2年と設定したと、今年4月に発表しています。
デカ長: 収益を上げるため、トーイックが何かしているのは事実だな。

刑事C: どうしますか、デカ長？
デカ長: 秀さんは過去問を鑑識に回して、Readability値（読みやすさ）を求めてくれ。鷹さんは受験会場を中心に聞き込み捜査を継続だ。

警視庁の動きはともかく、一般財団法人 国際ビジネスコミュニケーション協会が毎年発表しているPDF「TOEIC Program DATA & ANALYSIS」に基づいて私が作成した以下の表をご覧ください。

2016年度と2022年度の結果を比較すると、平均点は29点アップし、795点以上取った受験者の割合は3.0％上昇し、895点以上取った人の割合は0.6％上昇しています。

高得点者の割合や平均点が大幅に下がっていれば「難化」したと断定しても良いのですが、この表を見る限り、客観的データはむしろ逆方向に動いています。この矛盾をどのように解釈すれば良いのでしょうか。

刑事D: どうしますか、デカ長？
デカ長: 警視庁エリートの中に、TOEICerが数人いたはずだ。彼らの意見を聞いてみよう。

しばらくして、一課の扉が開く（ガチャ）

刑事S: お呼びですか。
デカ長: 修さん、忙しいところ、すまんな。話と言うのは他でもない。
刑事S: TOEIC南火の件ですね。少し長くなりますが、私個人の見解を聞いてください。TOEIC Listening & Reading公開テストは年10回ほど開催されます。午前と午後で少なくとも2フォーム用意されているようです。ですから、ある年度の平均値はテスト数十回の集計結果です。平均があれば標準偏差もあります。平均点が29点アップしても、それが統計学的に有意な差かどうか不明です。単なる変動の範囲内かもしれません。

デカ長: スコア推移を見る限り、ここ数年は安定していると考えるべきか。
刑事S: 自分も同意見です。TOEIC難化という噂の裏には「年々難しくなっているから、数年前の問題集では対応できないぞ」と新刊本の購入をほのめかしているような印象を受けます。しかし、スコアが600±200点の一般的受験者にとっては、5年前の問題集でも「徹底的にやり込めば」十分高得点が狙えると思います。噂に煽られることなく、リーディング問題の繰り返し音読やリスニング音源を使ったシャドーイングなど、手持ちの学習教材をしっかり使い込む方が高得点への近道だと思うのです。

デカ長: TEAP、GTEC、IELTS、TOEFLが難化しているという噂は？
刑事S: ほとんど聞きませんね。

ETS TOEIC SCORE USER GUIDEの一部を和訳しました↓
測定標準誤差（SEM）は、真のスコアと得られたテストスコアとの平均的な差の推定値であり、TOEICリスニングとリーディングの各セクションで約25点です。受験者の真のスコアは、1回の試験で得られたテストスコアの±25点と推定することができます。例えば、TOEICリスニングセクションで300点を取った場合、68％の確率で真のスコアは275点から325点の間にあります。

したがって、自分のリスニングスコアが1年間で325点から275点に下がっても、それはテスト問題の難化ではなく、単なる変動の範囲内である可能性があります。健康な人の血液検査でも、肝機能、コレステロール、血球などの数値は多少変動しますよね。

参考まで： Masaya Kanzaki. New and Old TOEIC L&R: Score Comparison and Test-Taker Views on Difficulty Level. The 2017 PanSIG Journal. 2018. 104-112