優秀な人材を逃がさない「記述式試験」（その２）

前回に引き続き、「記述式試験」について解説していきますが、今回は、記述式試験の採点誤差や、評価段階について、考えていきたいと思います。（Mr.モグ）

「記述式試験」の採点誤差

　これについては、池田（前掲）が、興味深い実験をしています。同じ受験者が書いた（課題の異なる）３つの作文試験を、それぞれ評価して、その試験結果の相関をみるというものです。

（具体的には、受験者28人に課題の異なる3種類の作文試験を行い、それを10人の採点者が採点した結果を分析したものです。）

同一受験者の作文試験で、課題が異なるだけですから、三つの作文試験の採点結果の相関が高いことが望ましいのですが、実際の相関は、-0.35～0.70まで大きな幅があったのです（中央値は0.25～0.30）。

前回、「記述式試験」のデメリットとして、「採点者の主観が入る可能性」（採点のバイアスの問題）を取りあげました。実際には、どの程度の差があるのでしょうか？

これについては、先行研究で池田※が次のような結果を報告しています。

※『テストの科学』池田央、日本文化科学社、1992年

○異なる採点者による評価の誤差
同一の作文課題を、異なった採点者が評価した場合の相関を調べたところ、それは0.25 ～0.95と幅があった（中央値は0.70）としています。すなわち、同じ答案でも採点者が異なることによって評価のブレが生じうることがわかります。

○同じ採点者による評価の誤差
また、10人の採点者に、１週間後に、再度同じ受験者の作文試験を採点してもらい、前回の採点結果と（１週間後に行った）今回の採点結果との相関を算出したところ、その中央値は0.80であったとしています。
このことは、同じ採点者が１週間後に採点しても、一定の評価基準（各自の評価の一貫性）をもって採点しているといえそうですが、逆に同一採点者でも、採点の時期が異なると評価が変わり得ることも示しています。

このように「記述式試験」は、出題する課題による誤差や、採点者の採点における誤差という避けがたい課題があるのです※。

※　前述の池田の調査によれば、200人の受験者を対象とした歴史の記述試験についての研究で、課題の異なった場合の記述試験の結果の一致度の相関係数は0.28 ～0.48であり、同一採点者による同一答案の1回目と2回目と一致どの相関係数は0.58 ～0.67の間に分布していたとしています。

さらに、池田の実験では、同一採点者が同一受験者の（同じ）問題を2回採点したときに、1回目との採点の違いについても分析しています。
これによると、1回目より2回目の方が採点結果の平均値は低くなる傾向にあり、標準偏差も2回目の方が大きくなる傾向があるとしています。

しかし、その差は採点者によって異なり、（2回目の方が採点が甘くなるケースもあったことから、）一概に結論は出させないとしています。

その上で、「はっきりしたことはいえませんが、どうやら人は慣れてくると辛く、また広い範囲に広げて（差をつけて）採点する傾向があるのかもしれません。しかし、それは、まだはっきりしたことをいうだけの材料がありません。」と述べています。（『テストの科学』池田央、日本文化科学社、p.34,1992年）

「記述式試験」の欠点を補完するための一つの方法

「記述式試験」は、採点に時間がかかるとともに、試験実施時間の制約もあるため、（客観試験のように）多数の問題を出題することはできず、通常は１～３題程度しか出題することができません。
　そのため、受験者の学習範囲に対して万遍なく「記述式試験」の問題を多数出題できれば良いのですが、実際は限定された範囲からの出題となってしまいます。

この解決策としては、客観式試験（多肢選択式試験）あるいは短答式試験で、受験者の学習範囲の範囲を万遍なくカバーした問題を出題するとともに、「記述式試験」で厳選された問題を出題することで、受験者の知識の深さや思考力の程度を測定するといったように、両者を組み合わせることが重要となります。

なお、客観式試験と「記述式試験」が、同一受験者が持っている異なった能力を測定していることは、（数値的には）同一受験者の客観式試験と記述式試験の相関係数の違いによって把握することができます。

客観式試験と記述式試験の相関係数

客観式試験と記述式試験の相関係数については、先行研究によると0.28～0.97※ と幅があります。これは、前述したように「記述式試験」の出題分野による（受験者の知識量等の違いによる）誤差や、「記述式試験」の採点における誤差等による影響があると、考えられます。

ちなみに、私の経験によると、客観式試験と記述式試験の種類や内容にもよりますが、例えば基礎的な能力の客観式試験と、専門科目の記述式試験での、相関係数は0.21～0.67と幅がありました。

※田中正吾「論文体テストのつくり方と評価法」、教育心理、21,42,1973やBreland,H.M.,&Gaynor,J.L.,"A comparison of direct and indirect assessments of writing skill”,Journal of Educational Measurement,16,119-128,1979,等

なお、小野寺※によると、客観式試験の問題数が増えるに従って記述式試験との相関は高くなる傾向にあり、同様に「記述式試験」の題数が増えても両者の相関は高くなる傾向にあるとしています。

※小野寺加世子「論述試験と客観試験の相関性」医学教育、題13巻、第1号,1982

「記述式試験」の採点段階

ところで、記述試験の採点段階はどのようにするのが良いのでしょうか。
通常は、次のような採点段階が多いようです。

１．二段階（合否）方式
（答案について「合格」「不合格」の2段階に分けるもの）

２．三段階方式
（答案について「A,B,C」「優良可」等の3段階に分けるもの）

３．五段階方式
（答案について「A,B,C,D,E」「1､2､3､4､5」等の5段階に分けるもの）

４．七段階方式
（答案について「A＋,A-､B＋,B-,C､D＋,D-」等の7段階に分けるもの）

５．その他（多段階）方式
（答案について「1～10」の10段階や、「0～100」といった多段階に分けるもの）

「記述式試験」の採点を経験したことがある人であるならば、通常は、三段階方式か、五段階方式を経験したことがある人が多いと思います。

一方、専門科目の記述試験などについては、0点から100点までの多段階方式もよく見られます。（0点から100点までの点数といっても、実際は、10点刻みで点数を付けることが多いので11段階なのかもしれません。）

先行研究では、人間の心理的に判断しやすいのは、中間段階がはっきりとした三段階方式や五段階方式といわれています。
（奇数段階の方が、真ん中がわかりやすいので採点の際に扱いやすいのですが、中間段階があると、そこに評価が集まる傾向（中心化傾向）が強くなるので、あえて採点の差をつけるために、偶数段階（例えば四段階や六段階）にする場合もあります。）

なお、一般にA,B,C,D,Eと五段階に分けて評価していても、実際に採点をしていると、例えばAとBの間の評価（「A評価の下の方の答案」と「B評価の上の方の答案」）や、BとCの間の評価（「B評価の下の方の答案」と「C評価の上の方の答案」）といったように、各段階の「境」の評価に頭を悩ますことが多いと思います。（図のイメージ参照）

そのため、「A-」「B＋」などと各段階での（微妙な）差を付けて評価することで、評価の正確を期す方法も良く使われます。

（このように、段階を多くしておくと、最終的に記述の採点結果を決める際にも、（改めて「A‐」と「B＋」を較べるなど）再度チェックしやすくなるので、採点効率やその正確性を高めることにも役立ちます。）

他方、採点の一致度を示す相関係数は、（他の条件が同じという前提の下では）三段階方式よりも五段階方式といったように、評価の刻みを多くする方が高くなることがわかっています。

このように採点段階は、荒い（段階数が少ない）よりも細かい（段階数が多い）方が、統計的には相関が高くなり、受験者の能力を細かく判別することになるのですが、人間が採点するために、必ずしも段階を多くするのが良いとは限らないのです。

（渡部・平井※は小論文の採点の実験結果から、五段階を超えると、かえって識別力の下がる採点者が出るため、五段階で相関は頭打ちになるとしています。）

※渡部洋、平井洋子「段階反応モデルによる小論文データの解析」『東京大学教育学部紀要No33』（1993）

まとめ

多肢選択式試験と比べて、「記述式試験」は、受験者の総合的能力を測ることができるのですが、その採点には時間が掛かるととともに、採点者の主観が入る余地が残されています。

今回は、「記述式試験」の採点における様々なバイアスについて、先行研究の結果や具体的数値を挙げながら説明してきました。
これらのバイアスに対処するため、実際の採点においては、（試験の種類にもよるかもしれませんが）何回も（受験者の答案を）読み直したり、同一答案について複数人が採点をすることなどで正確な採点が行われています。
そのため、近年においては「記述式試験」の採点誤差は、少なくなっていると思いますし、これらの採点誤差を最小化するための様々な工夫も行われています。

次回は、「記述式試験」の採点誤差を少なくするためには、どうしたらよいのかについて、考えていきたいと思います。
今回も、最後までお読みいただきありがとうございます。（Mr.モグ）