選抜試験におけるミス防止（その３）

これまで、「選抜試験におけるミス防止」について考えてきました。単に「出題ミス」といっても，その分類をすると、８つに大きく分類することが出来ることが分かりました。
今回は、この８つに分類された「出題ミス」を無くすために、具体的にどのような対策（もしくは対応）をすれば良いのかについて考えていきたいと思います。（Mr.モグ）

「出題ミス」を低減させる方策

前回までの分析により、「出題ミス」は次のような８つに類型化できることが分かりました。
①　専門・学術用語や公式等の引用ミス
②　漢字・スペリング等の誤字・脱字のミス
③　問題文の主語･述語の曖昧さ、用語の揺れによるミス
④　基本的な数式等の扱いに関するミス
⑤　図・表に関するミス
⑥　問題形式上のミス
⑦　正答や誤答の根拠(正確さ)不足によるミス
⑧　問題の条件設定や表現が不的確なことから生じるミス

また、これらの出題ミスは、「主に確認･校正ミスに関するもの」(①～⑥)と「主に内容に関するもの」(⑦、⑧)に大きく二つに分類でき、前者は、比較的単純なヒューマンエラーに属するものが多く、全体の86.4％とその大部分を占めていますが、後者は、作題者や、その分野の専門家でないと、なかなか見つけることができないという特徴を持っているものが多く、全体の13.5％とその割合は比較的小さいことがわかります。（表1）

さらに、「主に確認･校正ミスに関するもの」(①～⑥)のうち、①専門・学術用語や公式等の引用ミスと②漢字・スペリング等の誤字・脱字のミスで、全体の約6割を占めていました。

これらの「出題ミス」を低減させる方策としては、次のようなことが考えられます。

○「出題ミス」の類型化（①～⑧の分類）にポイントを絞った確認や、チェックリストを作り、担当者が、それらを意識して確認する体制にする。

○「出題ミス」の類型化を元に、担当者に対する研修を実施し、問題作成段階からこれらのミスが生じないように意識して問題作成･検討等を行う体制にする。

○「主に確認･校正ミスに関するもの」は、作題者は(問題の答えがわかっているため)ミスに気づきにくい傾向にある。そのため、作題者以外の者(第三者)もチェックに加わるようにする。また、漢字やスペリング等の誤字脱字については、パソコンの校正機能等も活用してチェックを行う体制にする。

○「主に内容に関するもの」は作題者とその分野の専門家でないと発見しづらい傾向にある。そのため、作題者には複数の根拠資料の提出を義務付け、専門家間で、それらを元にチェックできる体制にする。

なお、類型化した「出題ミス」（①～⑧）ごとの具体的な対処法としては以下のような具体的方策が重要になります。

①　専門・学術用語や公式等の引用ミス
【対処法】
○専門用語、辞書、根拠資料等で確認する。
○問題文の「ただし書き」などの問題文と直接関係のない部分についても、注意して確認する。

②　漢字・スペリング等の誤字・脱字のミス
【対処法】
○ワープロ変換ミスや脱字があることを意識して、読み合わせを丁寧に行い、スペルチェックをかける。
○漢字の字体についても、原稿との確認を行う。

③　問題文の主語･述語の曖昧さ、用語の揺れによるミス
【対処法】
○同一問題中の同じ用語だけを意識してチェックする。
○問題チェックの際には、一定の時間を空けて、出題意図が受験者にしっかりと伝わるか意識しながら改めて解き直しをする。

④　基本的な数式等の扱いに関するミス
【対処法】
 ○読み合わせの時に、特に数式を注意して行うとともに解き直しをする。
○印刷原稿の校正の際も意識して丁寧に行う。

⑤　図・表に関するミス
【対処法】
○問題文と図表を照らし合せながら確認する。
○原典の図表との確認を念入りに行う。

⑥　問題形式上のミス
【対処法】
○チェックシートを活用し意識して確認する。
○時間を空けて改めて、解き直しをする。

⑦　正答や誤答の根拠(正確さ)不足によるミス
【対処法】
○根拠資料は信頼できる複数の出典を元に確認する。

⑧　問題の条件設定や表現が不的確なことから生じるミス
【対処法】
○前提条件を一つひとつ疑いながら、解き直しをする。
○問題条件が正確かを解きなおしの段階で確認する。

　残念ながら、ヒューマンエラーを完全に無くすことは非常に難しく、単純に問題チェック回数を増やせば、それだけ出題ミスが無くなるという訳でもありません。

例えば、図4のような体制※で問題のチェックをしたケースの問題修正箇所発生状況について調べると、図5のようになりました。

（このグラフは、「検討会１」の段階では修正箇所が平均で「7.69」カ所あり、最後の「部門間相互チェック」の段階では修正箇所が平均で「0.44」カ所」であったことを示しています。）

※本ケースの場合は、問題原案を問題作成委員からなるメンバーで複数回検討し、外部専門家チェックを受けたのち、部門責任者チェック、部門相互間チェックして印刷をすることを示す。

このように、各段階ごとにチェックを行っていくにつれて、問題修正箇所は、確実に低減していますが、最後の段階でも修正が生じる場合もあることがわかります。

なお、「チェック回数」と「ミス発生状況｝との関係では、中條※が、封筒のあて名書きの確認作業を例に、3重4重チェックとミス(エラー)の関係を分析しています(図6参照）。

※中條武志(2008)｢人間信頼性工学：エラー防止への工学的アプローチ」等

これによれば、（理論的には）チェック回数が増えると、それに伴いエラー検出率が高くなると考えがちですが、実際に実験をしてみると、いわゆる責任逃れが生じ、むしろ、エラー検出率は低減してしまうという結果になりました※。

※図６にあるように理論的には、「多重度」（確認回数）が増えて行くにつれて、「エラー検出率」が高くなり、最終的には99％とほぼ100％（ミス無し）になると予想されるのですが、実際に実験してみると、「エラー検出率」は高くならないことが分かります。

すなわち、何重にも確認・チェックを行っているから、エラー対策は十分と考えることは、間違いであると指摘しています。

さらに、行き過ぎたチェックリストやマニュアルの充実は、多くの場合、一手間、二手間の作業が余計にかかりますから、それによって、つい省略したり、忙しくて守れない状況が生じることも考えられます。
もちろん、担当者が問題をチェックする際には、注意力の持続時間や、各担当者の経験値の違いによるチェックの正確度など、やっかいな問題も存在しているのです。
　
「出題ミス」を低減させるためには、ミスしやすい要因を抽出し、それらを意識したチェックを、担当者が地道に行うことでミスを取り除いていくことが重要となるわけです。

一般に、選抜試験問題に関しては、その性質上（守秘の観点から）、ミスに関する情報共有を行い難い状況にあります。しかし、問題作成担当部署では、軽微なミスについても情報共有し、互いに注意喚起を図ると共に、責任体制を明確にする一方で、問題が生じたときに報告しやすい環境(雰囲気)を維持することや、各担当者の時間的余裕を確保することも非常に重要となるわけです。

今回も最後までお読みいただきありがとうございます。（Mr.モグ）