良い人材を確保するための多肢選択式問題の作り方（３）

前回「多肢選択式問題」の12のポイントのうち、１～９までを解説しました。今回は残りの１０～１２のポイントを説明します。

効果的な人材選抜をするための「多肢選択式問題」を作るときに、留意しなくてはならいことについては、次のような１２のポイントがあります。

１　確実な正答が１つのみに絞り込める問題にすること
２　解答に必要な条件を問題にいれること
３　問題文や選択肢は、できるだけわかりやすく簡潔な表現にすること
４　誤答の選択肢は、惑わしの効果があるものにすること
５　選択肢の長さはなるべく同じような長さにすること
６　問題文や選択肢に使用する用語の統一を図ること
７　選択肢には、なるべく「常に」「必ず」「・・・のみ」といった、いわゆる強調語や限定語を避けること
８　選択肢には、なるべく「上記のすべて」「上記のいずれでもない」を用いないこと
９　問題文や選択肢は、なるべく「肯定文」にすること
１０　問題文や選択肢の一つ一つの表現にも注意して問題を作成すること
１１　その他、問題集全体として、他の問題のヒントになる問題がないこと
１２　正答位置の不自然な偏りがないこと

このうち、今回は１０～１２のポイントについて説明します。

⒑　問題文や選択肢の一つ一つの表現にも注意して問題を作成すること

例⒑にあるように、受験者が、間違って読んだり、理解し難い曖昧な表現は避けるようにします。そのため、必ず問題文や選択肢は、（作成後も）読み直して、受験者が誤読しないかをチェックする必要があるのです。

よくない問題【例10】
（問題文や選択肢の一つ一つの表現にも注意して問題を作成すること）
問題　（略）に関する記述として、次のうち正しいのはどれか。
1.　1900年代における主な出来事としては･･･があり、これは1920年になると･･･へと変化した。　
2. ナトリウムを主成分とする物質Aと物質Bを漂白剤に混ぜると、･･･・となり、蒸発させると物質Cが析出される。
　　(略）
（理由）
選択肢1では、「1900年代」とあるが、これは「1900年～1910年」を指すのか、「1900年～2000年」を指すのか曖昧なため、必要に応じてわかりやすいようにする必要がある。
選択肢2では、ナトリウムを主成分とするのは物質Aのみなのか、物質AとBの両方なのかわかりにくい。

このような問題は、読み方によっては、意味の分かりにくい「曖昧さ」があるので、受験者が問題文や選択肢を見て、誰もが「理解できる」ような、わかりやすい表現にする必要があります。

改良例　（略）に関する記述として、次のうち正しいのはどれか。
1.　1900年から1910年における主な出来事としては･･･があり、これは1920年になると･･･へと変化した。　
2. ナトリウムを主成分とする二つの物質A、Bを漂白剤に混ぜると、･･･・となり、蒸発させると物質Cが析出される。
　　(略）

⒒　問題集全体として、他の問題のヒントになる問題がないこと

例⒒にあるように、同じ問題集の中に、互いにヒントになり合う問題や、一方の答えが、他方の問題に含まれているような問題、さらには、同じことを別の切り口から重ねて問いているような問題は避ける必要があります。

よくない問題【例11】
（問題集の中に、他の問題のヒントになるような問題がないこと）
問題　血液中に存在するヘモグロビンの特徴として、次のうち正しいのはどれか。
1.　酸素と結合して体全体に酸素を送る。　
2. 不要物と結合して体の外に排泄する。
　　(略）
　　･･････

問題　次のうち、ヒトの血液中に含まれる物質として正しいのはどれか。
1． 水銀
2.   ヘモグロビン
　　(略）
5.   フロン　　　　　　　　　　　（正答2）

（理由）
同じ問題集の中に、血液中にヘモグロビンが含まれることを設問で述べている問題があるにもかかわらず、他の問題で血液中含まれる物質を聞いており、ヒントになっている。

このように、一つの問題集の中で、ある問題が、ほかの問題のヒントになったりしている場合は、一方の問題を、ほかの問題に差し替える必要があるのです。（そうしないと、ヒントに気づいた受験者は、（本来は知らないにもかかわらず）正答に行きついてしまいます。）

⒓　正答位置の不自然な偏りがないこと

多肢選択式問題の場合は、解答をマークシートに記入していく形式になりますが、例⒓にあるように、解答位置が特定の番号に偏っている場合は、解答がわからずに、たまたまその特定の番号に続けてマークした受験者に有利に働いたりするので、適当なばらつきを持たせることも必要です 。

よくない問題【例12】
問題集全体の正答位置のばらつき
(問題集の各問題の正答番号が、特定の番号に偏らないようにすること）
問題集（全20問）の正答番号
問１　　1. 　　 ②.　　 3. 　　　4.　　　5.
問２　　1. 　　  2.　 　③.　　　4.　　　5.　　　　　
　　　　　　　　　　　　････
問13　    1.          2.　　 ③.　　　4.　　　5.
問14        1.          2.　　 ③.　　　4.　　　5.
問15        1.          2.　　 ③.　　　4.　　　5.
　　　　　　　　　　　　････
問19        1.          2.　　 3.　　　④.　　　5.
問20        1.          2.　　 ③.　　　4.　　　5.
※正答位置は〇印とする。

（理由）
同じ問題集の正答位置が、特定の番号（この例の場合は選択肢3）に偏ると、受験者がたまたま分からずに適当に選択肢3に続けてマークした場合に正答になってしまう可能性が高くなる。
また、正答番号が3と判断できても、その番号が続くと「もしかしたら違うかもしれない」と考えてしまう可能性が生じる。
そのため、問題集全体の正答位置にバラツキがあるように調整することが望ましい。

このため、問題が完成したのち、正答番号の同一番号の続き具合や、正答位置の不自然な偏りがないか（例えば、全部で20問の問題集の正答番号が「２」の問題が９題あるなど）確認したうえで、必要な正答位置の変更が必要になるのです。

なお、「多肢選択式問題作成における留意点」について、先行研究※がありますので、そのポイントを紹介すると以下の通りです。

※A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment、 Thomas M.Haladyna、Steven M.Downing、Michael C.Rodriguez、APPLIED MESUREMENT IN EDUCATION、2002

参考　Thomas M.Haladynaらの研究 による、多肢選択式問題の作成における留意点
試験の内容について
1.各設問は、特定の内容やある一つの特定の内容を反映するものであること。
2.各設問は、学習すべき基本的な内容であること。（些細な内容は避ける）
3.高いレベルの受験者に対しては新たな素材の問題を用いること。
4.各設問は、互いに独立であること。
5.問題を作成するときは、特定の細かい内容やあまりに一般的な内容は避けること。
6.(事実というよりは）意見に基づくような設問は避けること。
7.ひっかけ問題は避けること。
8.テストする受験者に見合ったわかりやすい表現を用いること。
試験の書式設定について
9.設問形式は、多肢選択式、正誤式等いろいろあるが、これらを混合して使用することは避けること。
10.選択肢は、並べて見やすくすること。
11.各設問を（しっかりと）編集および校正すること。
12.正しい文法、句読点、大文字、綴りを使用すること。
13.各設問の長さを読み取りやすいように最小限にすること。

設問について
14.設問が聞いている内容や方向が明確であること。
15.選択肢をみなくとも、設問の中心的な考えが分かるようになっていること。
16.飾り言葉などの過度の表現を避けること。
17.語幹を肯定的に表現し、NOT(～でない）やEXCEPT（～以外）などの否定語は、なるべく避け、否定的な言葉を使用するときは、慎重に使用すること。

選択肢について
18.できるだけ多くの効果的な選択肢を作ること（研究によれば選択肢は3つでも、こと足りるとされている）。
19.選択肢の1つだけが正しい答えであること。
20.選択肢の数に応じて、正しい答えの場所を変えること。（正答位置が偏らないこと）
21.論理的または数値的な順序で選択肢を配置すること。
22.選択肢が互いに独立で、選択肢の重複は避けること。
23.各選択肢の内容と文法構造が同じようなものであること。（仲間外れとわかってしまうような選択肢ではないこと）
24.各選択肢の長さを、ほぼ同じにすること。
25.これまでの指摘に沿って、慎重に問題を作成すること。
26.選択肢には、NOT(～でない）などの否定形を積極的に使うことを避けること。
27.次のような正答肢への手がかりを与えないようすること。
a 「常に」「決して」「完全に」「絶対的に」など、強い言葉を避ける。
b 設問と選択肢の間で、回答に影響するような、同じ言葉や似た表現を避けること。
c 文法的に明らかにおかしな選択肢を避けること。
d 明らかに目立った正しい選択肢を避けること。
e 正答肢の手がかりになるような同じ単語の多重使用を避けること。
f 明らかに理屈に合わない、ばかげた選択肢を避けること。
28.すべての誤答肢を、もっともらしいものにすること。
29.受験者の典型的な間違いを利用して、誤答肢を作ること。

まとめ

３回にわたって、多肢選択式問題の作成において、留意することについて説明しました。

良い人材を選抜するためには、良い問題が不可欠になります。（悪い問題を出題すると、受験者が問題の趣旨を勘違いしたり、読み間違えたりして、「真の能力」を的確に測定することが難しくなってしまうのです。)

問題作成は時間がかかる大変な作業ですが、一つ一つの良問が、良い人材の選抜につながるので、人材選抜の担当者としては、（問題作成において）「力を抜くこと」はできないのです。

今回も、最後までお読みいただきありがとうございました。（Mr.モグ）