審査の「公平性」が意味すること

審査における公平性とは「審査基準へのfidelity」

まず大前提として、審査は公平でなければなりません。これは必要な技術と視点を持って臨めば、十分に達成可能なことです。

公平性とはエリミネーションラウンドの各原稿応募者や、ファイナルラウンドの各出場者に対し、審査員の恣意的な判断によって、審査基準を「ぶらさない」ことを指します。

審査基準を「ぶらす」とは、同じ性質や同じレベルの内容に対して、違う基準を持ち出したり、違う得点を与えることを言います。

一例を挙げます。大会Xのエリミネーションラウンドに、AとBと言う二人の応募者がいたとします。ここでは状況を単純に理解するため、次の条件を想定します。

１．出場者はAとBの2人だけとする
２．審査項目は明示されているが、審査基準の定義文（説明文）は与えられていないものとする
３．２の条件から、審査項目について、審査員が解釈する余地を与えられているものとする

審査項目には"Contents"カテゴリの中に"Topic"という項目が独立して存在するとします。この場合、審査担当者は原稿の扱うTopicについて、さまざまな観点から評価ができると解釈できます。例えば"Seriousness of Topic"（深刻性）とみなすこともできますし、"Novelty of Topic"（新奇性）とみなすこともできます。Contentsカテゴリに含まれるため、Topicに関する評価であれば、ある程度広義の解釈が許容されます。ここではどちらかが含まれていればTopicを加点する前提とします。

問題となる具体例

問題となるのは、次のような場合です。

①出場者Aには"Seriousness"と"Novelty"を判断できる文言が含まれており、出場者Bにも"Seriousness"を判断できる文言が含まれていた。しかし、出場者Bのみ、"Seriousness"と"Novelty"の観点から原稿をチェックせず、"Originality of Topic"の観点からのみ採点を行った。

②AとBの出場者のどちらの原稿にもTopicのNoveltyが判断できる文言が含まれているにも関わらず、Aの出場者には得点を与え、Bの出場者には得点を与えなかった。

①の例の問題点は「物差しをすべて使っていない」ことにあります。これは結果的にTopicに対して加点したか・しなかったかの問題ではなく、そもそも審査に使ったすべての判断基準を考慮に入れ、それらの基準で全員の原稿を査読したかの問題です。仮に出場者BにSeriousnessの基準で加点対象となる文言が含まれていた場合、本来加点されるべき項目が加点されなかったことになり、出場者は不利益を被ります。また②の例の問題点は「物差しは同じだが、一方の対象だけそもそも測っていない」ことです。

防止策とまとめ

①の例は、Topicの審査に関して、審査に使ったすべての基準を記録しながら各出場者の原稿をつぶさに見ることで防げます。②の例は、①の防止策と同様、審査で使った基準を記録しながら、原稿上に加点対象となる部分を明確に記録していくことで防ぐことができます。

冒頭にもある通り、審査における公平性とは「審査基準への忠実性」(Fidelity to Judging Criteria)を指しています。審査基準の定義文が提示されている場合はそれに忠実に従って採点し、求められていない加点や減点を行わない、また今回の例で取り上げたような審査基準の定義文が示されていないケースは、審査項目から解釈して審査に使ったすべての物差しで加減点する可能性を考えることが公平性を担保するということです。繰り返しになりますが、必要な技術と視点を持って臨めば、公平な審査は十分に達成可能なことです。