Pog_ex3採点方法を簡単な単語で説明します

pog_ex3の制作の目安にもなるので、是非全部読んでください。
※そーりあさんのnoteをコピペしたものを編集するというスタイルをとっているため、一部主語がおかしくなっている場合がありますがご了承ください。

1.今回の審査方法

今回の審査方法の流れとしては以下のようになります。
(前提としてコース応募が100個きた前提で話を進めます。)

1.審査員1人1人が提出コースのトップ30を決める
　応募されたコースの中から審査員全員が自分の好きなコースを30個選びます。

2.審査員全員のトップ30を見て、応募されたコース全体の総合トップ20を決める
　僕は審査員側の人間ではないので例えばの話ですが、「このコースは全員が自分のトップ30に入れてるから総合トップ20に入れるか〜」とか「このコースはみんなの30個の中で上位にいるから総合トップ20に入れちゃうか〜」みたいな感じで、審査員の皆さんが話し合って、応募されたコースの中から良いコースを20個に絞ります。

3.点数の下限値を決めて、総合のトップ20を100点満点で評価する。
　前回までの大会では「ギミック」や「かっこよさ」みたいな点数をつける基準となる要素が何個かありましたが、今回はそういうものはなく、その1人の審査員がどれくらいそのコースを良いと思ったかで点数をつけます。下限値、つまり一番低い点をなんで決めるかは後で説明します。

4.合計点で順位を決める

今回点数をつけるのはトップ20のみです。そこから下は順位、点数がつきません。今までも上位以外は点数を発表していなかったので、つけなくてもいいだろうという判断です。

また、点数をつけるのもトップ20に絞ってからで、それまでの手順では「こっちのコースよりもそっちのコースの方が良いよね」という感じでコースを比べて評価します。

おそらく先に聞かれそうなことをまず書きます。

Q.なんで審査方法をガラッと変えたの？

A.前回の審査方法に問題が見つかったから！

前回のpog_ex2ではわりかし上手くいきましたが、前回の審査員の方々と最近話す機会があり、そこで浮き彫りになった問題がありました。

それは、それぞれの人が思うコースにおける重要だと思う箇所がかなり違うということです。

例えば、そーりあさんとしんのさんの違いなのですが、そーりあさんはコースにおいて、動きの洗練さとギミックの繋がりの自然さというものをとても評価します。
動きが洗練されている例で言うとfirehawks, ギミックの繋がりでいうとてらすさんのpog_ex2やPopCorn!, 遊星飛行。などと言った感じです。

逆にしんのさんが一番評価するのは、俗に言うギミック(機構)です。素晴らしいギミックや機構があればそれはかなり高い評価になります。

前回の方式でやると、審査員同士でコースの評価に対する重視するものが違うのにも関わらず、全員が同じ比重でやらなければならないことが問題です。

そーりあさんは100点のうちの50点くらいを構成やギミックの繋がりを見て点数をつけると思いますが、しんのさんはおそらく逆で100点のうちの50点くらいをギミックのすごさ的な面を見て点数をつけると思います。

そのため、全員が「かっこよさ」「ギミック」などの色々な基準を同じ割合で評価をするのは、それぞれの審査員がちゃんと評価したい部分を評価することができないので良くないと判断しました。

Q. トップ20を最初に決めてから点数をつけるのはなぜ？

A. 負担軽減のためと、「比べて評価する」のと「点数をつけて評価する」の二つの方法で判断してより良い評価をするためと

負担軽減はわかりやすいですね、前回は100人分を審査するのに多大なる時間がかかりました、普通にみんな10時間くらいはかかってると思います。上位の人だけ点数をつければかなりの負担軽減です。

「比べて評価する」のと「点数をつけて評価する」のに関しては、まずこの手法ではトップ20を決めるというところまでは「比べて評価する」ということになります。(このコースはこれよりもよい、これよりも悪いみたいな)
「点数をつけて評価する」というのは、トップ20を決めた後のポイントを決めることを指します。
2つの方法でコースを判断できることがメリットだと感じたのでこの方式にしました。

Q.なぜトップ20の採点に下限を設定するの？

A.審査員がつける得点の範囲をある程度同じにするため

例えば、皆さんは前回のpog_ex2のてらすさんのコースに0点をつけられますか？？？
無理じゃないですか？

審査員によって、「全部のコースを比べて良い悪いを判断して順位を決める人」もいれば、「全部のコースにパッと点数をつけてその点数が大きい順番に順位をつける人」もいます。こういう人たちがそのまま一緒に採点してしまうと次のような問題が起きます。

例えば、Aさん、Bさん、Cさん、Dさんのコースを評価するとして、

「全部のコースを比べて良い悪いを判断して順位を決める人」はこんな感じで採点します。

「Aのコース、まあまあやな。まあ70点くらいつけとくか。おっ、Bのコース良いなあ。90点くらいつけちゃうか。んー、CのコースはAと比べると微妙やな〜。50点くらいか〜。うわ、Dのコース良すぎやん。100点つけたろ。」

ということで点数は A 70  B 90  C 50  D 100 となり、一位 D 二位 B 三位 A 四位 C という感じに審査をします。

それに対して「全部のコースにパッと点数をつけてその点数が大きい順番に順位をつける人」はこんな感じで採点します。

「Aのコース、85点くらい。Bのコース、83点くらい点くらい。Cのコース、96点くらい。Dのコース、94点くらい。」

といういうことで点数は A 85  B 83  C96  D 94 となり、一位 C 二位 D 三位 A 四位 B という感じで審査します。

この2人がつけた点数を実際に足してみると

A 155点
B 173点
C 144点
D 194点

となり、一位 D 二位 B 三位 A 四位 C と、「全部のコースを比べて良い悪いを判断して順位を決める人」の順位がそのまま反映されていて、「全部のコースにパッと点数をつけてその点数が大きい順番に順位をつける人」の順位は全く反映されていません。これでは2人で審査した意味がありませんね。

コース一つ一つを比べて評価する人は、そのコース一つ一つの「良い」「悪い」にしっかり差をつけた点数をつけたいと思うことが多いので、このようなことが起きてしまいます。
(実際pog_ex2でも少しそのような傾向がありました)
そのため、下限値を設定することによって、審査員がつける点数の範囲をほぼ同じにして、「比べて評価する人」も「点数をパッとつけて評価する人」も点数の感覚が同じくらいにしようというわけです。

また、この方式を導入するにあたって、今回の審査員と前回の審査員を含む9人に前回のpog_ex2のトップ10を実際に下限値なし、評価基準なしで100点満点で採点すると言う実験をしてみたところ、明記した審査員による点数の付け方のズレが発生したので、このような方針にしました。

その下限値、どうやって決めんの？

取り敢えず案が２つあります。

1.前回の上位20%の点数が75点だったため、下限を75点に決める。
2.それぞれの21位の順位を採点して、その点数の平均を取ったものをのトップ20の下限値とする。

の2択となっています。

1つ目のメリットは単純にルールが簡単化されるよねってことです。前回,前々回の傾向的にも75点でもいいよね。という

2つ目のメリットはコースを見てから下限値を決めるので、よりみんなが思っているコースの点数が反映されやすいと言うことです。

一つ目の「基準値を決める」という方法が良いという人が多かったのでそっちの方向で進みます。

分かりにくいところがありましたら教えてください。