【UoP008】神経を擦り減らすPeer Assessmentの不当評価

UoPeopleに入って最初のコースEnglish Composition 1 も第5週が終わりました。前回の記事で、Peer Assessmentで高い評価をもらえるようなTipsをまとめてみたものの、実は毎回のように、誰かさんによる不当に低い評価に悩まされております。

なぜ、こんなことが起こるのか。そして、対処法はないのか。今日はそのことを書いてみようと思います。

不当評価が起こる理由①　匿名性

Peer Assessmentのうち、Written Assignmentではランダムに割り当てられた3人のクラスメイトの答案を評価します。この時、採点する側も、される側もAnonymous、つまり、採点しているのが誰の答案かもわからないし、自分の答案を採点してくれるのが誰かも、分からないという状態です。

自分の友達に不当に高い評価をしたり、気に食わない人（ここに人種差別的な要素が加わるとなお大変）に不当に低い評価をしたり出来ないようにするためにも、Anonymousになっているのは一応良いことだと思うのですが、答案を作った人の顔も名前も見えないことで、必要以上に人の間違いをたたいたり、言いがかりをつけることがしやすくなっている面もありそう。

不当評価が起こる理由②　学生のレベルがまちまち

UoPeopleは高校を卒業していれば履修を開始できるため、日本の大学のように入学時のハードルがありません。また、特にEnglish Composition 1は非英語圏の人が多い（英語ネイティブの人は受ける必要がないものなので）ため、英語力もバラバラです。そうすると、ちゃんと読めない人が多くなるのもある程度仕方ありません。だからこそ、僕はできるだけ平易なテーマで、平易な英語で書くようにしているのですが、そうすると「高度な内容ではない」という理由で評価を下げる人がでてくるのよね…何とも悩ましい。

（余談ですが、今回の科目の内容は英語の論文等の書き方を扱うものです。だから、英文法の確かさや、エッセイの段落ごとの構成、段落内のKey Sentenceをどこに配置するか、など、「書く技術」を磨くことが主眼に置かれており、難しいことを書くスキルは求められていません）

ちなみに、毎週のように大量の課題をこなしているなかで仲間の評価をしなければいけない、という「忙しさ」も、この理由の中には含まれてくる気がします。高い評価を付けてくれるのは良いが「nice work」しか書いてくれていない人も中にはいたりして、せっかくだからちゃんと感想を聞きたいのにな…と思うことも少なくありません。

不当評価が起こる理由③　こちらの工夫が足りない

…という面も当然ありますね。もう少し配慮に富んだ文章を書くことができれば、評価はおのずとあがっていくはずだと思っています。

こういう不当評価をもらわないためにできることはいったいあるのか？今回は４つまとめてみました。

対処法①　日ごろから態度よく。

これ結構大事な気がします。

課題をこなすだけでなく、Discussion ForumやWritten Assignmentの評価の際に、建設的で易しいフィードバックをすることが大事。また、それらを時間の許すかぎり「早めに済ませる」ことも大事です。これは、各科目のInstructorにとって自分の名前をポジティブな意味で記憶しておいてもらうために必要なことです。

これをしっかりやっておくと、後述の対処法④が効き目を発揮します。

対処法②　課題の内容をよ―――く読む。

当たり前のようなことですが、課題の内容に忠実な答案をつくるために、課題の内容をよーーーく読むことが大事です。そして、「私課題の内容こーーーんなに読んでますよ」と言わんばかりの答案を書くようにします。

（詳しいことはサクライパンダさんの記事を読むことをおススメします）

対処法③　自分の発言を客観視する習慣を持つ。

要するに、自分が何点ぐらいの答案をかけているか、自分なりの根拠を持って説明できるようでないとダメということです。自分で自分の答案を客観的に評価できれば、他人の評価が不当な場合、ちゃんと反論できます。

それ以前に「この出来栄えなら90点満点で85点はもらえるだろう」くらいのことを想像できないようでは、誰かさんの評価が正当かどうかすら分からない…ということでもありますね。

例えば、クラスメイトの評価ではなくInstructorが採点してくれるLearning Journalのスコアは、自分がどれくらいの点数をもらえる素地を備えているかをある程度示してくれています。

対処法④　迅速にInstructorに連絡する。

ある意味、本当の対処法はこの④しかなく、①～③は④をやりやすくする（あるいはそもそも不当な評価が出ないようにする）ための予防線のようなものです。

まずは、すぐに自分のスコアを調べます。
日本時間なら木曜夜～金曜朝にはスコアが出ています。

そうすると、そこそこの確率で「いや、あり得ない…」というスコアが出てきます。

この画像を見ていただくと、いつも80～90点取れているのに、今回だけ70点すら取れていない。

毎週同じくらいの真剣さで課題に取り組んでいたら、こういうことにはなるはずがないわけです。

…と、納得いかない気持ちになったら、クラスメイトがどんなAssessmentをしてくれたのか、冷静に見ていきます。すると、言いがかりとしか思えないようなものや、ちゃんと読んでくれていないと思われるものに必ず出くわします（たまにコメント欄に「Excellent」と入れてくれているのに、評価が☆３つ（満点が☆５つ）みたいな単純ミスのこともあります）。

あとは、そのことをInstructorにさっさと告げ口することが大事です。と言っても、こちらが言いがかりをつけるのではなく、冷静に評価項目のおかしな点を指摘したうえで

I'd like you to judge whether or not his/her assessment is fair, including the points above. I think my score should be higher.
上記を含め、彼（または彼女）の評価が正当かどうか判断してください。私は自分のスコアはもっと高いと思っています。

…みたいな文章を添えてメールします。

すると、2～3日以内には返事がきます。

不当評価も「糧」にしていく姿勢が大事

不当な評価も、きっと、自分に何か足りなかった部分があったから起こることです。少なくともそういう姿勢でいると「次はこうしてみよう」という工夫につながってきます。

不当だからInstructorに連絡すればいい。

…これは別に間違っていないのですが、そもそも不当に評価されないようにするにはどこに気を付けたらいいのか？ということまで分かってくれば、UoPeopleの毎週の学習はもっと楽しいものになると思っています。

追記：instructorが評価を修正してくれた

上述のメールの２日後、instructorがメールをくれました。

I am looking at your paper, and I do think the grade you received is unfair. I have adjusted it to better reflect your efforts.

無事評価を修正してくれたようです。
念のためgradeをチェックしてみると、、、

ほんとだ、ちゃんと評価あげてもらえてる。ああ良かった。

そのうえで、

However, there are a few issues I want you to work on.（後略）

instructorが更なる改善を指摘してくれました。毎回のように評価の修正をしているうちに、instructorが自分の答案の傾向を把握してくれているらしく、とても前向きにフィードバックを加えてくれるようになりました。次回のアドバイスまでついているのでとってもお得でした。

...というわけで、真面目に取り組んでいるとちゃんと良いことも舞い込んできます。不当評価にたいする最大のTipsは「ふてくされないこと」なのかもしれません。