Scipy2020 チェアマン(Chair) とレビューワー(Reviewer)のガイドライン(非公式日本語訳)

以下はScipy2020 Chair & Reviewer Guidelinesの非公式の日本語訳です。

プログラム委員会の仕事は、与えられたスペースと時間の制約の中で、会議の参加者全体の利益を最大化するトークを選択することです。

SciPy2020はダブル・オープンレビュー(double-open review)を実施する予定です。エリア・チェアマン(Area chairs)は、レビュー担当者のコメントと会議スケジュールの制限に基づき承認の決定を行います。この意図は、プロセスの透明性を提供し、コミュニティの信頼を築くことです。(匿名レビューと比較して署名付きレビューの質が高いことを証明する研究もあります。)

しかし、研究によると、ピアレビュー(peer review)は雇用プロセスと同様に、女性やマイノリティ、あまり有名でない機関の人々を不利にしてしまう目にみえない偏見に苦しめられることもあります。署名されたレビューは匿名のレビュー [1]、[2]、[3] よりも質が高いことは研究により証明されているため、レビュープロセスにおけるバイアスについてレビュー担当者を教育し、このバイアスを阻止するためのツールを提供したいと考えています。

レビュープロセスのバイアス

人間は一貫して、日常的に、そして非常に偏っています。私たちは強い偏見を持っているだけでなく、自分が偏見を持っていることをほとんど知りません。(興味がある場合[4] 、[5]を参照)

第一に、私たちは誰もが偏見を持っていることに気づき、それを受け入れることで、自分自身の中でそれを見守り、私たちと一緒に働いている他の人たちが同じことをするのを助けることを学べます。このような意識を高めるプロセスは、マニュアルトランスミッションの自動車のクラッチを踏んだときに起こることと似ています。(偏見が止まらないように)モーターは停止しませんが、車は前に進みません。私たちが偏見に目を光らせているとき、私たちは盲目的にそれに従うことは少ないでしょう。[6]

気をつけて!確認する際には、次のこと確認してください。

● 自分の印象に特に影響するものがプロポーザルにありますか?彼らはその話に関係がありますか。
●その講演者について、自分はすでにどのような評価をしましたか?これらは確かな情報に基づいていますか、それとも単に自分の解釈ですか?
● この人の仕事は自分に何か自分自身を思い起こさせますか?自分のアジェンダはこのプロポーザルに対する自分の評価に影響を及ぼしていますか?自分の過去の経験が影響している要因はありますか?
●この人は、肯定的にも否定的にも、誰かを思い出させますか?(現在のプロジェクトまたは作業に関連する評価者バイアスを観察するように注意します。自分にとって重要なプロジェクトであると、提案を多かれ少なかれ肯定的に評価しやすくなります。)
●その人の教育機関、勤務先、その他の所属は、自分が彼らの仕事をどのように認識するかに影響しますか?

レビューを準備する際に考慮すべき事項:

パターン認識反応のバイアス—最も革新的で生産的で効果的な方法だからというよりも、「自分たちと同じやり方」だからという理由でそちらを評価する場合があります。

評価対象の作業に関する予測に注意してください。

異なるグループ間の評価パターンを探してください。例えば、一般的に女性は男性と評価が違いますか?

セマンティックジェンダープライミングに注意:男性(例えば、攻撃的、教則力がある)または女性(例えば、協力的、保育力がある)のステレオタイプとより強く関連している単語にされされていると、男性または女性のその後の評価に影響があります。[7]

集団に関する集合的データまたは仮定に基づく個人に関する推論:文化的ステレオタイプに基づく個人に関する仮定をすることは、生態学的誤謬の一種です。例えば、大規模なセンターの補助金を主導する女性が少ないため、個人の女性が大規模なプログラムを主導する能力が低いと想定されてしまう、あるいは、全体的な黒人生徒の成績が白人生徒より低いと、個々の黒人生徒の準備が不十分であったと仮定してしまいまう。[4]

リードチェア用

直感的反応のバランスをとるために確立された測定基準をチェックします。測定された値がパフォーマンスを示していることを確認します。
レビュープロセスを開始する前に、無意識のバイアスに関する会話をレビューします。
業績評価セッションの前に意思決定ガイド(decision aids)を使用して、ワークスタイル、対人特性、個人的な関係、感情、ライフスタイル、チームワーク、個人的な目標に関する仮定、およびあなたの解釈に影響を与えた人に関するバイアスを特定し、ナビゲートします。

レビューアー用

バイアスを中断する—各セクションの後で、どのようなルールや基準を設定したかを見直し、それに応じて投稿をレビューしていることを確認する。礼儀正しくしてください。伝えるのではなく、新しいアプローチ方法を聞いてください。
失礼なことを言わない。いつも少なくとも一つはいいことを言う。
感謝しましょう。学んだことを指摘して、ありがとうと言いましょう。
読んでいる間はフレッシュな状態で。長時間のレビューは、いくつかの点をカバーできない可能性があります。
レビュー担当者は自分の時間に複数の要求があり、レビューを完了するための時間的制約の下にあることが多いです。そのため、認知バイアスが効率的であると認識し、時間的プレッシャーにより意思決定への影響が促進される場合があります。
性別による偏りについては、他にも興味深いリンクがあります。
●Threats to objectivity in peer review: the case of gender
●A Linguistic Comparison of Letters of Recommendation for Male and Female Chemistry and Biochemistry Job Applicants
●Science faculty’s subtle gender biases favor male students
●How stereotypes impair women’s careers in science

Doug Hellmann氏が以下のヒントを提供してくれたので、以下のような観点からプレゼンテーションを分析してください。
要約:時々、非常に魅力的なタイトルが出てきますが、+1に投票して次の話に移る前に、読み続けるようにしてください。提案書で面白い話題を取り上げるだけでは十分ではありません。トークが面白くなることも示さなければなりません。本を読んでいる間、私はいくつかのファクターを探します。

●概要は分かりやすいですか? 話し手は、私がその話題について何も知らなくても、私が理解できる言葉で彼らが話そうとしている話題を説明すべきです。明確に書かれた概要は、特定の分野に特化した専門用語をあまり使わずに、講演者が聴衆とコミュニケーションできることを示しています。
●概要は完成してしますか?不完全な提案は私が考える最大の否定的な要因です。もし提案書が不完全であれば、話し手が何について話すのか、話し手が話の主題を知っていても、私は本当に言うことができません。提案書に詳細な要約または概要がない場合は、 より詳細を提供してもらえるように送信します。
●概要は説得力がありますか?抽象的な内容は、題材を問わず、観客をひきつけるように書かれていますか?私は、講演者がその話題に興奮していること、そして聴衆にその同じ興奮を伝えていることを示す要約を探します。

トピック:トークの主題は、投票時に考慮される最も重要な、または唯一の側面であるという人もいます。しかし、つまらないと思っていたテーマの発表を見たことがありますが、最初から面白いと思っていた話よりも盛り上がりました。私の考えでは、トピックは考慮すべき重要な要素ですが、必ずしも最も重要ではありません。

関連性があり、すぐに役立つ、斬新なトピックですか?まず、そのトピックがカンファレンスの参加者に関係があるかどうかを見ます。参加者には、さまざまな経験レベル、興味、背景があります。私たちは幅広い話題を求めていますが、ニッチに焦点を絞りすぎた議論は避けるように注意する必要があります。将来性のある新しいプロジェクトは、プレゼンの提案をポスターの提案に変えることをお勧めします。トピックがニッチすぎるかどうかを考えるのとは対照的に、聴衆がすぐに役立つものを取り上げるかどうかも考慮に入れるようにしています。

利益相反

ピアレビューにおける利益相反の定義は、公平な科学的判断や評価を行うことができない状況を指します。(PNAS Conflict of Interest Policy)。

利益相反(COI)は個人のバイアスとは異なります。それは、あなたの客観的な評価を損なう可能性のあるいかなる利益からの独立性、作品の知的な質以外のいかなる懸念にも関係します。
提出書類に利害の対立がある場合は、それをレビューすることを拒否し、プログラムの議長に具体的な理由を開示する必要があります。
コンファレンス・トラックまたはミニ・シンポジウムのエリア・チェアとして、承認の決定において利害の対立を避ける必要があります。共同研究者(もしくは自分提案)のトークについての決定はやめて、共同研究者(またはプログラムのチェアマン)に任せるべきです。
利益相反の可能性を宣言することは、職業倫理の下で必要とされます。疑問がある場合は、プログラムの議長に尋ねてください。

出典と引用文献

SciPy2017多様性委員会・プログラム委員長作成。有益なリンクをくれたPhilip B. Starkに感謝します。この文書は、以下の様々なソースを編集したものです。
●https://doughellmann.com/blog/2011/10/18/how-i-review-a-pycon-talk-proposal/
●https://nearsoft.com/blog/europython-2016-a-review/
●Everyday Bias: Identifying and Navigating Unconscious Judgments in Our Daily Lives. Howard J. Ross.
●https://hbr.org/2015/04/3-ways-to-make-less-biased-decisions
●https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4238945/#!po=88.4615