【読書メモ】ジェリー・Z・ミュラー 『測りすぎ』30

読んだ本

測りすぎ――なぜパフォーマンス評価は失敗するのか?

読書マインドマップ

『測りすぎ』目次マインドマップ

読書メモ

PartIII あらゆるもののご測定？ ケーススタディ　7大学

• 学術的生産性を測定する

  • 標準化された情報が品質を落とす例

    • 大学の教員が発表した学術的論文の数を基準として採用
      →そうした情報を集める民間データベースを使って、論文の数を数えるようになる

  • 問題点

    • それらのデータベースがしばしば信頼性を欠く

      • 自然科学などの分野では、査読付きの専門誌に掲載された論文が評価されるが、歴史のような分野では、書籍がもっともすぐれた出版物の形とみなされる

    • より良い出版物よりもより多くの出版物を出そうとするインセンティブが生まれる

    • 数字の改竄（「文献引用影響率分析（インパクトファクター）」）

      • インパクトファクターの算出方法

        • その論文が引用された回数を数える方法

        • その論文が掲載された雑誌の「インパクトファクター」を考慮するもの

      • 欠点

        • 分野をまたいだ研究は不当に評価される

        • 一部の学者たちが、お互いの論文を可能な限りたくさん引用するという行動に出た

  • 発表件数や引用回数、論文が発表された雑誌の影響力を集計する以外に、論文を評価する方法はあるのか？

    • 専門的経験に基づく判断

    • 実際に読むこと

感想

質よりも量が判断の基準になってしまったがゆえの問題ですが、では、著者がいうとおり、実際に著作や論文をじっくり読んで判断することができるのかというと、なかなか難しいのではないかと思います。

生物学などでの分野では、もう何年も前の話になりますが、1日に30本以上の論文が発行されると聞いたことがあります。世界中で論文が発行されるわけで、そうなると、じっくり読んで質を判断するというのはたいへんなことだと思います。

人間の判断の許容量をすでに超えているとしたら、あとは、AIなどで論文の質を判断することもできそうですが、これはこれで物議を醸しそうです。ある程度のふるい分けに使い、専門家の目で最終確認する、というのが、もっともよい方法なのでしょうか？