ランキングと測りすぎ

以前，『測りすぎ―なぜパフォーマンス評価は失敗するのか？』という本の紹介をしたことがあります。

測りすぎ――なぜパフォーマンス評価は失敗するのか？

ランキング

そして最近，『ランキング―私たちはなぜ順位が気になるのか？』を読んだ時に，『測りすぎ』の話題が出てきたのがちょっと面白かったのでした。

ランキング――私たちはなぜ順位が気になるのか?

タイミング

ちょうど『ランキング』を執筆しているときに，同じようなテーマを扱っている『測りすぎ』が出版されたのだそうです。論文でも本でも，同じようなものが出たことがわかると，著者としては焦りますよね……。私も似たような経験をしたことがありますので，気持ちはよくわかります。

　本書を書いている途中に，ほぼ同じテーマを扱った本が出版された。ジェリー・Ｚ・ミュラーの『計測の専制』[邦訳『測りすぎ』]は，われわれが取り憑かれたように計測する結果，意図しない結果を引き起こしていることを指摘した。社会的信頼が希薄な現代において，説明責任や透明性という名目で，人間が行うべき判断が計測指標に代替されているとミュラーは主張している。おそらくこれは正しいだろう。正直さ，道徳性，信頼性をあてにできる世界では，透明性を保証するのにもっと少ない計測指標で足りるだろう。（p.139）

数値化の弊害

『測りすぎ』で指摘されているのは，測定して数値にすることでさまざまな弊害が生じてくるという問題です。数値化すると，それが目標になってしまいます。そして「数値だけを達成しよう」とする方向へと進むことが往々にして起こります。

たとえば，本当は学力や教育の効果を高めるべきであって，テストの得点はその反映にすぎないのに，テストの点数を1点でも高めるために解答のテクニックが横行する，といったことです。

　計測指標が操作された事例は枚挙にいとまがない。警察の世界では，解決事件数，犯罪率などの統計が，警察のイメージを上げるために不正に操作されてきた。教育の分野では，外部から与えられた目標数値を満たすために，本来の教育目標を犠牲にして「テストのための指導」が横行している。医療の世界では，外科医が自分の業績を低下させないようにリスクの高い患者を避けることがあるという話を聞いたことがあるだろう。ミュラーはさらに，計測可能なものと計測するべきものとの間に乖離があると指摘しているが，これも正しいだろう。たとえば，投資の結果を計測するよりも，投資の実施額を計測する方が容易である。

でも……

しかし，『ランキング』の中では，『測りすぎ』の主張には同意できない部分もあると書かれています。何かを数値化することはたしかに問題があるのですが，だからといって数値化することを放棄することは望ましくないという考え方です。

この点は，私も同じ考えです。数値化がなければ誰かが主観で判断してしまい，かえって混乱を生みだす可能性も出てくるからです。数値化が悪いのではなく，それを必要以上に使ったり，必要以上に過信したり，必要以上に別の場面に適用していくことに問題があるのではないでしょうか。

　ミュラーの著作で示された事例や結論の圧倒的大部分に私は賛成するが，科学者としては，彼の論調には同意できない。計測指標やレーティングやランキングなどの定量的分析を完全に放棄するのは望ましくない。もしそれらを放棄したら，誰が，どのような基準で，判断すべきなのだろうか。同書は，計測指標を用いることによって得られる説明責任を正当に評価し損なっていると私は思う。ミュラー教授には，引き分けを提案したい。