趣味の読書004_Science Fictions（スチュアート・リッチー）
タイトルからはもうちょっとポップな本かと思ったら、相当硬派かつ中身の濃い、「科学」の歪みを暴く本だった。主題はそのままだが、副題は原題のとおり、「科学における詐欺、バイアス、過失、誇張」でも良かったんじゃないかと思う。ともあれ、バチクソに面白い。
https://www.diamond.co.jp/book/9784478113400.html
科学――社会科学はあまりリーチになっておらず、心理学等の認知科学系が主な対象である――の分析から公表に至るプロセスの中に、大衆を惑わせ、補助金を掠め取り、政策を曲げてしまう、意図的または非意図的な歪みを、様々な事例と莫大な注釈で描く450ページ。正直注釈については全然読み切ることができなかったが、冒頭紹介される、超能力を発見にしたという論文とその再検証の顛末、また完全なるデータ捏造で生み出された数々の科学的詐欺の事例から、完全に本書に引き込まれてしまった。いわゆる「再現性の危機」問題である。この問題にある背景として、（原文の副題である）詐欺、バイアス、過失、誇張の4つが提出され、それぞれがどのような背景で、どのような問題を引き起こしているか、丁寧に解説される。そして、これらの問題にいかに対処すべきか――本書ではマートンの規範として提示される、「普遍性、無私性、共有性、組織的な懐疑主義」をいかに発揮させるべきか、作者なりの見解が展開される。
科学の「おもしろ」話としては（何も笑えないけど）、詐欺のトピックが一番興味深いし、衝撃的な話が多い（その意味で、科学トリビアのタネ本としての要素も有している本である。詐欺以外のセクションも、ネタには事欠かない）が、データ分析のおままごとをやっている身としては、バイアスと過失も、非常に身につまされる話であった。有意でない（NULL）データの提出は、趣味ならともかく、仕事だと真面目に辛いと思う。補題としてならともかく、メイントピックとしてNULLの結果を提出するのは、かなりの勇気が必要だ。そして提出されなかったNULLデータは、ファンネルプロットの欠損という形で現れる、というのは、科学の偏りの分析としても非常にオモシロイと思った。過失は当然に起こる。2日かけても分からないバグが、ラベルの誤植とかは本当にあるあるである。
また、p値ハッキングも、メッチャクチャよく分かる。というか、私もやっていた。有意性のある相関等が取れるまで、変数を順番に変えていき、有意性が取れたデータで分析をまとめる、そんなの、当初の仮説が一貫してうまくいくわけないじゃないですか。頑張って取ったデータを活用するために、似たような変数で有意性が取れる組み合わせを考えることの何が悪いんですか？――まあ依然としてこうは思うのだけれど、だからこそ三下から大御所まで、プロの科学者もやってしまうのだろう。詐欺以降のセクションは、基本的に「悪意はないし悪でもないが、それでも科学を歪ませる」性質のもので、様々な事例が挙げられているのだが、かなり身につまされる思いもあった。
他方、p値ハッキングした結果って、実際あんまり面白くないことが多いというか、ロバストな結果ではないので、文章としてまとめるときに苦労するんだよね。この、実際のところ些末で頑健でない結果を文章でごまかす、という行為は、「誇張」というセクションでまとめられている。ともかく、この辺の「悪い」事例は、全部面白い。
そして、率直に絶望的な状況を支える、論文発表や助成金のシステムの改革にも、果敢に希望を見出そうとする結論も非常に学びになる。メタアナリシスや再現実験の奨励、データの共有や公開、「新規性」を追求する姿勢を弱めること、大量のデータを分析できる新技術を用いて、論文に含まれる詐欺や誇張やバイアス等を検出すること。
当たり前といえば当たり前の結論だが、研究というこれ以上ない熾烈な競争とプレッシャーの中に曝される業界では、これらの取り組みをしっかり着実に続けていくしか、当座の答えはないのだろう。
そして、作者が持っているような問題意識は、大学等で、ある程度体系的な科学分析や論文の作法、統計処理を学んだ人なら、多かれ少なかれ同じように感じていたのではないかと思う（というか、感じてない人は、そういう専門技術を学んでない人だと思う）。ただ、実際に実験結果をまとめ、論文にまとめるとき、この本に紹介された問題――詐欺はないにせよ、それ以外の歪みの誘惑に駆られなかった、惑わされなかった人は、相当に幸運な人だろう。
なんにせよ、自分がプロセスとしての「科学」に乗っかっていること、あるいは自らの主張に、論理的で客観的な科学性を主張するなら、間違いなく読んでおくべき本である。