心理学の再現性問題　３

このnoteを書いたのは西田さん.
前回の記事　心理学の再現性問題2　の続きです。

論文に対する批判

当然、このような予知能力があるという仮説を支持する結果は、大多数の心理学者にとっては到底納得のいかないものでした。

まず、このジャーナルには、ベムの論文とともにそれに対するウェイゲンメーカーズらの批判が掲載されました。

Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432.
https://doi.org/10.1037/a0022790

ウェイゲンメーカーズらが指摘するのは、ベムの論文における3つの問題点です。2つ目と3つ目は統計と確率に関するやや専門的な話になってしまうので、ここでは1つ目の問題点を紹介します。

検証と探索の混同

ウェイゲンメーカーズらが指摘した1つ目の問題点は、ベムが行った実験は検証的なものであるように見えるが、実は探索的なものだったのではないかという疑念です。心理学のみならず実験を行うような諸学問では、最初に仮説をたてて、それを検証するために実験を行うのだという前提があります。実験のなかでデータを得て、それに対して統計的分析をすることによって仮説の支持と棄却を定めるというのが、主流のやり方の一つです。言い換えればこれは、データを得てから、あるいは分析の最中にデータに合致するような仮説を立てたり変更したりすることはできず、仮説に関係のないデータ変換や切り取りをするべきではない、ということです。明確な仮説を立てられる段階にないのならば観察調査や先行研究の精査などを行う必要がありますし、検証の結果仮説が支持されなかったのならば、仮説の修正を検討する必要があります。

しかしながら、例えば先に言及したベムの9つの実験では、必要性が不明なデータ変換が行われていたり、仮説と関係のないはずの性別によって分析データが分けられるなどが行われていました（Wagenmakers et al. 2011: 427）。これでは、仮説を検証するための分析というよりも、仮説を支持する要因を見つけるための探索的な分析だと見なされるのも無理はありません。よりセンセーショナルな言い方をすれば、これは恣意的な「p値ハッキング」（有意な結果にするためにデータ分析の自由度を利用すること）に見えてしまいます。

ベムの論文をきっかけにして多くの心理学研究者が突きつけられたのは、現在心理学で正当なものだと考えられている方法論、たとえばプライミング実験によって、予知能力のような信じがたい現象の存在を支持することができてしまう、ということでした。それなら、同じような手法で行われた実験がこれまで示してきた現象も、p値ハッキングのような「裏道」を通して支持されてしまったものではないのか？　このように心理学への信頼性のゆらぎが、強く認識されることになりました。

実際、2015年には100の心理学実験を対象として、その結果が再現できるかどうかを検証した研究が発表されました（Open Science Collabration 2015）。しかし、再現可能だったのは3分の1程度でした。

追試、そして掲載拒否

ベムの論文が出版されたのち、いくつかのグループが追試を行いました。科学の用語としての追試とは、一度発表された研究の手法、データ収集やデータ分析の方法などを踏まえて、第三者が同じような実験や分析を行うことです。ベム自身も論文のなかで追試の必要性を述べており、そのためのパッケージもリクエストすれば入手可能でした。

ベムの論文の追試を行ったグループの一つには、心理学者のリッチーらがいました。リッチーらの追試では、ベムが示したような「未来を感じる」能力の存在を支持する結果にはならなかったことが明らかになりました。

そこでリッチーらはこの追試を、ベムの論文が載った雑誌であるJournal of Personality and Social Psychologyに投稿したのですが、掲載されませんでした。同誌の編集者は「追試研究が出版されるということが望ましいのは同意している」としながらも（New Scientist 5 May 2011）、「成功したものであれ、不成功のものであれ、本誌は追試研究を掲載することはない」（日本語訳はChmbers＝大塚 2017=2019による）として、Ritchieらの追試論文を査読にまわすことも拒否したそうです。結局、Ritchieらによる追試論文はオンラインジャーナルであるPLOS ONEに掲載されることになりました。

Ritchie SJ, Wiseman R, French CC (2012) Failing the Future: Three Unsuccessful Attempts to Replicate Bem's ‘Retroactive Facilitation of Recall’ Effect. PLoS ONE 7(3): e33423.　https://doi.org/10.1371/journal.pone.0033423

ベムの論文をきっかけにして多くの心理学研究者が自覚したのは、心理学で正当とされてきたものの信頼性への疑いだけではありません。それだけではなく、p値ハッキングのような「疑わしい研究行為」を防ぎ、研究の透明性を保つための策の一つであるばずの追試研究が、少なくとも心理学という領域においては軽視されているということでした。
このように、新しい仮説を提唱するものや従来の仮説を支持する研究が、従来の仮説を反証するような研究よりも多く発表されてしまう「発表バイアス」もまた、多くの心理学者が解決しなければならない問題となったのです。

それまで正当とされた心理学の知見が、実は再現できないものだったのではないか。さらに、心理学は再現しようとする研究が発表されにくい、不健全な環境にあるのではないか。これが、心理学が直面した「危機」であり、心理学の「科学らしさ」がゆらいだ事件となったのでした。

・・・
次回は「再現性の危機、その後」について