追試研究に参加して学んだこと③：追試研究は難しい、追試研究を出版するのはもっと難しい

Hirotaka Imada

こんにちは、ケント大学博士課程後期3年の今田大貴です。思った以上に色んな方に記事をシェアしていただいて少し気分を良くしたので続きを書こうと思います。

前回の記事を読んでいただいた方、追試研究をやったことがある方はなんとなくわかると思うんですが、追試研究って結構大変なんですよね。

「追試？昔の実験繰り返すだけってこと？もしかして、楽？」とか思っていた時期もあったんですが、昔の実験を再現するという作業自体も大変ですし、追試研究特有のお作法も知らなきゃいけないので、追試って実は大変なんですよ。


今回は、苦労して追試論文研究を書き上げたその先にある苦労の話です。


私がGiladのチームと一緒に執筆したHeyman and Ariely (2004)の追試研究論文なんですが、実は今は3つ目の雑誌に投稿中です。

Psychological Science (デスクリジェクト）

→Social Psychological and Personality Science (3人に査読された後リジェクト)

→Collabra Psychology (Streamline review→現在Revise&Resubmit)

とまあこんな感じで論文化に苦労しています。これから、投稿・査読過程で起きたこと等を書いていきます。


この追試論文、結構自信があった

私が書いた追試論文、自分で言うのも何なんですが、結構自信あったんですよ。というのも、前回の記事でお話したReplication Justificationがしっかりしていて、誰が読んでも「おお、確かにHeyman and Ariely (2004)の追試には価値がありそうだ」と思うような論文になっていた（つもりだ）からです。私が書いたJustificationはこちら；

(1) おかしな統計：オリジナル論文で報告されているF統計の自由度が不可解だったり、F値とp値が一致しなかったり（statcheckというツール使って確認しました。このツール、自動でおかしなp値を検出してくれるので重宝しています。確かJESPはこれでチェックするのを薦めています。もしかすると義務だったかもしれません。）、統計量の報告が効果量の推定がちゃんとできないぐらいにはよくわからないものだった。

(2) Academic Impact：オリジナル論文の発見は以降"Social Utility研究”などと言われたりもしていて、その引用数（1100以上）からわかる通り、多くの理論・実験の礎になりました。

(3) Public & Societal Impact：オリジナル論文の発見は、「報酬の種類（お金かモノか）によって、報酬の量が援助の質に与える影響が変わる」というものでして、非常に実用性に富んだものでした。そのため、Business・Conservationなど多くの分野で実際にこの知見を活かした応用研究が行われたり、実際にアカデミア外の多くの人にインパクトを与えました。

(4) 概念的追試が成功していない：直接的追試は今までなかったものの、実は1つだけ概念的追試（追試という位置づけではないがかなり似ている研究）がありまして、その実験ではオリジナル研究の知見が再現されていません。

どうですか？

こんなにインパクトがある（Psychological Science誌に掲載された）論文におかしな統計報告があったのに加えて、似たような実験で結果が再現されていないんですよ。これ、どう考えても直接追試したらみんな幸せになりそうですよね？

追試研究素人の私は、「これPsychological Scienceに出したらアクセプトされるっしょ！」と意気揚々とGiladに最終原稿を渡したんですが、彼から「厳しいとおもうけど、まあ投稿して様子みよう」という返事が返ってきて困惑したのを今でも覚えています。え、これで厳しいの？


Psychological Science「新規性なし、デスクリジェクトォ！」

デ、デスクリジェクト！？どういうことなの！？　荒ぶる気持ちを抑えてDecision Letterを読むとこんなことが書いてありました。

(1) あなたの知見はPsych SciのAims & Scope (cutting-edge research of theoretical  significance and broad interests across the field)的にちょっと無理

割とフィットしてる感じがするんですが、、、

(2) Empirical contributionもなければTheoretical contributionもなし

えぇぇ、Zwaan et al. (2018)読んだことあります！？

(3) "Largely, they replicate the main theoretical position, add a nuance that does not move the needle"

美しい日本語訳ができないのでそのままコピペしたんですが、これ読んだときは本当にびっくりしました。そんなこと言うんだ、、、

(4) シナリオ実験、イマドキじゃないしEcological Validityもなし

直接的追試なので、実験内容はオリジナル実験と同じなんですよね。なので実験内容の批判をされても。。。Giladから聞いたところによると、この手のコメントはかなーりくるらしいです。そんな馬鹿な。


さすがにこれでは食い下がれない、と思い、2020-2021シーズンにPsychological Scienceが出版した追試研究のreplication justificationをすべて確認しました。直接的追試がないから、というだけのjustificationの追試が出版されていたりするんですよね。も正直何を基準に追試の価値を評価しているのかわかりませんでした。それに、シナリオ実験を使っている（追試ではない）論文もつい最近出版していたりもしていて、我々の論文に対して言ってることと、最近の論文出版の様子がとにかく嚙み合いません。キャッチ―な論文の追試だけ選んで出版してIF上げようとしてるだけなんじゃないの、とさえ思いました。

この辺の意見をまとめたラブレターを送り付け、Editorial Decisionの再考をお願いしたんですが、答えはノー。その代わり(?)、不可解な統計に関してはAriely本人とフォローアップをしてExpression of Concernを出版してくれました。（本文中でチームメンバーの名前がacknowledgeされています、一応。）

前回の記事でもちらっと書きましたが、この件に関してはAriely本人からボイスメッセージにて感謝だったり、「これもExpression of Cocnernと一緒に出版すればいいのにね」的なコメントを頂きました。本当に真摯な対応でした。


SPPSに再投稿。査読に回った後リジェクト。


お偉いジャーナルは”そういうもん”、だと踏ん切りをつけて、SPPSに再投稿しました。Psych Sciのフォーマット（語数制限やSupplementary material）はかなり変わっているので、SPPSの投稿のためのフォーマットチェンジが本当に大変でした。。。

結果はリジェクト。査読結果を読む限り、たいしたmajor issueないじゃん、という感じの内容だったので悔しいリジェクトでした。3人のうち1人は書きぶりからあきらかに”追試嫌いな人”でした笑　3人分の査読（major revision / rejection / rejection）と編集者からのとても丁寧なコメントは分量が多いので、今回は印章に残ったものを1つだけ紹介します。今この原稿はCollabra Psycholgyに投稿中なんですが、もしアクセプトされた場合、SPPSからのEditorial Letterは論文と一緒に公開になるので気になる方はあとで全文読めます。

オリジナルオーサーに連絡とってやったの？連絡とってやるのが筋（Good faith perspective taking approach)なのでは？

Gilad曰く、これ手のコメントはめちゃくちゃ多いらしいです。まあ、確かにそうだな、と思ったんですが、Giladはオリジナル論文著者に連絡して追試をやるのが常に正しいとは思っていないと言っていました。というのも、追試のターゲットになるような古い論文の著者は今ではビッグネームであることが多いうえに、その世代の人達の中にはまだ追試・オープンサイエンス文化に適応していない人が多いので、どこの馬の骨かもわからないECRが「あの、あなたの実験追試したいんですけど」とメールを送るのが危ないケースがあるからです。実際にGiladは何度かそのような経験をしたようです。著者に連絡するのが筋、というのがスタンダードになってしまうのはよくないかもな、と思いました。

もう心の力はゼロですが、ここまでやったからには論文化をするまで終われません。


Collabra Psychology: Streamlined Reviewシステム（神）


実はいくつかのジャーナルはStreamlined Reviewシステムというものを採用しています。簡単に説明すると、「リジェクションをもらった時のEditorial LetterとReviewers Commentsをそのまま査読の第一段階として利用する」というシステムです。Collabra Psychologyはこれを採用しているので、SPPSからのDecision Letter / Reviewers Commentに対応する形で原稿を改稿して、改稿した論文と、Response Letterをいきなり投稿しました。編集者の方はStreamlined reviewができる（いまのところ新しく査読者を付ける必要なし）と判断したようで、今は編集者の方からのrevision requestに対応しているところです。もう改稿は終わっているのでそのうち再投稿します。Streamlined Reviewって、いいですね～（感動）。


まとめ：追試研究をトップ誌に載せるのはめちゃくちゃ大変。あとGilad Feldmanはかっこいい。

SPPSではそんなことはなかったんですが、Psych Sciに投稿したときは、「追試研究なんてだしてられない」というオーラをとても感じました。どんなに慎重に追試対象を選んで、どんなに頑張って追試をしても、超えられない壁があるんだな、ということを学びましたね。直接的追試研究の価値（Zwaan et al., 2018）、というのはやはりまだ一部のオープンサイエンスエリートの中でしか共有されていないのかな、と悲しい気持ちにもなりました。

頑張ってやってもいい雑誌に載らない、ってかなりやる気削がれますよね。どうせ大した雑誌に出ないなら（Collabra Psychologyが大したことない論文だという意味ではありません、むしろ好きな雑誌のうちの１つです）、なんでわざわざ大変な追試をするの？と思うのが普通です。

また、追試論文と通常の論文の評価ってどうなっているんだろうと心配になったりもしました。もしかしたら、追試論文を0.5として数える大人もいたりするんじゃないだろうか、なんて考えたこともあります。

追試実験論文を書くが既に大変なのに、それを出版するのもかなり大変、そして出版されたとしてもどう評価されるのかよくわからない、世知辛い世の中ですね。


Giladは直接的追試をもう50以上行っているので、自分が今回経験した「やるせなさ」的な感情を当然何年も、何十回も経験しているはずです。それでもなお、彼は心理学の将来のために若手の育成をしながら追試を続けて、いろいろな場所でオープンサイエンスに関するトークや普及活動をしていて、本当に尊敬できる、かっこいい研究者だなと思っています。こんな研究者になりたいですよね。


ついでにもう一つかっこいいエピソードを。


オープンサイエンス関係の論文って割と「Replication Crisisがやばい」「QRPがやばい」のような、過去を戒めるような文体・内容になりがちですよね。ただGiladはそういうフレーミングをするのではなく、「Credibility Revolutionが必要だ」という未来志向のフレーミングをいつもしています。このことについて彼と意見を交わしたときに、こういうポジティブなフレーミングをして(open scienceガチ勢以外の人に対して)inclusiveな語り口をしないと誰もついてこないし、Replication Crisisがどうこうという文章を書いても、そんなことは百も承知のガチ勢しか読んでくれない、と言われました。ここまで考えて色々発信しているのか、と本当に関心したといいますか、本当にすごい研究者だなと思いました。

オープンサイエンスのプロモーションの方法に関するメタサイエンス論文がそろそろ出てくる頃ですかね。


はい、今回はこんな感じで終わりにしようと思います。追試研究は大変、追試研究の論文化はもっと大変、そんな話でした。ただ、それでも追試はやっていかなくてはいけないと思いますし、これからもできる範囲でやっていきたいなと思っています。（自分の博論研究は、自分の実験の追試を何度もやりながら少しずつ進める、「石橋叩きまくるスタイル」でやっています。）


大分長くなってしまいました。最後まで読んでいただきありがとうございました。日本語で文章を書くのは4年ぶりで、なかなかに読みにくい文章だったかと思います。次回はもう少しがんばります。

次回はプレレジに関して書いてみようかなと思っています。

では。

この記事が気に入ったらサポートをしてみませんか？