行動経済学論文のデータ捏造を暴いた記事の大意を和訳してお届けします
昨日Twitterを眺めていたら、衝撃的な論文が飛び込んできた。「行動経済学」に関する論文で取り扱われたデータが捏造だったのではないか、と疑義を投げかける論文である。そこで今回は、この論文の論証の大意を日本語でお届けしたい。また、その前後に、行動経済学とは、また、行動経済学の今後は、等についても、簡単に触れてみたい。
そもそも行動経済学とは
行動経済学を一言で表すなら、「経済学と心理学の融合」とでもいえばいいだろうか。そもそも従来の経済学では、人は「合理的に判断する」生き物として描かれていた。ありとあらゆる便益を計算し、比較し、より便益が大きい選択肢をとるその様は、「ホモ・エコノミクス（合理的経済人）」と（しばしば揶揄の意味をこめて）呼ばれてきた。
行動経済学は、それに対して、「人々の心理的な側面」をより重要視したアプローチをとる。仮定する人々を、より現実の人々が下す価値判断に近い行動をとるようなモデルにすることで、より現実世界に意味のある意思決定や施策の実行を行うことができる、というのが大まかな主張である。
一つ、有名な例を挙げよう。次の質問について、考えてみてほしい。
「A: 5%の確率で10,000円をもらえるが95%の確率で何ももらえない宝くじ」と、「B: 必ず1000円をもらえる宝くじ」、どちらか一つだけを選ばなければいけない場合、あなたはどちらを好んで選ぶだろうか？
ここで合理的経済人なら、迷わずBを選択する。なぜなら、Aの場合の期待値は500円（5% x 10,000円 + 95% x 0円）だが、Bの場合の期待値は1,000円（100% x 1,000円）だからだ。ところが現実の人々は、一攫千金の夢を見てAを選択してしまう。この現象を、行動経済学では「可能性効果（あまり起こりそうもない結果に過大な重みがつけられること）」として説明している。
このように、「人々は合理的ではない意思決定をする」ことが、現実世界では多々ある。なぜそうなるのか？というメカニズムを解き明かすのが、行動経済学、というわけだ。
心理学でもそうだが、人の心のメカニズムを解き明かすためには、一般の人々に参加してもらって実験を行うことが一般的だ。その際に、実験の実施者によるバイアスが入らないように、細心の注意を払う必要がある（もし被験者の意図が入ってしまったら、理論として成立しなくなってしまう）。ましてや、自分の仮説を正当化するためにデータを捏造するなど、あってはならないことである。
ところが今回、行動経済学の”理論”（というか定説）の一つを実証した研究論文に使われたデータが、捏造だったのではないか、という論文が発表された。それが今回取り上げたい論文である。英語に明るい方は、ぜひ、下記リンクから本文を確認してほしい。日本語で手っ取り早く概要を知りたいというい人のために、大意和約を掲載する。
今回の論文大意和約①: 検証対象となった実験テーマ
今回のテーマとして取り上げられているのは、「私の記述は正確で、嘘がないものです」という宣誓文に署名させる場合、アンケートの前に記載する方が、アンケートの後に記載するよりも、より効果が高い（＝アンケートの内容がより正直に書かれる）というものだ。以後、この効果を「正直宣誓効果」と便宜的に名付けることにする。
2012年に発表されたこの論文に対して、2020年に、「2012年の実験結果を再現できない」という発表がなされ、この「正直宣誓効果」の理論的妥当性に疑問符がつけられた。
今回の論文では、2012年の論文で用いられた、「論文の執筆者の一人の監督のもと、アメリカ合衆国南東部の自動車保険会社によって実施された13,488名による実験」について、データの検証が行われている。この実験では、自動車保険会社のポリシーが変わったとして、自分の車の走行距離を報告するように参加者へ求めた。その報告要旨には「私が報告した数字は正確なものであることを約束します」という宣誓文への署名が求められていた。宣誓文ならびに署名の位置は、参加者によってランダムに、誓約書の最初か最後に分けられていた。実験結果によると、宣誓文ならびに署名が「誓約書の最初に割り振られていた参加者」は、「最後に割り振られていた参加者」よりも、2400マイル（+10.3%）多く、走行距離を報告していた（※注1）のだ。一般的には、走行距離が多いほど事故リスクが高いと見積もられ、保険料は高くなるため、消費者には「走行距離を低く報告する」インセンティブが働く。つまり、「最初に宣誓させることで参加者をより正直にさせることができる」というのが、実験で証明されたわけだ。
注1: 実験のデータセットには、参加者が「前回報告した走行距離」と、「今回報告した走行距離」のデータが含まれており、その差分を「走行距離」としているようだ。
ところが、2020年に反駁する論文を書いた執筆者がデータを見直したところ、「署名が最後の参加者」グループの「前回の走行距離」は、「署名が最初の参加者」グループよりも、15,000マイル長かったのだ。これは何を意味するだろうか？前述のとおり、「走行距離が長い＝リスクが高いと思われる＝保険料が高くなる」という構図がある以上、「走行距離が長いほど、保険料を安くするため、走行距離を低く申告するインセンティブがある」ことになる。つまり、「署名が最初の参加者」は「署名が最後の参加者」よりも長く走行距離を申告した、という実験結果は、「後者の方が、走行距離を低く申告するインセンティブが強かった」という要素に影響されている可能性がある。当初は、「この実験ではランダムに割り振ることに失敗したのだろう」と思われた。ところが、さらに細かくデータを調べたところ、これは「ランダム化に失敗した」どころではなく、「データの捏造ではないか」という疑惑に発展した。ではその疑惑がどのような根拠に基づいているのか？論文では、4つの根拠を挙げている。その謎解きをご覧いただこう。
今回の論文大意和約②: データセットの違和感その1～おかしな分布～
「ある期間からある期間に走った走行距離」をランダムに集めたとして、どのような分布に「なるべき」だろうか？おそらく正規分布（つりがね状の分布）に近い形になるのではないだろうか。実際、論文ではイギリスの公的機関のデータを基に、「こうあるべきではないか」という形を提示している（下図）
それに対して、実験で使われたデータセットの分布は、下記のようになっていた。
参加者によって、「前回の報告」と「今回の報告」の期間がバラバラである以上、正規分布になっていないこと自体は、おかしなことではない。だが、上記のデータセットには、そのことを踏まえてもおかしな点が2つある。①各マイルの人々がほぼ均一に分布していること②50,000マイル以上の走行データが存在しないことだ。特に、ある境目で、「ほぼ均等な人数」から「0」に急落する。これはデータの分布として、明らかに不自然である。このようなデータ分布は、エクセル関数で「0~50000でのランダムな数字割り振り」をしたときと同様であると、論文は述べている。
今回の論文大意和約③: データセットの違和感その2～0が少ない！～
今回の走行距離数は、あくまでも参加者が「報告した」数字である。もちろん参加者によっては、走行距離計の数字を正確に報告するだろう。しかし多くの人は、「数字を丸めて」報告する。そこで、この論文では、「前回の報告」と「今回の報告」において、下3桁の「000」から「999」の登場頻度を調べてみた。その結果、「前回の報告」においては、「000」が突出しており、「500」が次に多い下3桁の数字になっている。ところが、「今回の報告」では、同様の特徴は見られず、下3桁が一様に分布している。このことも、「今回の報告は、参加者から集めた数字ではなく、自動で生成された数字ではないか」という疑惑を深めている。
今回の論文大意和約④: データセットの違和感その3～双子のデータ～
この論文は、「今回の報告」がランダムに生成されただけではなく、「前回の報告」すらも改ざんされている可能性がある、と言及する。この論文では、まず、「前回報告」のデータのフォントを調べた。そうすると、Calibriフォントのデータと、Cambriaフォントのデータが、ほぼ同数に分かれたのだ。それだけではない。それぞれのCalibliのデータは、「Calibliよりも走行距離が大きく」「走行距離数がほぼ同じ（1,000マイル以内の差）」であるCambriaフォントのデータを持っていたのだ。その証拠として、データセットをCalibliのものとCambriaのものに分け、それぞれの累積分布関数（Cumulative Distribution Function - Xが、ある値以下になる確率のこと）を表示したところ、驚くほどぴったりと重なっている。これが意味するところは、「CalibliフォントのデータとCambriaフォントのデータの分布は、ほぼ完全に一致している」ということだ。そんなことが偶然に起こりえることはない。この2つのデータは、「おどろくほど似ている」のではなく、「不可能なほど似ている」のだ、と論文は結論付けている。
今回の論文大意和約⑤: データセットの違和感その4～フォントごとのデータ分布の差異～
さらには、違和感②で用いた手法（数字の下3桁000～999の登場頻度分布）を、フォントごとに再度用いている。その結果、なんと、「Calibliフォントのデータでは、000の分布が圧倒的に高く、500が次に高い」のに対して、「Cambriaフォントのデータでは、すべての下3ケタが一様に分布している」という結果が出たのだ。つまり、「Calibliフォントのデータに、0~1000のランダムに生成された数字を加算して、Cambriaフォントのデータが作られた」ということを、この分析結果は暗示しているのである。
今回の論文大意和約⑥: 結論
2012年の論文で検証されたデータは、「前回の報告」のうち半分と、「今回の報告」のうちすべてのデータが捏造されたものである可能性が高い、と言わざるを得ない。今回の検証では「誰が」「どうやって」データを捏造したのかは究明できていないので、それらの点については、今後の検証が必要だ。論文では、「この問題に対して完璧な解決策は存在しないが、一つ重要なことは、検証に使ったデータを投稿することだ。投稿すれば、他者による検証ができる」と述べている。ローデータを公開することで検証が可能になり、結果的に、論文に対する信頼性が増すことになる。
最後に: 行動経済学は信用できない…？
今回のデータ捏造によって、実証されたとされていた「最初に宣誓させたほうが、最後に宣誓させたよりも、正直度が増す」という定説については、見直さざるを得ないだろう。同時に、（これは行動経済学に限った話ではないが、）ほかの論文（や、それを基に正しいとされている学説）についても、同様の検証は必要だと思われる。
だからと言って、行動経済学のすべてを否定するのは間違っている。行動経済学が与えてくれる示唆の中には、我々が生活で判断するときに覚えておくべきこともあるし、政策決定者が人々に対してより望ましい行動を促すために留意するべき事項もある（免許証裏のドナー希望欄などは、その典型例だろう）。行動経済学は、確かに、アヤシゲな商売に活用することも可能だ。だがそれは、「アヤシゲな商売に活かしてしまう」個人が悪いのであって、行動経済学の信頼性とは何の関係もない話である。行動経済学の検証は、使い手の善悪と学問としての正当性をごっちゃにした不当な暴言によってではなく、本論文のような実験データの検証や、再現性を確かめる実験によって、行われるべきだ。検証や実験こそ、行動経済学という分野を発展させるために必要なのだ。
最後までお読みくださりありがとうございました。今回のnoteを書くきっかけになった本論文の著者に敬意を表して、筆をおきたいと思います。
※もし本noteの和訳が役立ったと思われましたら、サポートいただけると嬉しいです！
※Twitterでは、マーケティング・ビジネスモデルに関する情報を発信しています。よろしければのぞいてみてください。