騙されない自分
（2020年8月にCNETブログに書いた記事の再掲です）
7月に、「ホモデウス」で有名なイスラエルの歴史学者ユヴァル・ノア・ハラリと、台湾のデジタル担当大臣オードリー・タンの対談[1]がありました。テーマは「ハックするか、ハックされるか -- 民主主義、仕事、アイデンティティの未来」というもので、情報技術に対するハラリの危機感と、タンの楽観論が対照的でした。
ハラリは、「自分自身より、機械のほうが自分のことをよく知っている」世の中に強い危機感を抱いてています。「自分にある特定の行動を起こさせるには、どのボタンを押せばよいか、機械はよく知っているのだ」と。情報技術が発達する以前から、詐欺師が人々を騙して不要な品物を買わせたり、新興宗教が人々を高揚させる儀式を通して勧誘したり、あるいはまた、戦時中の大本営発表のように偏った情報を流すことによって人々の意見を誘導したりすることは繰り返し行われてきました。これらはいずれも、私たちの心の中にある「弱さ」につけこんだやり方です。
では、なぜハラリは今、このような警鐘を鳴らしているのでしょうか。そこには２つの理由があると思います。行動経済学や認知科学の進歩によって「人々の心の弱さ」が次々に明らかになってきたことと、情報技術がかつてない進化を遂げていることです。
私たちの心の弱さと進化するテクノロジー
こんな話を聞いたとしてください。
知り合いの大工の息子に、将来何になりたいか、と聞いたところ、「父さんのような立派な豆腐屋になりたい」と答えた。
これは、以前同僚であった佐々木順子さん（現在はいくつかの会社の社外取締役をされています）に教えていただいたストーリーです。私はこの話を初めて聞いたときに、何を言っているのかわかりませんでした。父親が豆腐屋と大工を兼業しているのか、とかいろいろ考えてみましたが、あまりピンときません。
実はこの話の解釈は簡単で、大工は母親なのです。しかし、多くの人は私と同じように「大工の息子」のところで既に、「ああ、お父さんが大工なのだな」と勝手に想像したのではないでしょうか。これは私たちが持つ認知バイアスによるものです。私たちは、知らず知らずのうちに「大工は男性である」というジェンダーバイアスを持っていたのです。
ノーベル経済学賞を受賞した行動経済学のダニエル・カーネマンの著書「ファスト&スロー : あなたの意思はどのように決まるか?」[2]によれば、私たちの思考は無意識に答えを見つけ出す「システム１」と、意志の力を要する「システム２」とに分かれるそうです。本来、私たちが自分の人格だと信じているものはシステム２思考なのですが、問題は、システム２が「ものぐさ」であることです。毎回まじめにシステム２思考すればよいのですが、ついサボって連想に基づくシステム１に意思決定をゆだねてしまいます。そうすると、本当に自分に必要かをよく考えずに、さっき広告で見たばかりの商品を買ってしまったり（プライミング効果と言うそうです）や、好きな俳優が使っているバッグを買ってしまう（ハロー効果と呼ばれます）というようなことが起きてしまいます。
その一方で、自分自身も気づいていない、隠された認知バイアスを巧みに利用する技術が急速に進化しています。オンラインショッピングで「お勧め」の商品が出てきますが、それは私の購買履歴や、閲覧履歴、それに私の年齢や居住地などのデモグラフィック情報から、いかにも私が買いそうなものを選んで表示しています。あるいは、ユーザーにランダムに異なる版のWeb広告を提示して、どの広告を出せば一番クリックされやすいか、を推定するA/Bテスティングという手法があり、今では広く使われています。その裏には、2000年ころから急速に進化している統計的機械学習の技術があります。
行動経済学という「人の心の弱さ」に関する知見と、それをかつてないスケールで利用できる統計的機械学習を始めとする情報技術が組み合わせられると何が起きるでしょうか。この組み合わせが広告に使われている限りはそれほど問題にならないかもしれません。確かに「これを買っている人はこれも買っています」という情報は、消費者にとっては便利に見えるでしょう。
しかし、これが悪意を持った人の手に渡ったら何が起きるでしょうか。現在社会問題になっている特殊詐欺は、大規模なA/Bテスティングを利用していないでしょうか（私が詐欺グループを主宰していたならば、間違いなくやっていると思います）。選挙の投票行動を誘導するために行動経済学と機械学習が使われていたらどうでしょうか（既に使われているのは間違いありません）。政府やマスコミが特定の世論を誘導したいと思ったら、まず相談するのはマーケティング（行動経済学）の専門家と、統計的機械学習の専門家でしょう（そのような会議に実際に呼ばれたことがあります）。
このような行動経済学と統計的機械学習のプロが私の認知バイアスを利用して私の意志を操作しようと思ったら、それは容易なことでしょう。私自身も生身の人間で、認知バイアスから逃れられないからです。これはとても恐ろしいことです。ナチスドイツのゲッペルス宣伝相が、あるいはソ連のスターリンがこのような技術を持っていたら何が起きたでしょうか。トランプ大統領や習近平国家主席も、この技術の可能性に気づいているでしょう。
騙されないために
では、私たちが自分の心の弱さを克服して、それを利用されないようにするにはどうしたらよいでしょうか。完全にその影響を排除することはできないでしょうが、それでもいくつかできることはあると思います。
１つの考えは、私たちがシステム２思考を使うことを覚えることです。カナダの哲学者であるジョゼフ・ヒースはその著書「啓蒙思想2.0: 政治・経済・生活を正気に戻すために」[3]で、システム2思考を起動するための仕組み（”kludge”と彼は呼んでいます）を日常生活に取り入れなさい、ということを言っています。私たちの心はものぐさなので、面倒なシステム２思考を嫌います。
システム２思考を起動するにはどうしたらよいでしょうか。システム１思考は常に即時の意思決定につながります。だから、１つの考え方は、意思決定に時間をかけることです。何かにカッとなって即座に反応することはないでしょうか。自分の怒りをコントロールするための手法であるアンガーマネジメントでは、何かにイライラしたら、とにかく6秒待つように、と教えています。私は、自分のメールシステムに、送信後30秒は取り消しができるように設定しています。システム２思考、すなわち理性に基づく思考には時間がかかるからです。皆様は日本に参議院があることに疑問を持ったことはないでしょうか。参議院が何を言おうと、衆議院の議決が優先されますから、参議院の存在はある意味冗長だといえるのですが、ジョゼフ・ヒースは「二院制の意味は、重要な意思決定には時間がかかるような仕組みにすることだ」と言っています。意思決定に時間がかかれば、その間にシステム２思考が起動されるチャンスが増えるからです。
システム２思考を起動するための仕組みには、他にもいろいろ考えられます。タバコのパッケージには「喫煙はあなたにとって肺がんの原因の一つになります」のような警告文を表示することが義務付けられています。私は、人々の認知バイアスに訴えかけるすべてのWebコンテンツに、同様の表示を義務付けるべきだと考えます。A/Bテスティングなどに対して「このコンテンツはあなたの認知バイアスを利用しようとしています。詳細はこちらをクリック」というような表示を見れば、人々は立ち止まって考えるかもしれないからです。
他にも認知バイアスにとらわれないための手法として、紙と鉛筆を使って考える、データやグラフを使ってみる、というようなものがあると思います。大事なことは、「私たちには心の弱さがある」ということと、「その弱さを悪用しようとする人たちがいる」ことを意識することだと思います。
科学・学術に携わる方へ
自分たちの「心の弱さ」をよく認識しているのはどのような人でしょうか。私は、それは科学・学術に携わる方々だと思います。どういうことでしょうか。
科学者も人の子ですから、やはり認知バイアスを持っています。科学者が陥りやすいバイアスの１つは、自分が信じる仮説を支持する証拠を重視し、そうでない証拠は無視しがちだとするもので、「確証バイアス」と呼ばれています。それ以外にも、ノイズのあるデータからありもしない法則を見つけ出してしまったり、効果のない薬を（プラセボ効果によって）効いてしまったように解釈してしまったりします。
このため、科学者たちは長い年月をかけて、自分たちのバイアスに影響されずに真実を見極めるための様々な道具立て（ここでは「プロトコル」と呼ぶことにします）を発明してきました。専門家の相互の批判的精査（ピア・レビュー）に基づく論文発表や、統計的仮説検定を用いたデータ分析、薬学における二重盲検法（医師と患者の双方に薬／偽薬の別を知らせない方法）などは、科学におけるプロトコルの代表的なものです。これらのプロトコルを通して、科学者たちは自分たちのバイアスに囚われないよう努力しているのです。
とはいえ、科学におけるプロトコルは、完成したものではありません。バイアスが私たちの判断をにぶらせる状況はどんどん新しく見つかっているからです。2015年のNature誌に掲載された記事 “Fooling Ourselves”[4] には、「科学とは、自分を騙す方法の発明と、騙されない方法の発明との、終わりのない競争である」という、ある天体物理学者の言葉を紹介しています。
実はこのようなプロトコルは、科学だけでなく、工学や人文科学を含めた学術全般にわたって広く普及しています。学術の世界では、批判的な議論を通して客観的な真実に近づこうという普遍的な価値観が定着しているからです。誤解をおそれずにいうのならば、学術に携わる方（あるいはもう少し直截的な言い方をすれば博士号の学位をお持ちの方）は「自分の認知バイアスに騙されないための職業的な訓練を受けている」といって良いのだと思います。
科学・学術に携わる方々の多くは、そのことを当然だと思い、あまり明示的に意識していないかもしれません。しかし、行動経済学と情報技術が長足の進歩を遂げている今、認知バイアスを避けるためのスキルは非常に重要になってきています。多くの人々は、認知バイアスに対する抵抗力が大きくありません。「騙されない自分」であるためのスキルを実践できるのは、まずは科学・学術に携わる皆様であると、強く信じます。もちろん、科学者であっても日々の生活の中で認知バイアスに囚われることは多いでしょう。それが人間の姿だからです。しかし、いつでも「騙されないプロトコル」を起動できることは、現代社会における私達の重要な資質だと思うのです。
参考文献
ダニエル・カーネマン、ファスト&スロー : あなたの意思はどのように決まるか?、ハヤカワ・ノンフィクション文庫、2014.
ジョゼフ・ヒース、啓蒙思想2.0: 政治・経済・生活を正気に戻すために、 NTT出版、2004．
Regina Nuzzo, “How scientists fool themselves – and how they can stop”, https://www.nature.com/news/how-scientists-fool-themselves-and-how-they-can-stop-1.18517.