間違いの多い統計プロバガンダに騙されないための8つのアドバイス
最近ではフェイクニュースという言葉のおかげで、ニュースなどメディアでみかける主張や数値に対して疑問を持つというスタンスが以前に比べて少しづつではありますが見られるようになってきたように思います。それでもまだ多くの人がふだん毎日忙しい中で、センセーショナルなニュースのヘッドラインをついつい鵜呑みにしてしまい、さらにそれらをソーシャル・ネットワークなどで共有することで知らず知らずのうちにおかしな主張をどんどん拡散してしまっているというのが現状です。社会的に与える影響を考えるとこれは大変憂慮すべきことです。
今日は、Financial Timesのコラムニストで、経済学者のTim Harfordが、データや統計的な主張にまどわされるのでなく、それらを正しく理解するための提案を８つのアドバイスとしてこちらの”Tim Harford’s guide to statistics in a misleading age”という記事の中でまとめていたので、ここで簡単に紹介したいと思います。
以下、要約
---
アドバイス１： 自分の感情に気づくこと
統計的な主張を目にしたり、聞いたりした時、まずは自分に湧き上がる感情に注意を払ってみてください。私たちには読んだりするものに対して直感的に抱く感情があるのです。それは格差の拡大と言ったニュースであったり、チョコレートが痴呆症を防ぐといったニュースであったりするかもしれません。
それでは、どういった感情でしょうか。防御的なもの、勝利に興奮するようなもの、正義感にともなう怒りなどがあるでしょう。または、チョコレートや痴呆症に関するものだと安堵のような感情があるのではないでしょうか。チャートやショッキングな数字を見せられて感情的に反応してしまうこと自体が問題なのではありません。そういった時に起こる感情を無視してしまったり、もしくはそうした感情に惑わされてしまったりすることが問題なのです。
なので、統計的な主張を理解し始める前にそうした感情を認めることが重要です。もし、私達がそうした感情的なハンディキャップを持っているということを認めなければ、何が本当に正しいのかを見極めるチャンスは限りなく小さくなってしまいます。
物理学者のRichard Feynmanによると、
ということです。
アドバイス２：主張を理解する
80年代のDouglas AdamsによるThe Hitchhiker's Guide To The Galaxyというサイエンス・フィクションに出てくるDeep Thoughtというコンピューターの言葉を借りるならば、”答えの意味を理解するためには、まずは質問の意味を理解しなくてはならない。” ということです。
例えば、格差が拡大しているという一般的に受け入れられている主張を例に取ってみましょう。特に議論の余地もなく、そして緊急の問題のようです。しかし、それは一体どういう意味なのでしょうか？人種間の格差なのでしょうか。それとも性別間の格差でしょうか。機会の格差、消費の格差、教育の格差、富の格差いろいろありますがどの格差の話でしょうか。さらに、その格差はそれぞれの国の中での問題なのかそれとも世界の国々の間での問題なのでしょうか。
ここで一度、焦点を絞って、税金前の収入の格差という問題を話していることにしましょう。この場合も、いつから比べて格差が広がっているといえるのか、どのようにその格差を計測しているのかという疑問がわきます。よくあるのは、下から９０％の人たちの収入と上から１０％の人たちの収入を比べるやり方です。しかしこの計測の仕方ではスーパーリッチな人たちや中間にいる普通の人達の姿はまったく見えてきません。別の方法として、上位１％の人たちを調べることができますが、これは最下層の人たちがマジョリティの人たちと比べてどうなのかがわかりません。
実際、格差に関してたくさんの正しいと言われる主張ができます。穿った見方をすれば、都合の良い計測値を持ってきて自分の主張を統計的に正しいと主張することができるのです。しかし、もしその主張が一体何を意味しているのかを理解していなければ、それを検証することにはほとんど意味がないでしょう。
たとえば、ビデオゲームで遊ぶ子どもたちは実社会で暴力的になると示す研究報告があったとしましょう。統計のリテラシーを上げるためのプロジェクトであるSTATSの理事長で、数学者でもあるRebecca Goldinは、「遊び」、「暴力的なビデオゲーム」、「実社会での暴力」といったコンセプトが何を意味しているのかに対して質問すべきであると言います。
「撃つ」というコンセプトが含まれているインベーダーゲームは暴力的でしょうか。「暴力的」というのは、実験室で２０分ほどゲームをプレイした後にした質問に対する答えをもとに計測しているのでしょうか。それとも一週間に３０時間ほどゲームをプレイした人たちの殺人願望を計測しているのでしょうか。ほとんどの研究では暴力そのものを計測することはありません。その代わりにアグレッシブな態度などといった抽象的なものを計測するのです。
アドバイス３：因果関係なのか、相関関係なのか
私たちは相関関係と因果関係をよく勘違いします。例えば、「背の高い子供は読解力が高い」というニュースがあったとしましょう。これは栄養や認知力をもとにした注意深い研究の成果をまとめたものなのかもしれません。もしくは、単純に８歳の子が４歳の子よりも読解力があって、さらに背が高いという、当たり前のことを言っているのかもしれません。
因果関係というのは哲学的にも技術的にもややっこしいものです。しかし、カジュアルに統計データを消費しているわれわれが、聞くべき質問というのはそんなに複雑ではありません。その統計的な主張が因果関係にもとづくものなのか、そうであれば、それはどのように正当化されるのか、聞いてみればいいのです。
先ほどの暴力とビデオゲームの関係であればこんなふうに聞くことができるでしょう。これは因果関係なのか、それとももっと一般的な相関関係なのか。それは実験的な環境で検証されたのか、といった具合です。実は、子どもたちを暴力的にさせる別の要因があり、それがそうした子どもたちを暴力的なビデオゲームへも導いていただけなのかもしれません。この点をはっきりさせることができない統計的な主張には、空虚な見出しという以外には、何の価値もないのです。
アドバイス４：要約データは真実を必ずしも反映しない
忘れてはいけないのは、私達の目にする統計データ、もしくは数値というものはもっと複雑な真実を要約したものでしかないということです。例えば、人々がもらっている給料を理解しようとしたとします。膨大な量の人達の給料が毎月支払われていますが私達が目にするのはその要約された数値だけです。しかしそれは何を要約したものなのでしょうか。
例えば給料の平均を算出したとしても、ほんの一握りの物凄い高い給料をもらっている人たちによってその平均値は歪んでしまいます。それでは中央値はどうかというと、たしかにデータの分布の真ん中の値ではあるものの、それ以外がどうなっていようがまったく影響されることのない数値なので、全体像を推測することには向いていません。
イギリスの統計局で以前局長をやっていたAndrew Dilnotが言うには、「平均は複雑である世界の全体像を伝えることができません。それはまるで、部屋の中に何があるのかを鍵穴から見るようなものなのです。」
端的にいうと、ガーディアンのデータ・エディターのMona Chalabiが言うように、何がそこでは見えていないのかと自分で問いただす必要があるということです。それは、棒グラフの縦軸が都合のいいように切り出されていて、小さな変化を大きく見せるような、よく使われるトリックに遭遇したときにも当てはまります。
アドバイス５：出版バイアスを理解する
次に出版のバイアスです。例えば、喫煙がガンの原因であると言うのはいまさらニュースにはなりません。しかし、驚くような研究の結果、このケースで言うと、喫煙がガンの原因ではなかった、などというのはニュースになります。しかし、例えそういった新しい研究というのはしっかりとしたプロセスでなされていたとしても、おそらく間違っているものでしょう。なぜなら、過去何十年もに渡るそれとは反対の研究結果という重みに耐えるものでなくてはいけないわけです。
出版バイアスというのはアカデミア（学問）の世界では大きな問題です。驚きを呼ぶような研究結果は出版されやすく、後でみると間違っていたというのは隅の方で取り上げられるか、そもそも取り上げられさえしないものです。そして、このバイアスはメディアとなるとさらに大きく、ソーシャルメディアではもっと大きくなります。
王立統計学会の会長であるDavid Spiegelhalterはグラウチョの法則を提案しています。コメディアンのグラウチョ・マークスの有名な文句で、「もし私を受け入れるようなクラブであれば入りたくない。」というのがあります。そんなクラブであれば大したことはないであろうからということです。Spiegelhalterはヘッドラインやソーシャルメディアを賑わすような統計的な主張にも同じような考えが当てはまるのではないかというのです。つまり、「もし私の注意をひくような驚くべき事実や直感に反したものである場合、おそらく間違っているでしょう。」と。
アドバイス６：数値をどう理解するか
たくさんの提示される数値は、私達が知っている数値と比べるまではほとんど意味を成しません。ある数値が自分が直感的に理解できる別の数値と比べてどれだけ大きいのでしょうか。先ほどの給料の平均という数値があったとして、それは１年前、５年前、３０年前と比べてどれだけ大きいのでしょうか。そういう時は歴史的なトレンドをみることが重要になります。もちろんデータがあればですが。
別の例では、赤ちゃんがお母さんのお腹の中にいる間に熱波にさらされていた場合は大人になってから稼ぐ収入が低いという研究結果があります。その発見は統計学的に有意とされていました。しかし、その影響というのは取るに足らないもので、一年あたり３０００円ほどの違いがでるというものです。つまり、ある発見が統計的に有意だとしても、私達にとっては実際どうでもよかったりするかもしれません。
アドバイス７：正確でないことをよしとする
Carveth Read がLogic (1898)の中で、「だいたい正しいということのほうが、まったく間違っているよりもいい。」と言っていますが、正確さにこだわることで人々を混乱させてしまうことがよくあります。
２０１６年のアメリカの大統領選挙のとき、政治関連の予測をするウェブサイトである FiveThirtyEightはトランプの勝率を２８．６％と予測していました。この予測はある意味では素晴らしいことです。というのも当時の他のほとんどの人たちはトランプが勝つ可能性はほとんどないと予測していたわけですから。しかしこの２８．６％という数字の小数点の部分の０．６もしくは一桁目の８という数値がどれだけ重要だったのでしょうか。そしてこうした数字のせいで多くの人は基本的なメッセージの理解に失敗してしまったのです。実はその予測の数値から導き出される重要なメッセージというのは、トランプには勝つためのチャンスが十分に有ったということだったのです。つまり、「およそ４回に１回のチャンスで勝つ可能性がある」という情報のほうがもっと直感的だったわけです。
アドバイス８：データに対して好奇心をもつ
”好奇心は猫には問題だがデータにはいい”
好奇心をもつというのは非常に重要です。なぜなら、好奇心が旺盛だと、言われたことをさらに理解しようと一生懸命になりますし、そうした理解の過程での驚くような発見を楽しむこともできます。
そもそも、ほとんどの統計的な主張というのは多くの質問を呼び起こすものです。これは誰が主張しているのか、この数値は何を意味するのか、何がここには足りていないのか、などと様々な質問が湧いてきます。
イギリスの統計局のEd Humpherson のことばを借りるなら、「もう一個クリックしよう」という気持ちが重要なのです。もし、その見ている数値や統計的な主張が他の人と共有するほど重要なのであれば、まずは自分でその意味することころを理解できていることが重要だと思いませんか？
好奇心はもう一つクリックしようという動機を与えてくれますが、さらにもう一つ重要な役割があります。それは自分たちの考えを変えることにオープンであるということです。
好奇心は驚くような統計的な発見に対しての心構えでもあります。そうした驚きをミステリーとして解決しようとすると統計的な間違いを発見することにもつながりますし、それ以上に新しい確証に対して心を開きやすくなります。
Asheley Landrum、Katie Carpenter、Laura Helft、Kathleen Hall Jamieson、Dan Kahanによって行われた研究によると、本質的にサイエンスに対して好奇心旺盛な人たちは、政治的な質問をされた時に二極化した反応を示すことが少ないということが分かっています。私たちは驚くべき発見を脅威としてではなく、ミステリーとして捉えるべきです。
科学での世界でもっとも興奮する時に使われるフレーズは‘Eureka!’ではなく、「That's funyy....（これはおもしろい）」である。これは重要な真実だと思います。もし私達が質問を、単に答えるためのものとしてではなく、興味深い議論を呼び起こすものとして捉えることができると、それはより賢くなるための道になるわけです。
最後に、みなさんには以下のようなことを毎日少しだけ頑張ってみてはいかがでしょうか。
- 防御的になるのではなくオープン・マインド（心を開く）になってみる。
- 主張、数値が何を意味しているのかを理解するために簡単な質問をしてみる。その主張、数値はどこから来たのか、それが本当だったとして私達にとって意味があるのか、など。
- こうした質問に対しての答えを見つけ出すためにも世界に対して好奇心を持つ。
これは何も、議論に勝つのが目的ではなく、それは私達の住む世界とは好奇心を持つに値する素晴らしい場所だからです。
---
以上、要約
このエッセイではニュースで目にする数値や統計的な主張によく見られる問題点、そしてそうした問題にどう対処していくべきかということに対して書かれているわけですが、実は同じことが普段のビジネスを行う現場でも知らず知らずのうちに起きていたりします。
つまり、データに裏打ちされた意志決定と言っているものの、そのデータ自体が間違っていたり、その解釈の仕方が間違っていたり、もしくは解決するべき問題とはあまり関係のないデータからのインサイトにもとづいて、意志決定をしていたりということがよくあります。さらにデータから得られたはずのインサイトやその手法が理解できないがばっかりに、他の人の意見を変えることができず、意志決定に反映させることもできないといったこともよくあります。
ビジネス上の問題を解決するための質問を定義し、それに答えるためにデータを様々な角度から理解した上で、仮説を設定し、それに対して疑問を持ちながら検証して解き明かしていくという思考プロセスを繰り返すことによって、意志決定に役立つインサイトを導き出すということを、私たちはアナリティカル・シンキングとよんでいます。こうした能力こそ、今日のように様々なデータが溢れている時代により高度な意志決定をしていく必要のある人達は緊急に習得すべきものではないでしょうか。
データサイエンスを本格的に学んでみたい方に
手前味噌になりますが、この6月の下旬に、Exploratory社がシリコンバレーで行っているトレーニングプログラムを日本向けにした、データサイエンス・ブートキャンプを東京で開催します。データサイエンスの手法を基礎から体系的に、プログラミングなしで学んでみたい方、そういった手法を日々のビジネスに活かしてみたい方はぜひこの機会に参加を検討してみてください。