「統計的有意」とはなんぞや？
スゴ論を注意深く読んでくださっている方々の中には、ちょこちょこ「統計的有意」という言葉が文章内で登場することに気づかれている方もいると思います。（スゴ論をここまで注意深く読んでくださっている方々がどれぐらいいるかはさておき・・・片手間で読み流していただけるだけで私たちとしては本望です！）あまり馴染みがない言葉だと思いますので、今回は「統計的有意」という言葉の意味について簡単に解説していきます。
今回は教育や心理学、認知科学とは特に関係なく、統計学の中の一つのトピックについてざっくりとまとめた内容になります。（数学は一切出てきません！）統計学で何かしら結論を導くということの意味について理解を深めたい方、自分で論文を読んでみることに関心のある方、電車の中で5分程度時間をつぶしたい方の参考になれば幸いです。
統計的有意とはなんぞや？
インターネットで「統計的有意」と検索すると、以下の説明文が出てきます。
「統計的有意性とは、ある影響が、偶然のみによって生ずるとは考えにくいことが統計的解析によって示されたことを意味します・・・（一部省略）。有意性のレベルとは、その影響がどの程度偶然によって説明し得るかを示すものです。」
統計学をかじったことがある方であれば、「うんうん」という内容の文章ですが、そうでない人にとっては「？？？」という内容化と思いますので、ここでは具体例を使ってかみ砕くことができればと思います。
時は2100年。科学の多大なる発展と研究者の血がにじむような努力の結果、世界待望の「暗記パン」がとうとう発明されたことが発表されました。さらに奇遇なことに、競合二社が同日に同じ発表をしたのです。発表をした二社の社名はそれぞれ「キマジメ社」と「オオザッパ社」。両社ともに世界に名をとどろかせる超巨大企業です。それぞれの記者会見の内容を見てみましょう。
ほぼほぼ一言一句同じ内容のこの記者会見ですが、この二つの記者会見を聞いてどちらの暗記パンを購入したいと思ったでしょうか？キマジメ社のパンですよね。この違いこそが、「統計的有意」の意味するところです。
両社ともに実験に参加した高校生は無作為に選ばれているものの、オオザッパ社は2人しか実験に参加していないため、実験の信頼度が高くありません。例えば、そもそも暗記パンを食べた高校生の方が食パンを食べた高校生に比べて元々漢字が得意だった可能性もありますし、食パンを食べた高校生が当日体調が悪かった可能性が考えられます。1対1の比較だと、暗記パンとは関係のない、「偶然」の理由で点数の差が生じた可能性が比較的高いと言えるのです。
一方、キマジメ社の実験ではこうしたリスクは比較的低いといえます。500人もの高校生が無作為にそれぞれのグループに振り分けられたということで、暗記パングループと食パングループの間で漢字の得意不得意に元々の大きな差があったとは考えにくいですし、食パングループに所属する500人が総じて体調が悪かったという可能性も低いですよね。
この感覚的な違いを数学的手法を用いて表したものが「統計的有意性」です。細かい説明は省きますが、それぞれの企業の暗記パンの効果（ここでは、「暗記パングループと食パングループの点数の差」）を計算していくと、「この効果は統計的に有意である」「この効果は統計的に有意でない」という結論を導くことができるのです。両社ともに「30点の点数差」を報告しているわけですが、キマジメ社の点数差は統計的に有意であり、オオザッパ社の点数差は統計的に有意でない可能性が高いわけですね。
留意点
ここで注意しなければいけないのが、「統計的に有意である」=「100%正しい」ということではないということです。「おそらく偶然ではない」と「絶対に偶然ではない」の間にはニュアンスに大きな隔たりがありますからね。
（情報番組などで大学教授などの専門家が断定的でない、回りくどい表現をすることが多いのもこのニュアンスを加味しているからだと思います。）
編集後記
科学的な研究において結論を導くために非常に重要な役割を担う「統計的有意性」。今回はだいぶざっくりとした説明となりましたが、今後スゴ論や論文を読むにあたって、頭の片隅においてもらえると嬉しく思います。
文責：山根 寛
スゴ論では週に2回、教育に関する「スゴい論文」をnoteにて紹介しています。定期的に講読したい方はこちらのnoteアカウントか、Facebookページのフォローをお願いいたします。
https://www.facebook.com/sugoron/posts/109100545060178
過去記事のまとめはこちら