P値5％以下であれば有意と判断していいの？
はじめに
分析屋の駆け出しDSサラリーマンです。
今回初めて技術ブログを執筆します！
業務は分析屋では珍しく、Lookerの運用保守やデータ形成をメインに扱っています。
今回このテーマを扱った理由としては、大学で必修だったことと、前職でアンケート集計や広告効果測定で統計を使う機会が多々あり、現在も勉強を引き続き行っているのがきっかけです。
統計について勉強内容を上長に相談したところ、有意水準について教えてもらい興味深く思ったため学んだ内容をまとめてみました。
有意水準とは
有意水準とは、 統計学において、帰無仮説を棄却するための基準となる確率の閾値 のことを指します。この値を設定することで、得られたデータが偶然の結果ではなく、意味のある結果であるかどうかを判断することができます。
P値とは
皆さんは有意水準を表すP値という単語を聞いたことがあると思います。
では、P値の統計的有意性が示されたとして、実用的に有意だといえるでしょうか？
必ずしも実用的には有意だといえない場合があります。
それはサンプル数が大きいとP値が小さくなる傾向があるためです。
実際に計算してみる
こちらは、数式を利用するとよくわかります。
例えば、グループAとグループBのテストの英語のテストの結果を比較して、その差が有意かどうかを調べたいとします。
グループA
平均点：68
標準偏差：11
サンプル数：38
グループB
平均点：70
標準偏差：10.8
サンプル数：40
t値は以下のように求められます。
t = (標本平均 - 母平均) / (標準偏差 / sqrt(サンプル数))
ここでサンプル数のみを変化させることを考えます。
サンプル数が大きくなる＝右辺の分母が小さくなる＝tが大きくなることが分かります。
したがってサンプル数の大きさによっては、結果が有意になったりならなかったりするわけです。
上記の場合だと
t値は-0.42、P値は0.67になります
しかしサンプル数を5倍、10倍にするとどうでしょうか
5倍の場合だと
t値は-1.64、P値は0.10になります
10倍の場合だと
t値は-3.75、P値は0.00019になります
このようにサンプルサイズを大きくするとP値が小さくなるという特徴があります。
P値の意義
では、P値は意味がないのでしょうか？
そうではありません。
効果量と検出力も考慮に入れる必要があるのです。
効果量とは、2つのグループ間の差を標準化したものです。
検出力とは、実際に効果があるときに、正しく検出できている確率のことです。検出力が大きければ大きいほど、正しく検出できていそうだといえます。
効果量と検出力には
①効果量が大きいほど検出力が高まる
②サンプルサイズが大きいほど、検出力が高まる
という特徴があります。
②は言い換えると、サンプル数を大きくしさえすれば、検出力が高まり、P値が小さくなってしまうということです。
そこで一般的に基準とされるのが検出力0.8です。
具体的には、あまりにも0.8下回る場合は正しく検出できていない可能性があると判断できるのですが、あまりにも上回る場合は、サンプルサイズが大きすぎることを疑う必要があるということになります。
以上から、P値が統計的に有意でも、実用的には有意とは限らないといえるのです。
まとめ
今回は、P値とサンプル数の関係について紹介いたしました。
これからは、P値が有意でもサンプルサイズは？検出力は？効果量は？などの疑問が頭に浮かぶとGOODです！
自分もこの点について、もっと学んでいきたいと思っています。
ここまでお読みいただき、ありがとうございました！
この記事が少しでも参考になりましたら「スキ」を押していただけると幸いです！
株式会社分析屋について
弊社が作成を行いました分析レポートを、鎌倉市観光協会様HPに掲載いただきました。
ホームページはこちら。
noteでの会社紹介記事はこちら。
【データ分析で日本を豊かに】
分析屋はシステム分野・ライフサイエンス分野・マーケティング分野の知見を生かし、多種多様な分野の企業様のデータ分析のご支援をさせていただいております。 「あなたの問題解決をする」をモットーに、お客様の抱える課題にあわせた解析・分析手法を用いて、問題解決へのお手伝いをいたします！
【マーケティング】
マーケティング戦略上の目的に向けて、各種のデータ統合及び加工ならびにPDCAサイクル運用全般を支援や高度なデータ分析技術により複雑な課題解決に向けての分析サービスを提供いたします。
【システム】
アプリケーション開発やデータベース構築、WEBサイト構築、運用保守業務などお客様の問題やご要望に沿ってご支援いたします。
【ライフサイエンス】
機械学習や各種アルゴリズムなどの解析アルゴリズム開発サービスを提供いたします。過去には医療系のバイタルデータを扱った解析が主でしたが、今後はそれらで培った経験・技術を工業など他の分野の企業様の問題解決にも役立てていく方針です。
【SES】
SESサービスも行っております。