【読了】基礎から学ぶ統計学

基礎から学ぶ統計学 | 中原 治 |本 | 通販 | Amazon

本書の使い方

統計学の学習に必要な心構え：よい意味での「妥協」
・統計学は応用数学
・数学における高度な専門教育を受けない限り、数学的理論を理解するのは不可能
・一般的なユーザは道具として使えればOK
・初心者は、数学的な厳密さよりも、直感的に把握できる定性的なイメージ

本書の難所
・第3章
・第5章
・第10章
・第11章

はじめに

基本的な用語

・観測値（測定値）：確率分布に従う確率変数Xだと考える（具体的な観測値をx_iとして表現する）
・標本：観測値の集合
・母集団：性質を知りたい集団全体
・単純無作為抽出

本書で扱う統計手法

①平均を比較するための統計手法
・独立2軍のt検定：検定統計量t
・一元配置分散分析：検定統計量F
・多重比較：検定統計量q

②2変数の関係を把握するための統計手法
・相関分析
・単回帰分析

検定統計量

・差があるのかどうかを判断するために使う指標
・算出式が複雑であり、統計学の挫折者を出す原因

第Ⅰ部 統計的仮説検定の論理

　第1章 検定の論理（二項検定）

基本となる考え方（背理法）

①「比べるもの同士は等しい」と帰無仮説を立てる
②帰無仮説が正しいなら実験結果が得られること（帰無分布において検定統計量が当該値を取る確率）は極めて稀であることを示す
・検定統計量の算出
・帰無分布の算出
・帰無分布に棄却域を設定する：有意水準α（棄却域の確率の合計）は慣例的に5％
・実験結果から算出した検定統計量が、棄却域に入るかどうかを判定する
③主張する
・棄却域に入った場合：帰無仮説が誤り（＝「比べるもの同士には差がある」）だと主張できる
・棄却域に入らなかった場合：帰無仮説は誤りだとは主張できない

二項分布

ベルヌーイ試行（結果が成功／失敗の2値いずれかになる試行）を独立にn回行なった場合、成功する回数Xが従う確率分布

ベルヌーイ試行の例
・コイントス（表／裏）
・購買行動（買う／買わない）
・対策や薬の効果（効く／効かない）
・街頭調査（支持／不支持）
・内部統制への準拠性（準拠／逸脱）

帰無仮説として「AとBは等しい」を設定した場合、対立仮説は「A＜BまたはA＞B」になるため、帰無分布の両側に棄却域を設定するのが自然である
敢えて片側検定を行うと、合理的な説明を求められる場合がある

　第2章 検定統計量（WMW検定）

WMW検定

①Mann-WhitneyのU検定：統計検定量U
②Wilcoxonの順位和検定：統計検定量W
※WMW検定は観測値の順位のみに着目しているため、母集団がどんな確率分布（双峰な分布、歪んだ分布など）に従っていても使えるノンパラメトリック統計の代表格である
※本章で解説するのは②

U検定の手順

①帰無仮説（2つの母集団の中央値は等しい）を仮定する
②実験結果に基づき、検定統計量Uを算出する
③数表からUの臨界値U0.05を見つける（帰無分布や棄却域を自分で計算しなくてもよい）
④UとU0.05を比較して有意差の有無を判定する

検定統計量U
・2つの母集団が同じだと、値が大きくなる
・例えば、肥料Aを使った小麦／肥料Bを使った小麦を比較する場合、肥料の効果に差がない（母集団分布の重なりが大きい）と、値が大きくなる

標本サイズと標本数の違い

・標本サイズ：1つの標本（集団）に含まれる要素数
・標本数：標本集団の個数

　第3章 第1種の過誤・第2種の過誤

真実×判断のマトリクス

判断＼真実　　　　　H0は正しい　H0は誤り
有意差なし（採択）　正しい判断　第2種の過誤
有意差あり（棄却）　第1種の過誤　正しい判断

第1種の過誤／第2種の過誤
過誤棄却 incorrect rejection／過誤採択 incorrect acceptance
αエラー／βエラー
偽陽性 FP／偽陰性FN
誤って有意差ありと判断／誤って有意差なしと判断
過検知／検知漏れ

第1種の過誤（αエラー）

「有意差あり（P＜0.05）」の結論を得た場合の可能性
①正しい判断（帰無仮説「等しい」は間違っていた）
②第1種の過誤（実は帰無仮説「等しい」は正しいのに、誤って棄却してしまった）：ただし、この可能性は有意水準α=5%に過ぎない
なお、(1-α)を信頼度と呼び、【正しく「有意差なし」と判断する確率は(1-α)%】という意味である

第1種の過誤（過検知、偽陽性）の考え方は、ごく単純
αエラーの確率は、有意水準αにのみ依存する

第2種の過誤（βエラー）

「有意差なし」の結論を得た場合の可能性
①正しい判断（帰無仮説「等しい」は正しかった）
②第2種の過誤（実は帰無仮説「等しい」は間違っているのに、誤って採択してしまった）：この可能性はβ%ある
なお、(1-β)を検出力と呼び、【正しく「有意差あり」と判断する確率は(1-β)%】という意味である

第2種の過誤（検知漏れ、偽陰性）の考え方は、複雑
βエラーの確率は、αだけではなくサンプルサイズnにも依存している（nが大きいほどベータは小さくなる）
必要不可欠なサンプルサイズを見積もる方法が、検出力分析である

結果の解釈における注意点

「有意差あり（P＜0.05）」の場合
・「差がある」と主張できる（「第1種の過誤」が起きている可能性は5%未満しかない）
・次の論点は、その差が注目に値するほど大きいのか？ということ

「有意差なし」
・「差がない」とは主張できない（第2種の過誤かもしれない）
・検出力分析などを行なって、第2種の過誤の可能性を否定できない限り、「有意差なし」という結論は「差の有無について、明確に判断できる根拠が得られなかった」という意味である
・実務的に、βエラーの確率は高く、検知漏れ（実は差があるのに、その差を見抜けなかった）は頻繁に起こる

※
検定を行う場合、大半は「比較するもの同士に差がある」ことを期待して行うため、「有意差なし」の結果は「差の有無については、今回の結果からは何も判断できなかった」と解釈するのが適切
しかし、稀に検定「比較するもの同士に差がない」ことを期待して行うことがあり（例：カイ2乗適合度検定）、その場合は、「有意差なし」の結果を「帰無仮説が正しいと仮定しても、実験結果は十分に起こりうる」と解釈するのが適切

第Ⅱ部 統計学の理論的基礎

　第4章 平均・分散・標準偏差・自由度

統計学を理解するためには、自由度dfに対する理解が重要
標本分散を算出するために必要なため
独立2群t検定（df=nA+nB-2）、分散分析（df=N-k）でも使う
t分布やF分布の母数は自由度dfである
※数理統計学ではdf以外にνやφを使うこともある）

標本統計量

・実測した標本集団から算出できる量
・例：標本平均x_、標本分散s^2、標本標準偏差s

母数（パラメータ）

・実測不可能な母集団の特性値
・例：母平均μ=E[x]、母分散σ^2=E[(x-μ)^2]、母標準偏差σ

標本平均と母平均の関係

・標本平均の期待値は母平均であるため（「期待値E[x_]=母平均μ」が成り立つため）、標本平均は母平均の不偏統計量だと言える

標本分散と母分散の関係

・ベッセル補正：標本分散s^2の算出式の分母に偏差の自由度n-1を使うのは、母分散の不偏統計量にするため（「期待値E[s^2]=母分散σ^2」が成立するように補正するため）
・分母を偏差の数nを使うと、不偏統計量にはならない
・Excelでは、標本分散s^2はVAR.S、標本標準偏差sはSTDEV.Sを使う（Sample）

自由度

自由度dfは直感的な理解が困難な概念なので、理解するより慣れる方がいい
数理科学における定義は単純

・自由度
自由度df ＝　変数の数n − 制約条件の数k
互いに独立に（自由に）値が決まる変数の数

統計学では、自由度dfは、標本分散s^2や標本標準偏差sを算出する際に「必要不可欠な偏差の数」と考える
偏差には総和がゼロになるという1つの制約条件があるため、偏差の数は1個少なくてもs^2やsは算出できる

　第5章 正規分布と統計理論の初歩

統計分析手法の多くでは、母集団が正規分布に従うことを仮定する場合（パラメトリック統計）が多い

正規分布N(μ,σ^2)

・ガウス分布
・二項分布Binの極限（n→∞：ドモアブルラプラス定理）
・二項分布は離散型だが、正規分布は連続型
・標準正規分布N(0,1^2)

連続型確率分布の確率密度関数

・離散型分布の縦軸は確率だが、連続型分布の縦軸は確率密度probability density
・積分により求めた面積が確率を示す
・観測値xが特定値を取る確率はゼロ（横軸上の1点に対応する面積の幅はゼロであるため）

確率密度関数
・連続型確率分布の曲線を記述する関数
・具体的な関数形を決める値（μ、σ^2など）を母数parameterと呼ぶ

正規分布について頻出する面積と値

正規分布に従う母集団から抽出した観測値xが特定範囲に入る確率（面積）
・±σ：68.3%
・±2σ：95.4%
・±3σ：99.7%

標準正規分布の両端に合計α=5%の棄却域（面積）を作る臨界値z
・Z_0.05 = 1.96

標準化

正規分布の横軸はx、標準正規分布の横軸はz
変換式：z = (x-μ)/σ

標本平均x_が従う確率分布

・多くの統計手法で利用されている性質
・観測値xが従う分布をN(μ,σ^2)とすると、観測値の標本平均x_が従う分布はN(μ,σ^2/n)になる
・nを100倍にすると、標本平均x_が従う分布の幅は1/10になる
・n→∞にすると、標本平均x_が従う分布の幅は極小になり、母平均μ±0になる（大数の法則）

標本分布

・標本統計量（標本から計算される検定統計量も含む）の従う確率分布を、標本分布 sampling distributionと呼ぶ
・標準誤差SE：標本分布の標準偏差
　・特に、標本平均meanの標準誤差をSEM=σ/√nと呼ぶ

グラフにおいて観測値の散らばりを示す方法

・標本平均の標準誤差SEM
・標本標準偏差SD（s）

中心極限定理（CLT）

どんな確率分布（正規分布以外でも）から得られた標本でも、標本平均x_を算出すると、標本平均の標本分布は正規分布N(μ,σ^2/n)に近似できる

正規分布の再生性

正規分布A,Bから得られた観測値xA,xBについて、以下も正規分布に従う
・和：xA + xB
・差：xA - xB
和の分布：平均μA+μB、分散σA^2+σB^2の正規分布
差の分布：平均μA-μB、分散σA^2+σB^2の正規分布

2つの標本平均の差が従う確率分布

独立2群t検定、分散分析で使う
平均μA-μB、分散(σA^2/nA)+(σB^2/nB)の正規分布

　第6章 t分布と母平均μの95%信頼区間

信頼区間=互換区間=CI

区間推定

・標本集団から、母平均の取りうる範囲（互換区間）を推定する
・95%CI [l,u]とは、「区間推定を複数回実行して複数の互換区間 compatible interval”s”を求めると、100個中95個の頻度で、互換区間[l,u]が母平均μを含む」（100個中5個の互換区間には母平均μが含まれていない）という意味である
・「95%の確率で母平均μが含まれる」という解釈は誤り。何故なら、母平均はあくまでも固定値であり、確率変数（確率的に変わる値）ではないため。複数の値を取りうるのは互換区間の方であり、母平均は固定値。

母標準偏差σが既知の場合（実務上はあり得ない）
・標本統計量z（標準化された標本平均x_）は、標準正規分布に従う

母標準偏差σが未知の場合（標本標準偏差sを代用する）
・標本統計量zは、標準正規分布には従わず、ゴセット（”Student”）のt分布に従う
・n→∞（1000以上）の時、t分布は標準正規分布に重なる
・歴史的には、初めはnが十分に大きい標本集団が得られる研究や調査に対してしか母平均の区間推定は不可能だった。ゴセットがt分布を発見したことにより、nの小さい標本集団しか得られない研究や調査（特に環境変化が制御しにくい生物系研究）でも母平均の区間推定が可能になった。

t分布

・定性的な形状：正規分布よりも、背が低くて幅が広い
・t分布の母数は、自由度df=n-1
・標準正規分布の場合、棄却域の臨界値はZ_0.05 = 1.96（固定値）だったが、t分布では自由度により臨界値t_0.05が変わる

第Ⅲ部 母平均μに対する統計解析

母平均μを比較する4手法
・2つの標本集団の比較：対応ありt検定、対応なしt検定
・3つ以上の標本集団の比較：一元配置分散分析、多重比較

　第7章 関連2群のt検定（対応のあるt検定）

Paired t test
観測値の差dから統計検定量を算出する（dが従う母集団の母標準偏差σdが既知の場合はz、未知の場合はt）

適用可能なデータ

・サプリメントの効果を判定するために、服用前／服用後の採血データを調べる
・肥料A,Bの効果の差を判定するために、肥料A／肥料Bを与えた圃場の収穫データを調べる

統計検定量tの定性的理解

対応ありt検定の場合、絶対値|t|が大きくなるほど、差があるに違いない
|t|=|d_| * √n / sd なので、
・差dの標本平均が大きいほど、差があるに違いない
・標本サイズnが大きいほど、差があるに違いない
・差の標本標準偏差sdが小さいほど、差があるに違いない

　第8章 独立2群のt検定（対応のないt検定）

多くの学習者が挫折する部分
検定統計量の計算方法の意味を理解できないため

標本平均の差xA_-xB_から統計検定量を算出する（母標準偏差σが既知の場合はz、未知の場合はt）

適用可能なデータ

・被験者や圃場が異なる場合

対応なしt検定を使うための前提条件

・比較する2つの母集団は、両方とも正規分布に従う（正規性の前提）
　※正規性をチェックする方法：シャピロウィルク検定、アンダーソンダーリング検定、コルモゴロフスミノフ検定
・2つの母集団正規分布の分散は等しい（等分散の前提）
　※等分散性のチェックする方法：バーレット検定、ルビーン検定
　※等分散の前提がない場合、対応なしt検定ではなく、Welch検定を使う

母標準偏差σが未知の場合

・統計検定量tの算出式には、σの代用として合算標準偏差sp（pooled）が使われている
・合算標準偏差spの算出式には、自由度df=nA+nB-2が使われている

統計検定量tの定性的理解

対応なしt検定の場合、絶対値|t|が大きくなるほど、差があるに違いない
単純化すると、|t|=|xA_-xB_| * √n / (s√2) なので、
・標本平均の差の絶対値|xA_-xB_|が大きいほど、差があるに違いない
・標本サイズnが大きいほど、差があるに違いない
・標本標準偏差sが小さいほど、差があるに違いない

　第9章 P値

実務で統計解析を行う場合は、電卓やExcelではなく、専用ソフトウェアを使う
P値は統計解析時に算出ことが多い
P値は図で理解した方がいい

 P値：帰無仮説が正しい場合に、統計検定量が測定値（またはそれよりも極端な値）をとる確率
・P値を得たら、まず有意水準α=0.05と比較する
　・α未満（＝珍しい）なら「有意差あり」
　・α以上（＝珍しくない）なら「有意差なし」

検定結果における記載

・昔は、「有意差あり（P＜0.05）」でも良かった
・現代では、「有意差あり（P＝0.015）」のように、Pの具体的な値も記載するのが通例（値により「有意差あり」という判断がどれほど信用できるのかが異なるため）

　第10章 一元配置分散分析

本書で一番の難所（計算量が多い）
分散分析ANOVAのうち、最も簡単なものが一元配置（一要因）の分散分析
統計検定量Fを使う（Fisherが開発したため）
分散分析では、分散を「平方平均（MS）」と呼ぶことが多い

適用可能なデータ

・4種のサプリの愛用者から、それぞれ5名を無作為抽出し、採血データを測定する（対応なしt検定の3群以上版）

分散分析を使うための前提条件（対応なしt検定と同じ）

・比較する全ての母集団は、正規分布に従う（正規性の前提）
　※正規性の前提がない場合、ノンパラメトリック検定であるKruskal-Wallis検定を使う
・全ての母集団正規分布の分散は等しい（等分散の前提）
　※等分散の前提がない場合、分散分析ではなく、Welchの分散分析を使う

分散分析における用語

・群k：標本集団の数
・水準l：影響を与える因子（サプリなど）の数
・観測値の総数N
・総平均x__：全観測値の平均

一元配置分散分析の手続

⓪帰無仮説「全ての母集団は同一の正規分布に従う」
①郡内分散（誤差の平均平方）による母分散σ^2の算出（自由度はN-k）
②群間分散（処理の平均平方）による母分散σ^2の算出（自由度はk-1）
③全平均平方の算出（自由度はN-1）
④分散分析表の作成
⑤統計検定量F（分散比）の算出：F＝②／①
※帰無仮説が正しい場合、Fは1前後になる
※帰無仮説が間違っている場合、Fは1からかけ離れた大きな値になる
⑥F分布上で統計検定量Fが棄却域に入るかどうかチェックする

　第11章 多重比較（Bonferroni補正、Tukey-Kramer法）

一元配置分散分析を実施して出せる結論は、有意差の有無のみ
母平均の大きさの順番を調べるためには、多重比較という別の手続が必要
基本的な発想は、比較する標本間の全てのペアに対して、対応なしt検定（独立2群のt検定）を行うことだが、「多重性の問題」を回避するために工夫（Bonferroni補正、Tukey-Kramer法）を行う

多重性の問題

FWER(Familywise Error Rate)：全体としての有意水準
・対応なしt検定を1回のみ行った場合、第1種の過誤を起こす確率は5%
・しかし、6回行うと、全体として1回以上の第1種の過誤を起こす確率は約26%（1-0.95^6）にまで上昇してしまう

Bonferroni補正

多重比較のFWERが5%を超えないように、各検定の有意水準を下げる方法

Tukey-Kramer法（Tukey HSD）

適用するための前提条件（一元配置分散分析と同じ）
・正規性：家庭できない場合は、Steel-Dwass法を使う
・等分散：仮定できない場合は、Games-Howell法を使う

統計検定量qを使う

第Ⅳ部 2つの変数間の関係

本書でこれまで扱ってきたのは、1つの変数のみ

　第12章 相関分析

相関係数

母相関係数ρ

標本相関係数r
・ピアソンの標本相関係数（積率相関係数）
・標本集団から算出できる数値
・標本共分散を、単位に依存しないように補正したもの

相関分析の前提条件

・点(x,y)が2変数正規分布に従うこと

相関のt検定

・帰無仮説：2変数には相関がない
・実務で使うソフトウェアでは、相関係数rさえ計算すれば「統計的に有意な相関かどうか」を教えてくれる早見表（rとnにより有意水準を算出）が出力される

非線形な関係の場合

関係が非線形でも、2変数の関係が単調増加／単調減少ならば、相関の有無が判断できる
・変数変換：対数変換など
・順位相関係数：スピアマンの順位相関係数、ケンドールのτ

因果関係

統計的に有意な相関があっても、因果関係があることの証明にはならない
・擬似相関
・交絡因子 confounding factor

　第13章 単回帰分析

説明変数xと応答変数y

Explanatory variable
Response variable 

最小二乗法

決定係数r^2

・yの変動をxが何％説明してくれるのかを示す

単回帰分析における検定と推定

・傾きbの必要性を確認する検定：そもそも単回帰分析する必要があるか？を判定する
・母回帰係数βの信頼区間の推定
・E[y|x]の信頼区間（信頼帯）の推定
・yの予測区間（予測帯）の推定

完