補足説明 確率・統計
投稿記事集「数理的手法を使っていろいろ予測したい」のなかで引用した公式や定理について補足する記事です．
1. 参考書籍
1. A First Course on Statistical Inference
ネットからアクセスできるけれど利用・活用の権限が不明な大学の講義用コンテンツと異なりクリエイティブ・コモンズライセンスで公開されています．また pdfで一冊にまとまっているので参照しやすい．
@book{Molina2023,
title = {A First Course on Statistical Inference},
author = {Molina Peralta, I. and Garc\'ia-Portugu\'es, E.},
year = {2023},
note = {Version 2.3.0. ISBN 978-84-09-29680-4},
url = {https://bookdown.org/egarpor/inference/}
}
2. チェビシェフの不等式
Xを確率分布Pに従う確率変数とし, その平均値をμ, 分散をσ2 とする. 任意の k<0 に対して,
$$
\begin{aligned}
P(\vert X − \mu \vert \ge k) \le \frac{\sigma^2}{k^2}
\end{aligned}
$$
が成り立つ.
[証明]
事象 $${A = \lbrace \hspace{0.2em} \vert X - \mu \vert \ge k \hspace{0.2em} \rbrace}$$に対して以下の関数（指示関数などと呼ばれる）を定義します．
$$
\begin{aligned}
1_A(X) = \begin{cases}
1 & ( X \in A) \newline
0 & ( X \notin A)
\end{cases}
\end{aligned}
$$
このとき
$$
\begin{aligned}
k^2 1_A & \hspace{0.2em}\le\hspace{0.2em} \vert X- \mu \vert ^2 1_A \newline
& \hspace{0.2em}\le\hspace{0.2em} \vert X- \mu \vert ^2 \newline
\end{aligned}
$$
両辺の期待値をとると
$$
\begin{aligned}
E(k^2 1_A) & \hspace{0.2em}\le\hspace{0.2em} E(\vert X- \mu \vert ^2)
\newline
\end{aligned}
$$
左辺の期待値は事象Aの確率と等しい，また右辺は分散$${\sigma^2}$$なので
$$
\begin{aligned}
k^2P(\vert X − \mu \vert \ge k)& \hspace{0.2em}\le\hspace{0.2em} \sigma^2
\end{aligned}
$$
最後に両辺を$${k^2}$$で割って求める不等式を得る．
上記では使っていませんがチェビシェフの不等式の別証明方法でよく使われる以下の公式も追記しておきます．
3. マルコフの不等式
Xを確率分布Pに従う非負確率変数とする．このとき, 任意の a>0に対して,
$$
\begin{aligned}
P(X \ge a) \le \frac{1}{a}E (X)
\end{aligned}
$$
が成り立つ.
4. 大数の弱法則
標本$${ \{ X_1,X_2,..,X_n \}}$$の各要素は平均$${\mu}$$,分散$${\sigma^2}$$の確率分布Pに従う独立確率変数とする．標本平均$${\bar{X}=(X_1+...+X_n)/n}$$．このとき$${\bar{X}}$$は$${\mu}$$へ確率収束する．すなわち，
$$
\begin{aligned}
\lim_{n \to \infty} P(∣\overline{X}-\mu∣ < \epsilon) = 1 \quad \epsilon\ は正の任意の数
\end{aligned}
$$
[証明]
標本平均$${\bar{X_n}}$$に対してチェビシェフの不等式を適用します．
この事実を大数の法則（Law of Large Number,LLN）とよびます．
5. 標本分散の不偏性
母数zに対してどの標本についてもその推定量$${\hat{Z}}$$が$${z = E(\hat{Z})}$$となるとき$${\hat{Z}}$$は母数zの不偏推定量（Unbiased estimator）であるという．
標本$${ \{ X_1,X_2,..,X_n \}}$$の各要素は平均$${\mu}$$,分散$${\sigma^2}$$の母集団分布Pに従う独立確率変数とします．また標本平均を$${\bar{X}=(X_1+...+X_n)/n}$$とする．そして以下二種類の標本分散を定義します．
$$
\begin{aligned}
S^2 = \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 \newline
S'^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2
\end{aligned}
$$
このとき
$$
\begin{aligned}
E(S^2) &= E(\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2) \newline
&= E(\frac{1}{n}\sum_{i=1}^n((X_i - \mu) + (\mu - \bar{X}))^2) \newline
&= E(\frac{1}{n}\sum_{i=1}^n((X_i - \mu)^2 -2(X_i - \mu)(\bar{X} - \mu) +
(\mu - \bar{X})^2)) \newline
&= \frac{1}{n}E(\sum_{i=1}^n(X_i - \mu)^2 -\frac{2}{n}E(\sum_i^n(X_i - \mu)(\bar{X} - \mu)) + \frac{1}{n}E((\mu - \bar{X})^2) \newline
&= \frac{1}{n}\sum_{i=1}^nE((X_i - \mu)^2) -\frac{2}{n}E(\sum_i^n(X_i -\mu)\frac{1}{n}\sum_j^n(X_j - \mu)) + \frac{1}{n}\frac{1}{n}\sum_i^nE((X_i -\mu)^2) \newline
&= \frac{1}{n}\sum_{i=1}^n\sigma^2 -\frac{2}{n^2}\sum_i^nE((X_i - \mu)^2)
+ \frac{1}{n^2}\sum_i^nE((X_i - \mu)^2) \newline
&= \sigma^2 - \frac{2}{n^2}n\sigma^2 + \frac{1}{n^2}n\sigma^2 \newline
&= \frac{n-1}{n}\sigma^2
\end{aligned}
$$
$${S^2}$$は不偏性をもつ推定量（Unbiased estimator）ではありませんでした．一方$${S'^2}$$については上記の計算より不偏性を持つ推定量です．$${ S'^2}$$を不偏標本分散と呼びます．
$$
\begin{aligned}
E(S'^2) &= \frac{n}{n-1}E(S) \newline
&= \sigma^2
\end{aligned}
$$
6. 不偏標本分散は一致推定量である
標本 $${ \{ X_1,X_2,..,X_n \}}$$ の各要素は平均 $${\mu}$$ ,分散 $${\sigma^2}$$ の正規分布 $${N(\mu,\sigma^2)}$$ に従う独立確率変数とします．このとき標本分散を母分散で割ったものは自由度 n-1 のカイ二乗分布に従うことを証明できます．
$$
\begin{aligned}
\frac{\sum(X_i − \bar{X})^2}{σ^2} ∼ χ_{n-1}^2
\end{aligned}
$$
不偏標本分散 $${ S'^2 }$$ を用いて言い換えると，
$$
\begin{aligned}
\frac{(n-1)S'^2}{\sigma^2} ∼ χ_{n-1}^2
\end{aligned}
$$
これは良く知られている事実のようです．StackExchange，Peralta本を見て確認しました．
$${V(χ_{n-1}^2) = 2(n-1),E(S'^2) = \sigma^2}$$に留意してチェビシェフの不等式に不偏標準分散を適用します．
$$
\begin{aligned}
P(\vert S'^2−σ^2 \vert \ge \epsilon) & = P( \vert S'^2−E(S'^2) \vert \ge
\epsilon) \newline
& \le V(S'^2) / \epsilon^2 \newline
& = (\frac{\sigma^2}{n-1})^2V(\frac{(n-1)S'^2}{\sigma^2})/\epsilon^2 \newline
& = (\frac{\sigma^2}{n-1})^2 V(\chi_{n-1}^2) / \epsilon^2 \newline
& = \frac{σ^4}{(n−1)^2}⋅2⋅(n-1) /\epsilon^2 \newline
& = \frac{2σ^4}{(n−1)\epsilon^2} \rightarrow 0 \quad (as \quad n \rightarrow \infty)\newline
\end{aligned}
$$
従って不偏標本分散は母分散へ確率収束するので一致推定量です．
7. 標本分散は一致推定量である
この事実については「標本分散，不偏分散が推定量であること 新潟工科大学 竹野」を参照しました．
標本$${ \{ X_1,X_2,..,X_n \}}$$の各要素は平均$${\mu}$$,分散$${\sigma^2}$$の確率分布Pに従う独立確率変数とする．標本分散$${S^2}$$は以下の定義でした．
$$
\begin{aligned}
S^2 = \frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2
\end{aligned}
$$
このとき$${S^2}$$は$${\sigma^2}$$へ確率収束する．すなわち$${ S^2}$$は$${ \sigma^2}$$の一致推定量である．
$$
\begin{aligned}
\lim_{n \to \infty} P(∣S^2-\sigma^2∣ < \epsilon) = 1 \quad \epsilon\ は正の任意の数
\end{aligned}
$$
[証明]
標本分散$${ S^2 }$$と不偏標本分散$${S'^2}$$の以下の関係から
$$
\begin{aligned}
\frac{(n-1)S'^2}{n} = S^2
\end{aligned}
$$
両辺の期待値をとると$${ S'^2 }$$の不偏分散性から
$$
\begin{aligned}
\frac{(n-1)\sigma^2}{n} = E(S^2)
\end{aligned}
$$
上記をふまえて以下では確率事象A := { $${ |S^2 - \sigma^2| \ge k}$$ }が任意のkに対してP(A)→０（n→∞）を示したい．
$${ S^2}$$に対するチェビシェフの不等式の左辺の$${E(S^2)}$$を上述の等号関係で置き換える．
$$
\begin{aligned}
P(\vert S^2−E(S^2) \vert \ge \epsilon) & = P(\vert S^2−\frac{n-1}{n}\sigma^2 \vert \ge \epsilon) \newline
\end{aligned}
$$
$${S^2 \in A}$$であるならば，
$$
\begin{aligned}
\vert S^2−\frac{n-1}{n}\sigma^2 \vert &= \vert S^2 − \sigma^2 + \sigma^2 - \frac{n-1}{n}\sigma^2 \vert \newline
&\ge \vert S^2 − \sigma^2 \vert - \vert \sigma^2 - \frac{n-1}{n}\sigma^2 \vert \newline
&\ge k - \frac{\sigma^2}{n} \newline
\end{aligned}
$$
したがって確率事象B := { $${\vert S^2−\frac{n-1}{n}\sigma^2 \vert \ge k - \frac{\sigma^2}{n}}$$ }とすると，$${S^2 \in A \Rightarrow S^2 \in B}$$なので$${P(A) \le P(B)}$$となり，$${S^2}$$に対するチェビシェフの不等式から，
$$
\begin{aligned}
P( \vert S^2 - \sigma^2 \vert \ge k) \hspace{0.5em} & \le \hspace{0.5em} P(B) \newline
& \le \frac{V(S^2)}{(k - \frac{\sigma^2}{n})^2} \newline
& = \frac{1}{(k - \frac{\sigma^2}{n})^2}(\frac{n-1}{n})^2V(S'^2) \newline
&= \frac{1}{(k - \frac{\sigma^2}{n})^2}(\frac{n-1}{n})^2 \frac{2(n-1)}{(n-1)^2/\sigma^4} \newline
& = \frac{\sigma^4 \cdot 2(n-1)}{(k - \frac{\sigma^2}{n})^2 n^2} \rightarrow 0 \hspace{0.5em} (as \hspace{0.5em} n \rightarrow \infty)\newline
\end{aligned}
$$
8. 標本共分散は不偏推定量である
標本$${ \lbrace (X_1,Y_1),(X_2,Y_2),..,(X_n,Y_n) \rbrace}$$の各要素は平均$${\mu}$$,分散$${\sigma^2}$$，共分散$${\sigma_{XY}}$$の母集団分布Pに従う独立確率変数とする．
標本共分散$${S'_{XY}}$$を以下のようにする．
$$
\begin{aligned}
S'_{XY} = \frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})
\end{aligned}
$$
このとき
$$
\begin{aligned}
(n−1)S'_{xy} &:=\sum(X_i−\bar{X})(Y_i−\bar{Y}) \newline
&=\sum(((X_i - \mu_X)−(\bar{X} - \mu_X))((Y_i - \mu_Y)−(\bar{Y} - \mu_Y))) \newline
&=\sum((X_i - \mu_X)(Y_i - \mu_Y) - \sum (X_i - \mu_X)(\bar{Y} - \mu_Y) \newline
&- \sum(\bar{X} - \mu_X)(Y_i - \mu_Y) + \sum (\bar{X} - \mu_X)(\bar{Y} - \mu_Y) \newline
(n−1)E(S'_{xy}) &= \sum E((X_i - \mu_X)(Y_i - \mu_Y)) − E(\sum (X_i - \mu_X)(\bar{Y} - \mu_Y))
\newline
&- E(\sum(\bar{X} - \mu_X)(Y_i - \mu_Y)) +E(\sum (\bar{X} - \mu_X)(\bar{Y} - \mu_Y)) \newline
&=n \cdot \sigma_{XY} - E(\sum (X_i - \mu_X)(\frac{(Y_1-\mu_Y)+..+(Y_n-\mu_Y)}{n} )) \newline
&-E(\sum(\frac{(X_1 - \mu_X)+..+(X_n - \mu_Y)}{n})(Y_i - \mu_Y)) \newline
&+ nE((\bar{X} - \mu_X)(\bar{Y} - \mu_Y)) \newline
&= n \cdot \sigma_{XY} -n \cdot \frac{1}{n}\sigma_{XY} -n \cdot \frac{1}{n}\sigma_{XY} +n \cdot \frac{n}{n^2}\sigma_{XY} \newline
&= \sigma_{XY}(n - 1) \newline
E(S'_{xy}) &= \sigma_{XY}
\end{aligned}
$$
$${ S'_{xy}}$$ は母共分散の不偏推定量であることがわかりました．これを不偏標本共分散とよびます．
9. 標本共分散，不偏標本共分散ともに一致推定量である
標本 $${ \lbrace (X_1,Y_1),(X_2,Y_2),..,(X_n,Y_n) \rbrace}$$ の各要素は平均 $${ \mu }$$ ,分散 $${ \sigma^2}$$ ，共分散 $${\sigma_{XY}}$$ の母集団分布 P に従う独立確率変数とします．このとき標本共分散 $${S_{XY}}$$，不偏標本共分散 $${S'_{XY}}$$ はともに母数 $${\sigma_{XY}}$$ の一致推定量となります．証明の流れはおなじなので標本共分散の場合を説明しましょう．
標本共分散$${S_{XY}}$$の定義式を分解して式変形する．
$$
\begin{aligned}
S_{XY} &= \frac{1}{n}\sum(X_i−\bar{X})(Y_i−\bar{Y}) \newline
&= \frac{1}{n}\sum ((X_i -\mu_X )-(\bar{X}- \mu_X))((Y_i -\mu_Y )-(\bar{Y}- \mu_Y)) \newline
&= \frac{1}{n}\sum ((X_i -\mu_X )-(\bar{X}- \mu_X))((Y_i -\mu_Y )-(\bar{Y}- \mu_Y)) \newline
&= \frac{1}{n} (\sum(X_i -\mu_X )(Y_i -\mu_Y ) - \sum(X_i -\mu_X )(\bar{Y}- \mu_Y) \newline
&- \sum(\bar{X}- \mu_X) (Y_i -\mu_Y ) + \sum(\bar{X}- \mu_X)(\bar{Y}- \mu_Y)) \newline
&= \frac{1}{n}\sum(X_i -\mu_X )(Y_i -\mu_Y ) - \frac{1}{n}\sum(X_i -\mu_X )(\bar{Y}- \mu_Y) \newline
&- \frac{1}{n}\sum(\bar{X}- \mu_X) (Y_i -\mu_Y ) + \frac{1}{n}\sum(\bar{X}- \mu_X)(\bar{Y}- \mu_Y) \newline
&= \frac{1}{n}\sum(X_i -\mu_X )(Y_i -\mu_Y ) - (\bar{X} - \mu_X)(\bar{Y}- \mu_Y)
\end{aligned}
$$
ここで、 $${ n \rightarrow \infty \Rightarrow \bar{X} - \mu_X \rightarrow 0,\bar{Y}- \mu_Y \rightarrow 0 }$$であるから上記のさいごの式の2項目は０へ確率収束する．また１項目は大数の法則により母数$${\sigma_{XY}}$$へ確率収束する．従って$${S_{XY}}$$は$${ \sigma_{XY }}$$へ確率収束する．