カイ二乗分布の導出

標準正規分布に従う確率変数の平方和はカイ二乗分布に従うことが知られている。例えば、誤差の測定に平均二乗誤差（Mean Squared Error, MSE）を用いられることが多いが、標本が正規分布に従っている場合はその誤差がカイ二乗分布に従う。今回はそのカイ二乗分布の導出を理解する。

定義

まずカイ二乗分布の定義についてだが、標準正規分布に従う確率変数$${X_1, X_2, \dots, X_{\nu}}$$があるとき、$${Y=X_1^2 + X_2^2 + \cdots + X_\nu^2}$$がカイ二乗分布に従い、その確率密度関数は以下の式で定義される。

$$
f(y) = \frac{1}{2^{\nu/2}\Gamma(\nu/2)}y^{\nu/2-1}e^{-y/2},  y \gt 0
$$

ここで、$${\nu}$$は自由度と呼ばれるパラメータとなる。

導出

カイ二乗分布の導出方法はいくつかあるが、ここでは積率母関数を用いた導出を行う。まず、標準正規分布に従う確率変数$${X_1, X_2, \dots, X_{\nu}}$$があるとき、$${Y=X_1^2 + X_2^2 + \cdots + X_\nu^2}$$の積率母関数を求める。

$${X_1, X_2, \dots, X_{\nu}}$$はそれぞれ標準正規分布に従っているため、積率母関数は以下のようになる。

$$
M_{X_i} (t) = E[e^{tX_i^2}] \\
= \int_{-\infin}^{\infin} e^{tx^2} \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}  dx \\
= \frac{1}{\sqrt{2\pi}} \int_{-\infin}^{\infin} e^{-\frac{(1-2t)x^2}{2}}  dx \\
$$

ここでガウス積分を利用し、以下のように変形をしていく。

$$
\frac{1}{\sqrt{2\pi}} \int_{-\infin}^{\infin} e^{-\frac{(1-2t)x^2}{2}}  dx \\
= \frac{1}{\sqrt{2\pi}} \sqrt{\frac{2\pi}{1-2t}} \\
= \sqrt{\frac{1}{1-2t}} \\
= (1-2t)^{-1/2}
$$

さらに、Yは上記の和となり、積率母関数ではネイピア数の乗数内で加算されるため、期待値では積となる。そのため、$${\nu}$$個数分の総積を以下のように表せる。

$$
E[e^{tY}] = E[e^{t(X_1 + X_2 + \cdots + X_\nu)}] \\
= E[e^{tX_1}] \cdot E[e^{tX_2}] \cdots E[e^{tX_\nu}] \\
= (1-2t)^{-\nu/2}
$$

上記の積率母関数とガンマ分布の積率母関数 $${M_X(t) = (1-\beta t)^{-\alpha}}$$ を見比べてみると、Yの分布は$${\alpha=\nu/2,\beta=2}$$のガンバ分布であることが分かり、確率密度関数もそれにしたがって求められる。