統計検定準1級対策②：確率分布と母関数

はじめに

統計検定準1級対策第二段です. 今回は『統計学実践ワークブック』第2章 確率分布と母関数の範囲にある次の分野についてまとめます.

• 同時確率関数, 周辺確率関数, 条件付き確率関数, 条件付き期待値

• 母関数

なお、生存関数, ハザード関数は第19章で学ぶため, 本記事では扱いません.

1. 同時確率関数, 周辺確率関数, 条件付き確率関数, 条件付き期待値

各関数の定義

$${X, Y}$$を離散型確率変数とする. このとき, $${X = x, Y = y}$$ となる確率

$$
p(x, y) = P(X = x, Y = y)
$$

を同時確率関数とよぶ. また,

$$
F(x, y) = P(X \leq x, Y \leq y) = \sum_{x^\prime \leq x, y^\prime \leq y} p(x^\prime, y^\prime)
$$

を累積分布関数とよぶ.

同時分布の片方の変数の分布を周辺分布とよぶ.
$${p_X (x) = P(X = x)}$$を$${X}$$の周辺確率関数とよび,

$$
\begin{align}
p_X (x) &= P(X = x) \notag \
&= \sum_{y} P(X = x, Y = y) \notag \
&= \sum_{y} p(x, y) \notag
\end{align}
$$

で求められる.

さらに, $${X = x}$$が与えられたときに$${Y = y}$$となる条件付き確率は

$$
P_{Y|X} (y|x) = \frac{p(x, y)}{p_X(x)}
$$

である.

連続型についても基本的には同様の定義がなされる. ただし, 同時確率密度関数$${f(x, y)}$$は累積分布関数$${F(x, y) = P(X \leq x, Y \leq y)}$$を用いて

$$
f(x, y) = \frac{\partial^2}{\partial x \partial y} F(x, y)
$$

で定義され, 周辺確率密度関数$${f_X(x)}$$は

$$
f_X (x) = \int_{- \infty}^{\infty} f(x, y) dy
$$

で与えられる.

条件付き期待値

1変数の通常の期待値は

$$
E(X) = \int_{- \infty}^{\infty} x f(x) dx
$$

であった.

確率変数$${X, Y}$$の同時分布における$${X = x}$$が与えられたときの$${Y}$$の条件付き期待値, 条件付き分散は次で与えられる.

$$
\begin{align}
E(Y|X = x) &= \int_{- \infty}^{\infty} y f_{Y|X} (y|x) dy \notag \\
&= \int_{- \infty}^{\infty} y \frac{f(x, y)}{f_X (x)} dy \notag
\end{align}
$$

$$
\begin{align}
V(Y|X) = E(Y^2|X) - (E(Y|X))^2 \notag
\end{align}
$$

条件付き期待値には, 繰り返しの法則と呼ばれる次の式が成り立つ.

$$
E(E(X|Y)) = E(X)
$$

$${(proof)}$$

$$
\begin{align}
E(X) &= \int \int x f(x, y) dxdy \notag \\
&= \int \int x f(x, y) dydx \notag \\
&= \int \left(\int x f(x, y) dx \right) dy \notag \\
&= \int \left(\int x \frac{f(x, y)}{f_Y (y)} dx \right) f_Y (y) dy \notag \\
&= \int \left(\int x f_{X|Y} (x|y) dx \right) f_Y (y) dy \notag \\
&= \int E(X|Y) f_Y (y) dy \notag \\
&= E(E(X|Y)) \notag
\end{align}
$$

したがって, $${E(E(X|Y)) = E(X)}$$が成り立つ. $${\square}$$

2. 母関数

母関数には確率母関数とモーメント母関数（積率母関数）がある.

確率母関数

離散型確率変数$${X}$$の確率関数を$${P(x)}$$とするとき, $${1}$$に近いすべての$${s}$$に対して, 次のべき級数が収束する次の$${G_X(s)}$$を$${X}$$の確率母関数という.

$$
G_X(s) = E(s^X) = \sum_x s^x p(x)
$$

$${G_X (s)}$$を$${s}$$で微分すると

$$
\begin{align}
G_X^{(1)} (s) &= p(1) + 2sp(2) + 3 s^2 p(3) + \cdots \notag \\
&= \sum_x xs^{x - 1} p(x) = E(X s^{X - 1}) \notag \\
G_X^{(2)} (s) &= 2 \cdot 1 p(2) + 3 \cdot 2 s p(3) + \cdots = \sum_x x(x - 1) s^{k - 2} p(x) \notag \\
&= E(X(X - 1) s^{X - 2}) \notag
\end{align}
$$

となる. これから次の事実が導ける.

$$
\begin{align}
E(X) &= G_X^{(1)} (1) \notag \\
E(X^2) &= G_X^{(2)} (1) + G_X^{(1)} (1) \notag \\
V(X) &= E(X^2) - (E(X))^2 = G_X^{(2)} (1) + G_X^{(1)} (1) - (G_X^{(1)} (1))^2 \notag
\end{align}
$$

モーメント母関数（積率母関数）

確率母関数$${G_X(s)}$$に$${s = e^t}$$を代入した

$$
M_X(t) = G_X (e^t) = E(e^{tX})
$$

を$${X}$$のモーメント母関数という.

$${M_X(t)}$$を$${t}$$で$${k}$$階微分すると

$$
M_X^{(k)}(t) = E(X^k e^{tX})
$$

となる. よって

$$
E(X^k) = M_X^{(k)}(0)
$$

が成り立つ.

$${X}$$と$${Y}$$が独立なとき, 次が成り立つ.

$$
\begin{align}
M_{X + Y}(t) &= G_{X + Y} (e^t) \notag \\
&= E(e^{t(X + Y)}) \notag \\
&= E(e^{tX} e^{tY}) \notag \\
&= E(e^{tX})E(e^{tY}) \ (\because \text{独立性}) \notag \\
&= M_{X}(t) M_{Y}(t) \notag
\end{align}
$$

指数法則と変数の独立性から成り立つことがわかる.

練習問題

練習1

次の確率密度関数$${f(x, y)}$$に関して, $${x}$$の周辺確率密度関数および$${x}$$を与えたときの$${y}$$の条件付き確率密度関数を求めよ.

$$
f(x, y) = \left\{ \,
\begin{aligned} & x + y \ ((x, y) \in [0, 1] \times [0, 1]) \\
& 0 \ (other) \end{aligned} \right.
$$

---

（解）

$${x}$$の周辺密度関数$${f_X (x)}$$は$${y \in [0, 1]}$$より

$$
\begin{align}
f_X (x) &= \int_{0}^{1} f(x, y) dy \notag \\
&= \int_{0}^{1} (x + y) dy \notag \\
&= \left[ x + \frac{y^2}{2} \right]_{y = 0}^{y = 1} \notag \\
&= x + \frac{1}{2} \notag
\end{align}
$$

また, $${x}$$を与えたときの$${y}$$の条件付き確率密度関数$${f_{Y|X} (y | x)}$$は

$$
f_{Y|X} (y | x) = \frac{f(x, y)}{f_X(x)} = \frac{x + y}{x + \frac{1}{2}}
$$

となる.

練習2

結果が2通りの試行をベルヌーイ試行といい, ベルヌーイ試行を1回行ったときの成功回数が従う確率分布がベルヌーイ分布という,

ベルヌーイ試行の成功確率を$${p}$$とし, $${q = 1 - p}$$とする. このベルヌーイ分布に従う確率変数を$${X}$$としたとき, $${X}$$の確率関数は

$$
P(X = x) = p^x q^{1 - x} \ (x = 0, 1)
$$

つまり,

$$
\begin{align}
P(X = 0) &= 1 - p = q \notag \
P(X = 1) &= p \notag
\end{align}
$$

となる. このベルヌーイ分布に従う確率変数$${X}$$の確率母関数$${G(s)}$$が

$$
G(s) = ps + q
$$

となることを示せ.

---

（解）

$${X}$$の取りうる値はベルヌーイ分布に従うので$${0, 1}$$のいずれかである. 確率母関数の定義より

$$
G(s) = E(s^X) = s^0 q + s^1 p = ps + q
$$

となる.

最後に

『統計学実践ワークブック』第2章 確率分布と母関数の内容は後の章の理解に必須になります. 同時確率関数, 周辺確率関数, 条件付き確率関数, 母関数はきちんと習得しておきたい.

参考

https://www.gakujutsu.co.jp/product/978-4-7806-0852-6/