統計検定 勉強35日目（1）

統計数理・2016年度 問題2

（問1）Xの期待値が1/λであることを示す

まず、指数関数の確率密度関数が与えられているので、それを利用して期待値を求めていく。

$$
E[X] = \int_{0}^{\infin} x \cdot \lambda e^{-\lambda x}  dx \\
= \lambda \int_{0}^{\infin} x e^{-\lambda x}  dx \\
= \lambda \{ [-\frac{1}{\lambda}xe^{-\lambda x}]_0^\infin - \int_{0}^{\infin} \frac{1}{\lambda}e^{-\lambda x}  dx \} \\
= \lambda \{ - [\frac{1}{\lambda^2} e^{-\lambda x} ]_0^\infin \} \\
= \frac{1}{\lambda}
$$

（問2）定数cに対して上側確率を求める

上側確率を直接求めるために、まず累積分布関数を求める。

$$
P(X \le c) = \int_{0}^c f(x)  dx \\
= \int_{0}^c \lambda e^{-\lambda x}  dx \\
= [-e^{-\lambda x}]_0^c \\
= -e^{-\lambda c} + 1
$$

これを利用すると、正の定数cにおける上側確率は以下のように表せる。

$$
P(X \gt c) = 1 - P(X \le c) = e^{-\lambda c}
$$

また、$${0\lt \alpha\lt 1}$$である実数があったときに、$${P(X \gt u(\alpha))=\alpha}$$となる$${u(\alpha)}$$を求める。上記の式を利用すると、以下のようになることが分かる。

$$
P(X \gt u(\alpha)) = e^{-\lambda u(\alpha)} = \alpha \\
\log e^{-\lambda u(\alpha)} = \log \alpha \\
u(\alpha) = -\frac{1}{\lambda} \log \alpha
$$

（問3）X1, …, Xnからλの最尤推定量を求める

まず、X1, …, Xnからλの最尤推定量を求める。

$$
L(\lambda | x_1, .., x_n) = \prod_{i=1}^n \lambda e^{-\lambda x_i} \\
= \lambda^n e^{-\sum_{i=1}^n \lambda x_i} \\
\log L(\lambda | x_1, .., x_n) = n\log\lambda - \sum_{i=1}^n \lambda x_i \\
\frac{d}{d \lambda} \log L(\lambda | x_1, .., x_n) = \frac{n}{\lambda} - \sum_{i=1}^n x_i \\
0 = \frac{n}{\lambda} - \sum_{i=1}^n x_i \\
\hat\lambda = \frac{n}{\sum_{i=1}^n x_i} = \frac{1}{\bar x}
$$

ここから、問2の上側確率と$${u(\alpha)}$$のそれぞれの最尤推定量も求める。

$$
\hat Q(c) = e^{-\frac{c}{\bar x}} \\
\hat u(\alpha) = -\bar x \log \alpha
$$

また、$${\hat u(\alpha)}$$が$${u(\alpha)}$$の不偏推定量であるかも確認する。そのために期待値を求めると、

$$
E[\hat u(\alpha)] = E[-\bar x \log \alpha] \\
= - \log \alpha E[\bar x] \\
= - \log \alpha \frac{1}{n}\sum_{i=1}^n E[x_i] \\
= -\frac{1}{\lambda} \log \alpha \\
$$

となり、期待値が母数に一致していることが分かる。つまり、不偏推定量であることが分かった。

（問4）Y=X1+ … +Xnの確率密度関数を求める

今回は導出ではなく証明すればよいので、数学的帰納法を用いて証明する。
まず、n=1のときは以下のようになり指数分布と一致する。

$$
g_1(y) = \lambda e^{-\lambda x}
$$

次に、n=kのときが成り立つと仮定したときに、n=k+1が成り立つかを確認する。n=k+1では、W=X+Yとなる。

$$
g_{k+1}(w) = \int_0^w g_k(y) f(w-y)  dy \\
= \int_0^w \frac{\lambda^k}{\Gamma(k)} y^{k-1}e^{-\lambda y} \lambda e^{-\lambda (w-y)}   dy \\
= \frac{\lambda^{k+1}}{\Gamma(k)} \int_0^w y^{k-1}e^{-\lambda y} e^{-\lambda (w-y)}   dy \\
= \frac{\lambda^{k+1}}{\Gamma(k)} e^{-\lambda w} \int_0^w y^{k-1}   dy \\
= \frac{\lambda^{k+1}}{\Gamma(k)} e^{-\lambda w} [\frac{1}{k} y^k]_0^{w} \\
= \frac{\lambda^{k+1}}{\Gamma(k)} e^{-\lambda w} \frac{1}{k} w^k \\
= \frac{\lambda^{k+1}}{\Gamma(k+1)}  w^k e^{-\lambda w} \\
$$

上記のように、n=k+1でも成り立つことが分かった。
また、これを利用して以下の上側確率の最尤推定量が不偏推定量であることを示す。

$$
E[\hat Q(c)] = E\left[\left(1 - \frac{c}{Y}\right)^{n-1}\right] \\
= \int_0^\infin \left(1 - \frac{c}{y}\right)^{n-1} \frac{\lambda^{n}}{\Gamma(n)}  y^{n-1} e^{-\lambda y}  dy \\
= \int_0^\infin \left(\frac{y-c}{y}\right)^{n-1} \frac{\lambda^{n}}{\Gamma(n)} y^{n-1} e^{-\lambda y}  dy \\
=  \int_0^\infin \left(y-c\right)^{n-1} \frac{\lambda^{n}}{\Gamma(n)} e^{-\lambda y}  dy \\
=  e^{-\lambda c}\int_0^\infin \left(y-c\right)^{n-1} \frac{\lambda^{n}}{\Gamma(n)} e^{-\lambda (y-c)}  dy \\
= e^{-\lambda c}
$$

となり、これは問2で示した式と一致するため、不偏推定量であることが分かる。ちなみに最後の式変形は y-c の確率密度関数と一致するため全範囲の積分を1として扱った。

---

問題2は簡単な方だと思った。
問1から3までは期待値を求めたり、最尤推定量を求めたりなどの基本的なことが多く、そこまで変則的な問題はなかった。問4は上側確率の不偏推定量の証明部分で、式を確率密度関数に合わせて変形するのが難しかった。