統計検定 勉強32日目

統計数理・2017年度 問題1

（問1）Xの平均の期待値、分散＆T^2, S^2が不偏推定量と示す

まずXの平均の期待値をXの期待値μ、分散σ^2、個数nで表す。
よくある問題なので、答えは期待値μ、分散σ^2/nとしっているが、一応導出をする。

$$
E[\bar X] = E\left[\frac{1}{n}\sum_{i=1}^n X \right] \\
= \frac{1}{n}\sum_{i=1}^n E\left[ X \right] \\
= \mu \\
V[\bar X] = V\left[\frac{1}{n}\sum_{i=1}^n X \right] \\
= \frac{1}{n^2}\sum_{i=1}^n V\left[ X \right] \\
= \frac{\sigma^2}{n} \\
$$

加えて、T^2, S^2が不偏推定量であることを示す。
不偏推定量は期待値が母数と一致する性質をもつため、それぞれの期待値を求めてσ^2と一致するかを確認する。まず、T^2は単純で、分散の定義と一致するため期待値も母分散と等しくなる。

$$
E[T^2] = E\left[\frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 \right] \\
= \frac{1}{n} \sum_{i=1}^n E\left[(X_i - \mu)^2 \right] \\
= \frac{1}{n} \sum_{i=1}^n \sigma^2 \\
= \sigma^2
$$

S^2は不偏分散であり、以下のように変形することで期待値がσ^2であることを示せる。

$$
E[S^2] = E\left[\frac{1}{n-1} \sum_{i=1}^n (X_i - \bar X)^2 \right] \\
= \frac{1}{n-1} E\left[\sum_{i=1}^n ((X_i - \mu) - (\bar X - \mu))^2 \right] \\
= \frac{1}{n-1} E\left[\sum_{i=1}^n (X_i - \mu)^2 - n(\bar X - \mu)^2 \right] \\
= \frac{1}{n-1} E\left[\sum_{i=1}^n (X_i - \mu)^2 - n(\bar X - \mu)^2 \right] \\
= \frac{1}{n-1} \left( n\sigma^2 - n\frac{\sigma^2}{n} \right)\\
= \sigma^2
$$

（問2）Xの平均の歪度をβ1とnで表す

Xの歪度は以下のように定義されている。

$$
\beta_1 = \frac{E[(X-\mu)^3]}{\sigma^3}
$$

これをXの平均で置き換えると以下のようになる。Xの平均の期待値、分散は問1で求めたものを利用する。

$$
\beta_{m1} = \frac{E[(\bar X-\mu)^3]}{(\sigma/n)^3} \\
= n^{3/2} \frac{E[(\bar X-\mu)^3]}{\sigma^3} \\
= n^{-1/2} \frac{E[(X-\mu)^3]}{\sigma^3} \\
= \frac{\beta_1}{\sqrt{n}} \\
$$

（問3）Xの平均の尖度をβ2とnで表す

問2と同じように考えて変形していく。
が、Xの標本平均の母平均周りの4次のモーメントは問2ほどきれいにならないため、そこは少し計算する必要がある。

$$
E[(\bar X - \mu)^4] = E\left[\left(\frac{1}{n} \sum_{i=1}^n X_i - \mu\right)^4\right] \\
= \frac{1}{n^4}E\left[\sum_{i=1}^n (X_i - \mu)^4\right] \\
= \frac{1}{n^4}E\left[\sum_{i=1}^n \{ {(X_i - \mu)^4 - 4\sum_{i\neq j} (X_i - \mu)^3(X_j - \mu) + 6\sum_{i\lt j} (X_i - \mu)^2(X_j - \mu)^2 + 12\sum_{i\neq j, k} (X_i - \mu)^2(X_j - \mu)(X_k - \mu) + 24\sum_{i\neq j, k, l} (X_i - \mu)(X_j - \mu)(X_k - \mu)(X_l - \mu) } \}\right] \\
= \frac{1}{n^4} (n\mu_4 + 6\frac{n(n-1)}{2}\sigma^4) \\
= \frac{1}{n^3} (\mu_4 + 3(n-1)\sigma^4)
$$

上記を利用し、Xの平均の尖度を求めていく。

$$
\beta_{m2} = \frac{E[(\bar X - \mu)^4]}{(\sigma/n)^4} - 3 \\
= n^2 \frac{\frac{1}{n^3} (\mu_4 + 3(n-1)\sigma^4)}{\sigma^4} - 3 \\
= \frac{(\mu_4/\sigma^4)+3(n-1)}{n} - 3 \\
= \frac{(\mu_4/\sigma^4)-3}{n} \\
= \frac{\beta_4}{n}
$$

（問4）nを大きくしたときにXの平均の歪度と尖度について論じる

問2, 3より、nを大きくしていった際にXの平均の歪度、尖度はどちらも小さくなっていることがわかる。nが十分に大きい場合は歪度、尖度ともに0に近づくため、Xの平均は正規分布に近づくことがわかる。

（問5）σ^2の最尤推定量を求める

まず、μが既知のときσ^2の最尤推定量を求め、それがT^2であることを示す。

$$
L(\sigma^2 | \mu, X) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\
= \frac{1}{(2\pi\sigma^2)^{n/2}} \exp\left(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\
\log L(\sigma^2 | \mu, X) = - \frac{n}{2} \log 2\pi\sigma^2 - \sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2} \\
(\frac{n}{2} \log 2\pi\sigma^2 + \sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2})' = 0 \\
\frac{n}{2\sigma^2} - \frac{1}{\sigma^3} \sum_{i=1}^n (x_i-\mu)^2 = 0 \\
\sigma = \frac{1}{n} \sum_{i=1}^n (x_i-\mu)^2
$$

以上でσ^2の最尤推定量がT^2と一致することがわかった。

次にμが未知の場合にS^2を用いて表す。
わからなかったので解説を見ると、対数尤度の微分の際に、μとσ^2のどちらでも偏微分をしそれらの連立方程式を求める形となる。

$$
\frac{\delta}{\delta \mu} l(\mu, \sigma^2) = \frac{1}{\sigma^2} \sum_{i=1}^n x_i - \mu \\
\frac{\delta}{\delta \sigma^2} l(\mu, \sigma^2) =  \frac{n}{2\sigma^2} - \frac{1}{\sigma^3} \sum_{i=1}^n (x_i-\mu)^2
$$

上記の第一式より$${\hat \mu = \frac{1}{n}\sum_{i=1}^n x_i = \bar x}$$であることがわかるため、σ^2の最尤推定量はS^2を使って以下のように表される。

$$
\hat \sigma^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar X)^2 = \frac{n-1}{n} S^2
$$

---

問1, 2は非常に簡単だった。
問3は計算がかなり複雑になり、本番だったら解き方があっているのかすごく不安になると思う。問4は問2, 3がとければ簡単で、問5は少しだけ変則的な感じがした。

今までの過去問からすると、問題1にしては少しむずかしい方かなと思った。