統計検定 勉強35日目（2）

統計数理・2016年度 問題3

（問1）2種類の推定量が不偏推定量であることを示す

問題文に示された以下の二つの推定量が不偏推定量であることを示す。

$$
b_0 = \frac{1}{n} \sum_{i=1}^n \frac{Y_i}{x_i} \\
b_1 = \frac{\sum_{i=1}^n Y_i}{\sum_{i=1}^n x_i}
$$

与えられている線形モデルは

$$
Y_i = \beta x_i + \epsilon_i    (i=1, \dots, n) \\
E[Y_i] = \beta x_i
$$

で、xはi番毎に定められた定数となっている。そのため、それぞれの推定量の期待値は以下のようになる。

$$
E[b_0] = \frac{1}{n} \sum_{i=1}^n \frac{E[Y_i]}{x_i} = \frac{1}{n} \sum_{i=1}^n \frac{\beta x_i}{x_i} = \beta\\
E[b_1] = \frac{\sum_{i=1}^n E[Y_i]}{\sum_{i=1}^n x_i} = \frac{\sum_{i=1}^n \beta x_i}{\sum_{i=1}^n x_i} = \beta
$$

（問2）βの最小二乗推定量を導出し、その期待値を求める

まずβの最小二乗推定量を導出する。

$$
\frac{d}{db_2}\sum_{i=1}^n (Y_i - b_2 x_i)^2 = -2\sum_{i=1}^n (Y_i - b_2x_i) \\
0 = -2 \sum_{i=1}^n (x_iY_i - b_2x_i^2) \\
\sum_{i=1}^n x_iY_i = b_2 \sum_{i=1}^n x_i^2 \\
b_2 = \frac{\sum_{i=1}^n x_iY_i}{\sum_{i=1}^n x_i^2}
$$

この期待値は以下のようにして求められる。

$$
E[b_2] = \frac{\sum_{i=1}^n x_iE[Y_i]}{\sum_{i=1}^n x_i^2} = \beta
$$

（問3）問1, 2の3種類の推定量の分散を比較する

$${b_0, b_1, b_2}$$それぞれの分散を求めて大小を比較する。

$$
V[b_0] = V\left[\frac{1}{n} \sum_{i=1}^n \frac{Y_i}{x_i}\right] = \frac{1}{n^2} \sum_{i=1}^n \frac{V[Y_i]}{x_i^2} = \frac{V[Y_i]}{n} \sum_{i=1}^n \frac{1}{x_i^2}\\
V[b_1] = V\left[ \frac{\sum_{i=1}^n Y_i}{\sum_{i=1}^n x_i} \right] = \frac{\sum_{i=1}^n V[Y_i]}{\left( \sum_{i=1}^n x_i \right)^2} = \frac{n V[Y_i]}{\left( \sum_{i=1}^n x_i \right)^2} \\
V[b_2] = V\left[\frac{\sum_{i=1}^n x_iY_i}{\sum_{i=1}^n x_i^2}\right] = \frac{\sum_{i=1}^n x_i^2V[Y_i]}{\sum_{i=1}^n x_i^4} = \frac{V[Y_i]}{\sum_{i=1}^n x_i^2}
$$

上記より、それぞれの大小関係は$${\frac{1}{n} \sum_{i=1}^n \frac{1}{x_i^2}}$$、$${\frac{n}{\left( \sum_{i=1}^n x_i \right)^2}}$$、$${\frac{1}{\sum_{i=1}^n x_i^2}}$$の大小関係と一致することが分かる。

解説を見るとさらにここから、算術平均と調和平均の不等式やシュワルツの不等式を用いて、具体的にそれぞれの分散の大小関係を示している。解答としては、$${V[b_2] \le V[b_1] \le V[b_0]}$$となる。

---

問1, 2はかなり単純だったが、線形モデルの問題は苦手だったので少し詰まった。
問3は大小関係を具体的に求めるところが分からなかった。