不偏推定量と一致推定量

不偏推定量とは

パラメーターの期待値を計算して
母集団の真の値と合致しているやつ

まあ簡単なことっ

$$
E (\hat{ \theta}) = \theta
$$

不偏推定量の具体例

母平均が$${\mu}$$で母分散がが$${\sigma^2}$$から取った標本の標本平均

$$
E (\bar{X}) \\{}\\
= E  (  \frac{1}{n}\Sigma_{i = 1}^n X_i ) \\{}\\
= \frac{1}{n}  \Sigma_{i = 1}^n E(X_i) \\{}\\
= \mu
$$

を示せるので
標本平均は母平均の不偏推定量である

一致推定量とは

標本のサンプル数$${n}$$を増やして以下のような不等式が成立するものを
一致推定量という

$$
\forall \epsilon > 0, n \to \infty, P(| \hat{ \theta} - \theta | > \epsilon ) = 0
$$

不偏推定量と違って無邪気に平均だけ求めればいいってもんじゃなくて
少し複雑な式の形をしているのでこんなの証明できんと萎えてしまうかもしれない
しかし、不等式といえば便利な公式がある
それはチェビシェフの不等式と呼ばれるもので
平均と分散さえあれば、どんな確率分布にも使えるやべえやつ

（補足）チェビシェフの不等式

また、確率変数のパラメーターの
不等式を計算する際には
チェビシェフの不等式を活用することが多い

チェビシェフの不等式とは
確率変数$${X}$$の期待値を$${m}$$, 標準偏差を$${s}$$とすると任意の正の数$${a}$$について

$$
\forall a > 0, P(| \hat{X} - m | \geq as ) \leq \frac{1}{a^2}
$$

が成立するというものだった

これが成立する場合の余事象を考えると
左辺は不等号を逆にして
右辺は全確率１から元の確率を引けば良いので

$$
\forall a > 0, P(| \hat{X} - m | < as ) \leq 1 - \frac{1}{a^2}
$$

となる
以下、この不等式を活用して
一致推定量の計算を行う

一致推定量の具体例

標本平均の一致推定量を考える

標本平均の平均は$${E(\bar{X}) = \mu}$$

標準偏差は$${ \sqrt{V (\bar{X})} = \frac{\sigma}{\sqrt{n}}}$$

となるので
チェビシェフの不等式より

$$
P(| \hat{X} - \mu | < a(\frac{\sigma}{\sqrt{n}}) ) \leq 1 - \frac{1}{a^2}
$$

ここで$${\epsilon = a(\frac{\sigma}{\sqrt{n}}) }$$とすると

$$
P(| \hat{X} - \mu | < \epsilon )\leq 1 - \frac{\sigma^2}{n \epsilon^2}  (n \to \infty  のとき  0)
$$

となるので標本平均は母平均の一致推定量と証明できた

まとめ

不偏推定量とは

サンプル数が小さくても大きくても、推定量の期待値（平均）が偏っていなくて母集団のパラメーターに近い性質は不偏性といい、その推定量を不偏推定量という
→　サンプルサイズによらず推定量の平均は不偏

一致推定量とは

任意（全て）の正の数に対してサンプル数が無限のとき
母集団のパラメーターと推定量の差が$${0}$$でない確率は$${0}$$
→　サンプルサイズが大きくなればいずれは推定量の差が０になる