尤度関数がなぜ同時確率分布なのか

2023年7月27日 20:42

尤度は確率分布の実現可能性を表す

尤度はパラメーターを固定したもの
確率は事象を固定したものだった

特に尤度は
下図の例でも上げているとおり
仮定した確率分布がどのくらい実現可能性あるか！
が重要だった

詳細はここに書いてあるので割愛！

尤度関数は
確率変数を決めるパラメーター（正規分布だったら平均$${\mu}$$と標準偏差$${\sigma}$$）
を固定した確率みたいなものだったので
$${L (\theta) = P(X=x_i | \theta = \theta_0)}$$
と表すことができる

ここでコイントスを10回の二項分布を例に挙げると
ここでのパラメーターはコインの表裏が出る確率$${\theta}$$とする
（常識的には2分の1だが今回は未知の数であるということにしよう）

コインの表裏が出る確率は固定なので
事象を$${i}$$（コインの表が$${i}$$回出る）とすると
その時の確率は

$$
\Pi_i {}_nC_{i} (\frac{1}{\theta})^{n-i} (1 - \frac{1}{\theta})^{i}
$$

これを全ての事象を$${i}$$で計算するのだが
コイントスは独立試行なので
上記確率を掛け合わせれば良い

$$
\Pi_i {}_nC_{i} (\frac{1}{\theta})^{n-i} (1 - \frac{1}{\theta})^{i}
$$

一般化すると

$$
L(\theta) = \Pi_i f(x_i ; \theta)
$$

さっきの計算でやったことは
全ての事象を考えて確率の式を導いた

何度も言うが、
尤度とはどのパラメーターが確率分布の実現可能性があるかを見ていて
全ての事象で確かめたいので、確率の掛け算（独立試行なので）で
尤度関数を導出した

$$
\Pi_i {}_nC_{i} (\frac{1}{\theta})^{n-i} (1 - \frac{1}{\theta})^{i}
$$

この関数が最大値を取れば
その時のパラメーター$${\theta}$$の時に確率分布の実現確率が最大になる

この時のパラメーター$${\theta}$$の値を最尤推定量と呼ぶ