2変数の判別関数とマハラノビス距離
起
判別関数を1変数から2変数に拡張するときに
2変数の正規分布の式が出てくるので少し難しく感じる
そこで今回はなるべく途中式を省略せずに2変数の判別関数を導いていきたい
承
まず判別関数を導出するにあたって2変数の正規分布の確率密度関数とマハラノビス距離を確認する
2変数の正規分布
1変数正規分布の確率密度関数は
$$
f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2})
$$
多変数になると分散の項に共分散の影響が出てくるので
分散共分散行列を$${\Sigma}$$として$${2}$$次元では
$$
f(x) = \frac{1}{\sqrt{(2\pi)^{2}|\Sigma|}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))
$$
この式の証明は下記が参考になる
マハラノビス距離
平均からの距離は2変数になると変数間でデータのスケールによってばらつきが出てしまうので、標準偏差で割って標準化する（変動係数みたいに）
これをマハラノビス距離と呼ぶ
$$
D^2 = (\frac{x-\mu}{\sigma})^2
$$
これを2変数に拡張すると
分散共分散行列を$${\Sigma}$$として
$$
D^2 = (x-\mu)^T\Sigma^{-1}(x-\mu)
$$
転
2変数の判別関数
正規分布に従う多変数の確率密度関数を下記のように設定する
$$
p_1 = \frac{1}{\sqrt{(2\pi)^{2}|\Sigma_1|}}exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1))
$$
$$
p_2 = \frac{1}{\sqrt{(2\pi)^{2}|\Sigma_2|}}exp(-\frac{1}{2}(x-\mu_2)^T\Sigma^{-1}(x-\mu_2))
$$
これの対数比を取ると元々の指数部分がマハラノビス距離の形
$${D^2 = (x-\mu)^T\Sigma^{-1}(x-\mu)}$$になる
$$
log(\frac{p_1}{p_2}) = \frac{1}{2}log\frac{|\Sigma_2|}{|\Sigma_1|}
-\frac{1}{2}((x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) - (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2))
$$
1変数の場合
対数をとることができないので、指数部分の標準化した部分を
判別関数とする
$$
(\frac{x-\mu}{\sigma})^2
$$
結
2変数の場合は確率密度関数の対数比を用いることで
マハラノビス距離が出てくる判別関数を導くことができた
またこの2次判別関数を展開すると下記のような
2次関数として表現することができる
$$
f(x) = x^TAx + b^Tx +c
$$
$$
A = \frac{1}{2}(-\Sigma_1^{-1} + \Sigma_2^{-1})
\\
b = \Sigma_1^{-1}\mu_1 - \Sigma_2^{-1}\mu_2
\\
c = \frac{1}{2}(-\mu_1^T\Sigma_1^{-1}\mu_1 + \mu_2^T\Sigma_2^{-1}\mu_2) + \frac{1}{2}log\frac{|\Sigma_2|}{|\Sigma_1|}
$$