統計準1級 2021年6月問6解説
問6 [1]
問題文は省略する。
前提知識:
問題文から読み取れるが、フィッシャーの線形判別では、$${S_W}$$と$${S_B}$$を扱うことは知っていた方がいい。日本語の教科書等ではあまり書かれていないが、$${S_W}$$はWithin-class Scatter Matrix（クラス内共分散行列)を指し、$${S_B}$$はBetween-class Scatter Matrix（クラス間共分散行列）を指していることを知っていると、すぐに問題文の意味がわかるだろう。
解法：
逐次計算して証明するより、直感的に全体の共分散行列Sはクラス内共分散行列$${S_W}$$と$${S_B}$$の和とイコールになるとわかるはず。
問6 [2]
フィッシャーの線形判別において対応する固有ベクトルを$${v}$$, 新しいデータを$${z_0}$$とするとき、$${v^{T}z_0}$$により線形判別が行われる。
$${S_W}$$、$${S_B}$$が以下の際に固有値を計算する行列Aと線形判別に用いる固有ベクトル$${v}$$を求めよ。
$$
S_W = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix},
S_B = \begin{pmatrix} 4 & 2 \\ 2 & 1 \end{pmatrix}
$$
前提知識:
出題文が省略されすぎて個人的にはかなり戸惑ったが、フィッシャーの線形判別に使われる固有ベクトルについて以下に解説する。
まず、「ある方向にどのくらい分散が広まっているのか」を評価するのに、固有ベクトルで共分散ベクトルを挟む$${v^TSv}$$手法が使われる。
これは$${v^TS}$$で共分散ベクトルを固有ベクトル方向に変換した後、$${v^TS}$$に$${v}$$をかけることで量に変換すると解釈すれば腑に落ちる。
「クラス間共分散がある方向にどのくらい広まっているか」を評価するには$${v^TS_Bv}$$を、「クラス内共分散がある方向にどのくらい広まっているか」を評価するには$${v^TS_Wv}$$を見れば良い。
フィッシャーの線形判別はこの性質を利用しクラス間共分散が大きくクラス内共分散が小さくなるような固有ベクトルを見つけることを一つの目的としているので、以下の式$${J(v)}$$を扱う。
$$
J(v) = \frac{v^T S_b v}{v^T S_w v}
$$
この$${J(v)}$$について、$${v}$$を求めるために制約を設けてラグランジュ未定乗法で解く。要するに命題は以下のようになる。
$$
Maximize J(v) = \frac{v^T S_b v}{v^T S_w v} \\
subject to v^TS_Wv=1
$$
ラグランジュ関数は以下になる。
$$
L(v,λ)=v^TS_Bv−λ(v^TS_Wv−1)
$$
次に、ラグランジュ関数を最大化するために、ベクトル$${v}$$で微分してゼロになる条件を求める。
$$
\frac{\partial \mathcal{L}}{\partial v} = 2 S_b v - 2 \lambda S_w v = 0
$$
これを解くと、
$$
S_w^{−1}S_Bv=λv
$$
という固有値問題に落ち着く。
解法:
$${S_w^{−1}S_B}$$を計算する。
$$
A = S_w^{−1}S_B = \frac{1}{8}\begin{pmatrix} 3 & -2 \\ -2 & 4 \end{pmatrix}\begin{pmatrix} 4 & 2 \\ 2 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 1/2 \\ 0 & 0 \end{pmatrix}
$$
固有値は特性方程式を利用し、
$$
det(A - λI) = λ(λ-1) = 0
$$
λ≠0となるλは1である。