アセットマネージャーのためのファイナンス機械学習：同じ確率空間上にある確率変数の情報量

アセットマネージャーのためのファイナンス機械学習

同じ確率空間上にある二つの離散確率分布を$${p,q}$$とする。
$${p}$$と$${q}$$間のKullback-leibler(KL)情報量は以下のように定義される。
$${D_{KL}[p\|q]=-\displaystyle{\Sigma_{x\in S_x}p[x]\log\left[\frac{q[x]}{p[x]}\right]=\Sigma_{x\in S_x}p[x]\log\left[\frac{p[x]}{q[x]}\right]}}$$
これは、$${p}$$がどれだけ$${q}$$から離れているかを示しているが、距離測度ではない。明らかに、$${D_{KL}[p\|q]\ne D_{KL}[q\|p]}$$である。

$${p}$$と$${q}$$のクロスエントロピーの定義は以下のとおりである。
$${H_C[p\|q]=-\displaystyle{\Sigma_{x\in S_x}p[x]\log[q[x]]} = H[X] + D_{KL}[p\|q]}$$
　このクロスエントロピーは、本来の$${X}$$の分布$${p}$$とは違う$${q}$$の分布を使った場合の$${X}$$の不確実性を図るのに使われる。