アセットマネージャーのためのファイナンス機械学習：ガウス分布関数を持つ確率変数のエントロピー

アセットマネージャーのためのファイナンス機械学習

確率変数が連続の場合、エントロピーや情報量を扱うには、連続値を離散化する必要がある。
　確率分布関数$${f_X[x]}$$を持つ連続確率変数$${X}$$のシャノンエントロピーの定義は、
$${H[X]=-\displaystyle{\int f_X[x]\log\left[ f_X[x] \right]dx }}$$
と与えられ、ガウス分布に従う場合は以下のように計算できる。
$${f_X[x]=\displaystyle{\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[ -\frac{(x-\mu)^2}{2\sigma^2}\right]}}$$ 、$${\mu=0}$$として、

$${H[X]=-\displaystyle{\int^{+\infty}_{-\infty} \frac{1}{\sqrt{2\pi\sigma^2}}e^{ -\frac{x^2}{2\sigma^2}}( -\frac{1}{2} \log 2\pi\sigma^2 - \frac{x^2}{2\sigma^2} )dx }}$$

$${=\displaystyle{\frac{\log 2\pi\sigma}{2\sqrt{2\pi\sigma^2}} \int^{+\infty}_{-\infty}e^{-\frac{x^2}{2\sigma^2}}dx +\frac{1}{\sqrt{2\pi\sigma^2}}\int^{+\infty}_{-\infty}\frac{x^2}{2\sigma^2}e^{-\frac{x^2}{2\sigma^2}}dx}}$$

第一項目は普通のガウス積分で、$${\displaystyle{ \int^{+\infty}_{-\infty}e^{-\frac{x^2}{2\sigma^2}}dx=\sqrt{2\pi\sigma^2}}}$$

第二項目では、$${x\to\sqrt{2\sigma^2}t}$$とおいて、$${dx\to\sqrt{2\sigma^2}dt}$$から、
$${=\displaystyle{ \frac{1}{2}\log 2\pi\sigma + \frac{\sqrt{2\sigma^2}}{\sqrt{2\pi\sigma^2}} \int^{+\infty}_{-\infty}t^2e^{-t^2}dt}}$$

$${=\displaystyle{ \frac{1}{2}\log 2\pi\sigma +\frac{1}{\sqrt{\pi}} \left( -\left[ \frac{t}{2} e^{-t^2}\right]^{+\infty}_{-\infty} + \frac{1}{2}\int^{\infty}_{\infty} e^{-t^2}dt \right) }}$$

$${=\displaystyle{ \frac{1}{2}\log 2\pi\sigma + \frac{1}{2}= \frac{1}{2}\log 2\pi\sigma e}}$$