エントロピーの凸なふるまい

エントロピーはいくつかの重要な性質をもっています。今回はそれらを簡単に確認していきたいと思います。

ある確率的イベントがn個の異なる結果k=1,･･･, nを確率pkで生起させる状況を想定しましょう。確率ゼロの結果が含まれていてもよいことにします。このような結果に対応するbit-number(確率の逆数の対数として定義される)は発散してしまいますが、エントロピーを考える上では積のかたちpk･log(pk)で現れるので気にせずともよいのです。つまり

からそのような結果のエントロピーへの寄与はゼロだとすればいいのです。

ここで凸関数f(x)の重要な性質

を思い出すと(イメージは下図)

帰納的に以下のことが示せます:

これをそのままエントロピーの表式に適用すれば、

となることがわかります。等号は実際にすべての結果が等確率で起こるとき実現するので、異なる結果の総数に対応するbit-numberがエントロピーの取りうる最大値となることがわかります。

さらにこの最大値は、イベントが最も不確かであるときに対応しているといえます。

逆に、ある特定の結果が確実に起こり、その他の結果が出る確率がゼロであるなら、エントロピーは最小値ゼロをとることがわかります。

以上から、エントロピーは対応する確率分布{pk}, k=1,･･･, nの非一様性を特徴づける量ともいえそうです。

あるイベントの異なる確率分布のエントロピーを比較したいとき便利なのが、相対エントロピーです。これはまた次回にお話ししたいと思います。