エントロピー

確率的に起こるイベントがあって、その結果(サイコロをふるイベントならサイコロの目)がどれほどの情報量をもっているかを考えてみます。

サハラのある地域が明日晴れる確率がわかっていたとして、明日雨が降るという情報を得たとき、明日晴れるという情報を得るよりも価値がある(情報量が多い)といえそうです。

サイコロの例ならば、ニュートン力学で完璧にサイコロ=立方体かつ剛体の運動が記述できるとすれば、最初の状態が定まると、その後の運動は決定することになります。(実際は初期状態を完璧に測定することはできないし、かつ量子力学的な不確定性もある。)

いまは話を簡略化して、可能なサイコロの初期状態はN個あり、どの初期状態も同様に確からしく(ひさしぶりにこの表現使った)起こりうるとします。

各々の状態に６つの目のどれかが対応していることになります。ある特定の目に対応する初期状態の集合をその目のベイスンと専門用語ではいいます。(ベイスン構造の特徴づけが私の専門です。)

さて、ある特定の初期状態を私が思い浮かべているとします。あなたはyes/noのみが回答として許される質問を何回すれば、この初期状態を当てることができるでしょうか。N個の要素をもつ集合を次々と二分割してゆけば、大体logN/log2程度の分割回数で十分であることがわかります(下図参照)。対数の底を２にとれば、

logN

が初期状態の特定に必要な情報量となります。この量をbit-numberといいます。

ある特定の状態を決めるのに必要な情報量は、サイコロの特定の目のベイスンを決定するのに必要な情報量に、その目のベイスンに対応するbit-numberを足し合わせたものに等しいとするのが自然です。すると１の目がでる確率をp1としたとき、この結果がもつ情報量αは

となります。一般にある結果が出る確率がpであるとき、その発生にともなう情報量は

log(1/p)

と定義します。これを見ると、発生確率が低い結果がより大きな情報を持っているといえます。

あるイベントがn個の異なる結果をもち、結果kの発生する確率がpkだとすると、平均として、

がこのイベントの生む情報となります。信号の伝達の統計的理論において、シャノンが(再)導入した、物理的にも非常に重要な量です。これをエントロピーといい、確率的イベントを情報源とみたときの性質を決定します。

次回はこのエントロピーの性質をみていきます。

参考文献

[1] 『通信の数学的理論』、クロード・E.シャノン, ワレン・ウィーバー、植松友彦訳、ちくま学芸文庫 (2009).

[2] "Thermodynamics of Chaotic Systems," C.Beck and F.Schlogl, Cambridge University Press, Cambridge (1993).