情報理論(第６回　結合確率、条件付き確率、周辺確率、ベイズのルール)

阿坂先生
すでに情報の量やエントロピーを計算するために確率を使ってきたが、確率についてもう少し勉強しておこう。

桂香助教
具体的には結合確率、条件付き確率、周辺確率、ベイズのルールを勉強するわ。確率の基礎知識は知っている人も多いと思うので、知っている人はここは飛ばしても構わないわ。知らない人や知識が怪しい人は勉強していってね。

麦わら君
ほとんど、忘れたのでイチから勉強したいです。

桂香助教
確率についてだけど、一般的な形で示すと抽象的になってしまうので、一貫して具体例で説明していくわ。一般的な数式での表し方や厳密さを知りたい場合は確率の教科書を見てね。

阿坂先生
確率はの勉強はあーでもない、こーでもないと考えることが重要なんじゃ。そのうち、だんだんと感覚が掴めてくる。今回は、具体例で考えてみる。その具体例は天気の確率としよう。まず、東京と横浜の２つの天気を考え、「晴」と「雨」の2通りしかないものとする。このとき、P(東晴）は東京が晴れる確率と表すことにする。同様に

　P(東雨)：　東京が雨の確率
　P(横晴)：　横浜が晴の確率
　P(横雨)：　横浜が雨の確率

とする。

麦わら君
はいはい。これは分かります。

桂香助教
確率なので次が言えるわ。

P(東晴）＋P(東雨）＝１
P(横晴）＋P(横雨）＝１

麦わら君
はい。これも分かります。天気は「晴」と「雨」の2種類しかないので、東京か横浜で、それぞれの確率を足せば１になります。確率が１だから必ずどっちかにはなるってことですね。

阿坂先生
上記は東京と横浜をバラバラに考えていたが、東京が「晴」で同時に横浜も「晴」の確率を考えてみる。これをP(東晴,横晴）と書いて結合確率と呼ぶ。他のものをすべて書き出すと以下になるな。

　P(東晴,横雨)：　東京が晴かつ横浜が雨の確率
　P(東雨,横晴)：　東京が雨かつ横浜が晴の確率
　P(東雨,横雨)：　東京が雨かつ横浜が雨の確率

桂香助教
上記の結合確率は以下の関係になるわ。

P(東晴,横晴)＋P(東晴,横雨)＋P(東雨,横晴)＋P(東雨,横雨)＝１

麦わら君
確かに。東京と横浜の晴と雨の組み合わせについて全パターンを書き出せば、その確率の和は１になりますね。当たり前と言えば当たり前ですけど。

阿坂先生
では結合確率から東京が晴れの確率、つまり、P(東晴）を計算するにはどうすれば良いかな？

麦わら君
それは・・・

P(東晴）＝P(東晴,横晴)＋P(東晴,横雨)

ですかね。

桂香助教

そのとおりよ。東京が晴れで横浜が晴の場合の確率P(東晴,横晴)と雨の場合P(東晴,横雨)の確率を足せば横浜の影響がなくなる。横浜の天気に無関係で東京が晴の確率が求まる。結合確率から普通の確率にしたこの普通の確率を周辺確率というのよ。この計算を結合確率を周辺化ともいうわね。

麦わら君
普通の確率なのに周辺確率というのは変ですね。

桂香助教
結合確率との関係で周辺確率と呼んでいるのよ。

阿坂先生
結合確率があればすべてのパターンの確率が分かるが、東京の天気の確率だけが知りたい、とか、横浜の天気の確率だけが知りたい場合は、要らない方の横浜又は東京の確率が邪魔になるから消してしまうのが周辺化じゃ。そして、周辺化された確率を周辺確率という。

桂香助教
繰り返しになるけど、単なる確率なんだけど、結合確率と組み合わせて考える場合は特別な名前がついて周辺確率というだけよ。

阿坂先生
ところで、P(東晴,横雨)＝P(東晴)×P(横雨）と言えるかな？

麦わら君
うーん。どうかな。東京の天気と横浜の天気は似ているから単純にそれぞれの確率をかけちゃうのはマズイ気がします。東京が晴れればだいたい横浜も晴れるから、確率同士を単純にかけるのは乱暴な気がします。

桂香助教
そうだね。具体的な数字を考えてみよう。

　P(東晴) ＝　0.6
　P(東雨)  =　0.4
　P(横晴) =    0.5
　P(横雨) =　0.5

このとき、P(東晴,横雨)＝P(東晴)×P(横雨）のような形で計算できるとすると

　P(東晴,横晴) =　0.3
　P(東晴,横雨) =　0.3
　P(東雨,横晴) =　0.2
　P(東雨,横雨) =　0.2

麦わら君
天気が似ているとすると、P(東晴,横晴)やP(東雨,横雨)の確率は高いはずだけどそうなってないね。

阿坂先生
そうじゃ、一般的にP(X,Y)＝P(X)×P(Y)が言えるときXとYは独立であるという。独立とはXとYが無関係なことをいう。一方が他方の確率に影響を与えない関係じゃ。独立な例を何か上げられるかな？

麦わら君
２つのコインがある場合のコイントスの例なんかそうですかね。Xを1つ目のコインの裏表、Yを２つのコインの裏表。こんな場合は

P(コイン１裏,コイン2表)＝P(コイン１裏)×P(コイン２表)

は言えますね。これは独立な例ですね。

桂香助教
2個のサイコロ投げはそうね。天気の例では、東京とニューヨークの天気にすれば独立と言ってもいいかも。

P(東晴,ニューヨーク雨)=P(東晴)×P(ニューヨーク雨)

が成り立ちそう。東京が晴れかつニューヨークが雨の確率は東京が晴れの確率×ニュヨークが雨の確率と言っても問題ないわね。

麦わら君
地球の大気の巡りを考えると、めちゃくちゃ微妙に２つの天気は関連している気もしなくもないですが・・・まぁ、独立いっても良いと思います。

阿坂先生
なぜ独立を考えるかというと次の条件付き確率の考え方をマスターするためじゃ。条件付き確率とは、例えば横浜が晴のとき東京が晴の確率じゃ。書き方としてはP(東晴|横晴）と書く。

麦わら君
なるほど。横浜が晴なら東京も晴の確率が高いと思います。こんな状況を表現する方法なんですね。逆にP(東晴|横雨）ならこんな状況はあまり起こらない。

桂香助教
ではP(東晴|ニューヨーク晴）はどうかしら？ニューヨークが晴れているとき、東京も晴の確率は？

麦わら君
ん？これは？東京の天気はニューヨークの天気に無関係＝独立だから

P(東晴|ニューヨーク晴）＝P(東晴）　　・・・（１）

と書いても良いんじゃない？

阿坂先生
そのとおり、２つが独立な場合は（１）が成り立つ。

桂香助教
では結合確率P(東晴,横晴）、条件付き確率P(東晴|横晴）、周辺確率P（横晴）の関係を考えてみて！

麦わら君
うーん。こうですか？

結合確率P(東晴,横晴）＝ 条件付き確率P(東晴|横晴）×　周辺確率P（横晴）

「横浜が晴の場合で東京が晴の確率」に「横浜が晴の確率」をかければ「東京が晴かつ横浜も晴の確率」が得られる。

阿坂先生
そのとおりじゃ。難しいかの？天気の例じゃなくて様々な例を考えてこの関係が成り立つかどうか考察してほしい。例えば、熱のある確率と風邪をひいている確率の結合確率なんかを考えてみると良いぞ。そして、この関係をベイズのルールという。ベイズのルールを使えば（１）も正しいことが証明できる。

麦わら君
うーん。こうですか？

P(東晴,ニューヨーク晴）＝ P(東晴|ニューヨーク晴)×P(ニューヨーク晴）

P(東晴,ニューヨーク晴）について、東京とニューヨークは独立なので

P(東晴)×P(ニューヨーク晴）＝ P(東晴|ニューヨーク晴)×P(ニューヨーク晴）
P(東晴)＝ P(東晴|ニューヨーク晴)

となって（１）と同じになった。

桂香助教
そうそう。このベイズのルールは超重要だから絶対に覚えておいてね。

阿坂先生
今回は長くなってしまったのでここまでとしよう。次回は具体的な数値を使って結合確率、条件付き確率、周辺確率を計算してみて理解を深めるぞい。