相互情報量の海で

イントロダクション

　以前の記事で、規則と探索について書いた。ネットワークから答えを導くためには、客観性の高いフィールドと、正確な規則が必要であり、それはもうまろやかな味わいで滑らかな舌触りと軽やかな歯ごたえはこれ何の話だっけ。

つまり

　停滞して迷走してもやもやしていたところ、ある記事を読んで、少し前に進めた気がしたという、誰に対してかわからないご報告。

※自分は全く学術的な思考はしておらず、独自解釈や突飛な発想が多分に含まれていると思われるので、以降の話は、話半分というか話一割くらいで眺めて頂けると幸いです。（間違ってるところがあれば教えて！）

　この記事、AIへの実装という視点から、相互情報量の最大化を図ることで効率の良い学習ができる、という話なんですが、この相互情報量というものが自分の考えてたことにうまくはまった感じがあるところで。

情報量の最大化

　まず、情報量が最大の状態を考えてみる。これは、「白い紙に描かれた何か」のようなもので、そこからすべての情報が読み取れるものの、そもそも何も規定されていない（※）ので、それだけでは何の意味も持っていない。情報量が最大というのは、「全てが読み取れる意味のないもの」というイメージになる。

※何も規定されていないと言いつつ、「白い紙」も「描かれた」も規定はしているのだけど、まあイメージの話ですので……。

相互情報量

　「白い紙に描かれた何か」という空前絶後の曖昧なものに、例えば「くだもの」という情報を追加すると、「白い紙に描かれたくだもの」となって、ちょっとイメージできるようになる。

相互情報量とは、この「くだもの」を知ったことで「白い紙に描かれた何か」から減った情報量のこと。

読み違えてなければきっとそう……。自信ないけど……。

規則と探索

　以前、自分が探索と言っていたものは、この「全てが読み取れる意味のないもの」に、規則を添加することで正しい出力が行われる仕組みについての話と同義だったのではないか、というのが今回ひらめいた点。

まとめ

　大枠は間違えてなかったけど、視点がズレてたからもやもやして停滞してたんかな、と。今回ピースが一つはまった感じがあるので、今後は、相互情報量の観点から色々考えていけたら良さそう、と思っているのでした。

　おしまい。