はだかの王様 クローﾄﾞ・シャノン３ フォン・ノイマンが教えたこと
・シャノンではなく、読者の問題
本稿はクロード・シャノンをはだかの王様に見立てている。アンデルセンの「はだかの王様」は、王様がはだかであることよりも、取り巻きや一般人たちが、裸の王様をみてもそれを口にできなかったことを問題にする童話である。
シャノンの著作に、「エントロピーは情報量であって熱力学的ではない」と書いてあることが問題ではなく、なぜシャノンよりも後世を生きる学者や研究者がシャノンの言葉を真に受けて、誤りをそのまま鵜呑みにして受け入れるのかということが問題なのだ。
・フォン・ノイマンが書き残したこと
情報理論について数学者のジョン・フォン・ノイマンが書き残した文章がある。
もし情報理論というものが見つけられたときには、それはすでに存在している2つの理論と似たものだろう。それは形式論理学と熱力学である。情報理論という新しい理論が形式論理学のようなものであることは驚くに値しない。しかし、それが熱力学と共通のものをたくさんもつことは驚くべきことである。
熱力学的な概念が、この新しい情報理論に入るだろう。情報にはエントロピーと似ている強い兆候があり、徐々に劣化するエントロピーの過程が、情報の処理における劣化過程と対応している。オートマトンが作動する環境を、熱力学的な環境の定義のように統計的に表現しないことには、オートマトンの機能あるいは効率について規定することはできない。このオートマトンの作動環境の統計的変数は、もちろん、通常の熱力学の温度パラメータほど単純なものではないが、性質的には似たようなものであろう。
また、コンピュータを製造した経験から明らかなことは、計算機の決定的特性にはバランス(つりあい)の要素が含まれる。さまざまな部品間の速度のバランス、ある部品の速度と別の部品の大きさのバランス、さらには2つの部品の速度比と別の部品の大きさのバランスといったものだ。（略）これらすべての要求事項は、効率のために熱力学的の分野で行なうバランス要求と似ている。ある部品が別の部品よりも速すぎるオートマトンや、あるいは記憶装置が小さすぎる場合や、あるひとつの記憶装置の大きさに対して2つの記憶装置の速度比が大きすぎる場合など、部品間の異常に大きな温度差のために正常に作動しない熱機関によく似ている。これ以上詳細については立ち入らないが、このような熱力学的な関連がおそらくよくあてはまるだろう。（von Neumann, J. 自己増殖オートマトンの理論 1975 岩波書店)
シャノンの「通信の数学的理論」よりも、詳しく丁寧に情報理論と熱力学やエントロピーの関係が語られている。両方を読んで、ノイマンの説明のほうがわかりやすいし、受け入れやすいと、私は思った。
ところが、情報理論研究者で両方を読み比べて丁寧に比較検討した人はいない。私がそれを試みて、電子情報通信学会の情報理論研究会にもっていったところ、なんと基本概念を論ずるのは技術的ではない、スコープ外であるというわけのわからない理由をつけて「出入り禁止」扱いになり、その状態が7年以上続いている。（苦笑）
・ シャノンの矛盾を謎解きする
エントロピーは「情報源から得られる1 記号当りの情報量」であり、熱力学的なエントロピー概念とは無関係であるとシャノンは言う。
なぜ彼は情報量を「エントロピー」という言葉で表現するようになったのか。シャノンの教え子であり、物理学者のミロン・トライバスによれば、シャノンは1961年に行なわれた彼との個人的な会話の中で、「ジョン・フォン・ノイマンの助言をもらった」と語った。フォン・ノイマンは、「多くの人はエントロピーが何かを知らないため、この言葉を使って議論すれば、必ず議論に勝てる」と言ったそうだ。
ところが、1982年のIEEEのインタヴューでシャノンはトライバスとの会話を覚えていないと語った。「どこでそのアイデアを手に入れたかわからない。誰かが教えてくれたと思うが、いずれにせよ、フォン・ノイマンと自分の間で起きなかったことだけは確かだ」
シャノンの2つの発言は矛盾する。もし1961年の発言通りに、フォン・ノイマンに教えてもらったとすると、情報理論は形式論理学と熱力学という2つの学問を合わせたものになるだろうというフォン・ノイマンの予言と矛盾する。シャノンが、別の誰かにエントロピーを教わったのなら、具体的にその人物の名前を挙げればよいのだが、そういうことはしていない。
・ シャノンとノイマンの間で起きたことの謎解き
シャノンとノイマンの間で何が起きたのか。謎は２つある。
①もしシャノンがノイマンから教わったとすれば、なぜノイマンの理論と違っているのか。
②シャノンはどうして「誰かに教えてもらったが、ノイマンではなかった」と断言できたのか。
この2つの謎を解く鍵は、米国議会図書館の手稿室で得られた。そこにはノイマンが1949年12月にイリノイ大学で行った5回の連続講演のタイプ打ち記録が残されていた。なんと、ノイマンは1949年12月の時点で、エントロピーをマックスウェル流の「情報量」として説明していたのだ。
1961年にシャノンが語った「ノイマンに教わった」ということは正しかったようだ。1948年にノイマンから教わったとすれば、エントロピーを情報量として習ったのだろう。
ノイマンはこの講演録を一日も早く出版したいというイリノイ大学出版会からの督促されたが、出版させなかった。なぜなら、自分の概念の誤り（エントロピーは情報量である）に気づいたからだ。その後、それを訂正したものを別の出版社から出版させた。
おそらく、ノイマンはシャノンに対して、エントロピー概念を情報量から熱力学的概念（回線上の熱雑音の影響で生じる歪）に正すように連絡をした。ところがシャノンはその連絡を無視して、訂正を加えなかった。
なぜなら、実際に原稿を書いたのはシャノン本人ではなく、ゴーストライターのジョン・ロビンソン・ピアスだったからだ。ピアスがシャノンのために作業したことを匂わせる発言は、IEEEのピアスのオーラルヒストリーにある。
ピアス：かつてクロード・シャノンに、彼は私の部下ではなかったけど非常に近い関係にあったので、「君は何かするべきだ」と言った。彼は「べき? それはどういう意味ですか」と言った。1年くらいして彼は僕に「僕は何かするべきだ(I should do something.)」と言った。僕が「べき? それはどういう意味かね(Should? What does that mean?)」って言うと、彼は「実際はあなたがやるのです(you really should)」(笑)
つまり、シャノンは、自分の代わりにピアスに仕事をすることを求めた。ピアスにゴーストライターをやるように指示したことをピアスはほのめかしているのだ。こういう事情だったから、シャノンは、ノイマンから誤り訂正の連絡を受けていたとしても、面倒くさくてピアスにつながなかったのだと思う。ささいな、どうでもよいことだと思ったのかもしれない。
実質シャノンは名前だけで、原稿を書いたのはピアスだったのだ。
私が調査した限り、アメリカ議会図書館に「通信の数学的理論」のシャノンの原稿は保管されていない。
だから1982年のインタヴューで、「誰かが教えてくれたと思うが、フォン・ノイマンと自分の間で起きなかったことだけは確かだ」と断言できたのだと、私は推理する。
これが、今日、情報理論のエントロピーが「情報量」であると言われていることの背景である。
天才数学者ノイマンですら間違えた「情報量」と「熱力学的歪」の関係を図に示してみよう。驚くべきことに、情報量も熱力学的概念だったことがわかる。
N1は、雑音による熱力学的な歪が少ないときに送信できる情報量が大きいことを示す。N4は、歪が多いときに送信できる情報量が少ないことを示す。情報量と熱力学的歪であるエントロピーはトレードオフの関係にあり、情報量も熱力学的に決定されるのだ。
ノイマンにならって、我々は情報理論の教科書を誤り訂正する必要がある。
後世を生きる我々は、先人の研究結果をそのまま真に受けるのではなく、先人の思考過程を追体験し、自分の頭で正しさを確認しながら、順を追って受け入れていくことで、更なる人類の進化を生み出すことになるだろう。