最適輸送理論を活用した情報幾何学・システム生物学で知られる、
東大の伊藤先生の論文についての、私的なメモです( *ˊᵕˋ* )
タイトルのとおり情報幾何(最適輸送)、非平衡熱力学・統計力学、統計的機械学習の分野を繋ぐ、分かりやすい論文ですので、興味のある方は是非ご一読ください( ⸝⸝•ᴗ•⸝⸝ )
特に、物理学には詳しいけど、
確率統計(特に確率過程と推定統計学、応用統計学)と
情報理論(様々な情報量・エントロピーと確率との間の関係性、信号理論、情報圧縮など)については詳しくない方や、
エントロピーや情報量と物理量との間の関係性がよくわかっていない※、
そういう方にはさらにオススメです(ง'̀-'́)ง
(【ギブス測度】と【ラグランジュの未定乗数法】と【温度】
ある物理量の【座標】と、その【変化速度】【波数】
【座標】としての【自己情報量】と、その【変化速度】【波数】としてのシャノン【エントロピー】)
以下、抜粋とコメント
(コメント)
→最小エントロピー生成から離れる、過剰エントロピー生成が存在する場合は、Bures=Wasserstein計量のような【対称な】【計量】ではなく、カルバックライブラー情報量での【非対称な】【発散】になっていて、どれだけ【非対称なのか(の度合・濃度。順過程確率と逆過程確率との間に差がある非平衡系)】が、過剰エントロピー生成と関係しているのかな?
通常は最大エントロピー原理や、情報熱力学第二法則などによって【対象な】計量になるはずなのに 【非対称な】発散になっている場合は、何か(計量を非対称にするような原因となる)余分な【情報量】をこの系が持っていて、この余分な情報量も、情報熱力学第二法則に従って散逸するときに、これが【過剰エントロピー生成】として測定されるのかな?
なので、元々、Bures=Wasserstein計量のように【対称な】計量になってしまっている場合は、この系は【余分な情報量】持っていないので、 過剰エントロピー生成は常に0になったりする(常に測地線でしかダイナミクスが存在しない)のかな?
※なので機械学習では、その【余分な情報量】を復元したり、【特徴 / 秩序 / 非対称度合 / 位相幾何情報】として検出したりできるのかな?
→新しく相関関数をつくって、2つのパラメータの間の【相関】を定義する、というのは、素粒子物理学を始めとした、様々な物理学理論でも、マクロな応用統計学の分野でも良く用いられますね( *ˊᵕˋ* )
→これは非常にありがたいですよね( *ˊᵕˋ* )
個人的には、確率過程での理解の方が分かりやすいので、非常に助かります( ⸝⸝•ᴗ•⸝⸝ )
量子力学での(量子速度限界を単位時間とした)確率過程のダイナミクスや、その情報幾何的解釈、量子計量・情報計量を考える上でも、とても参考になります(ง'̀-'́)ง
→これも根っこが、「クラメールラオの情報不等式」に由来していて、2つのパラメータの同時推定には、必ず【1ビット(1/2)分のエントロピー】(フィッシャー情報量の「逆数」・相対エントロピー・逆温度)が存在する、ということに由来しているのかな?
【統計学奥義】でのAICとBICの同時最適化不可能性とも関係しているのかな?
→これは、位相幾何情報(画像や音声など、情報源の特徴・秩序パラメータなど)を復元する(信号理論的な文脈で)ことができる、ということでもあるのかな?
その位相幾何情報の源の情報量が、
本来【対称な計量】であるはずのBures = Wasserstein計量を歪めて、【非対称な発散】であるカルバックライブラー情報量になっているのかな?
→これも【統計学奥義】でのAICとBICの同時最適化不可能性とも関係しているのかな?
→KLDは【推定誤差】として機能することもあれば、
本来対称であるはずの計量を【歪めて非対称な発散にする原因】
として機能することもある、という側面もあるのかな?
→この【情報幾何学における射影】【Kullback-Leibler発散の最小化問題】については、他の論文で分かりやすく解説されているので、興味がある方は、先生の過去のツイートをご覧ください( *ˊᵕˋ* )