三角不等式は本質じゃないんだろうな

幾何学に三角不等式と呼ばれるものがある．

三角不等式 - Wikipedia

平面上にA，B，Cと点があったときに，AからBに行くことを考える．このとき，A→Bへダイレクトに向かう時と，A→C→BとCを経由して向かう時では，Cを経由した方が総距離が長くなる，ということを言っている．まあ，直感的にも当たり前の話．遠回りしてるわけだから．．．

もうひとつ，ピタゴラスの定理（三平方の定理）と呼ばれるものがある．上の話で△ABCが直角三角形を形成していてABがその斜辺になっているとき，$${\text{ABの距離}^2 = \text{ACの距離}^2 + \text{CBの距離}^2}$$となる，というやつ．

さて話は飛躍し，統計学だったり情報幾何学だったりへ．統計学にはカルバック・ライブラー・ダイバージェンス（KL）と呼ばれるものがある．これは2つの確率分布同士を比較する際に用いられる量で，確率密度関数を$${p}$$と$${q}$$とすると以下で定義される：

$${\text{KL}(p||q) = \int p(x) \log{\frac{p(x)}{q(x)}}dx}$$

ここでKLは距離の公理のうち，対称性と三角不等式を満たさないとよく言われる．対称性とはKLの式で$${p}$$と$${q}$$をひっくり返すと値が変わるということ．

距離空間 - Wikipedia

対称性については情報のエンコーディングという観点から説明ができると思うのだけれど，今回は三角不等式について考えたことを記したい．

冒頭の三角不等式は平面上の話だった．では曲がった空間ではどうなるか．

次のように考えてみる．依然として地点A，B，Cがあって，AからBに向かうことを考える．ここで地点A，B，C周辺の地図を確認して地図上でのAからBの最短距離を調べる．OK．ついでにCを経由することも考えて，AからCの最短距離とCからBの最短距離も調べておく．これもOK．ではまずAからBに地図上の最短距離で進むことにしよう．おっと，道中にすごい傾斜があって意外と長い距離を進むことになった．それではCを経由するとどうなるか．この経由するルートに傾斜はなく，割とスムーズにBへ到着することができた．結果として，Cを経由した方が総距離が短かったようだ．

このように，空間が曲がっている（今回の場合は傾斜がある）場合，三角不等式は成り立たないことがある．つまり，三角不等式は地図上のように平面上な，ユークリッド幾何学における地点間の長さを考える場合には成り立つようなものであると考えられる．ただ，曲がった空間（非ユークリッド幾何学）において三角不等式を満たす距離を導入できないわけではないので，距離の公理自体がユークリッド幾何学のものではない．

確率分布の空間（統計多様体）を考えたとき，それは通常曲がっている．だから，KLが三角不等式を満たさないことは別に問題にならないのかもしれない．しかし，非ユークリッド幾何学にも距離の公理を満たす距離を導入できるなら，なぜそっちを使わないの？となる．

曲がった空間における直角とはといった諸々を定義したうえで．実はKLはピタゴラスの定理を満たす．三角不等式は満たさないけど，ピタゴラスの定理を満たすのである．それで冒頭のピタゴラスの定理を改めて見てみると，関連する要素が各地点間の距離の2乗という形で入っている．その意味でKLは平面でいうところの距離の2乗のようなものである．

平面上ではピタゴラスの定理の結果に平方根をとれば距離の単位に直すことができる．でも，ピタゴラスの定理自体は平方根をとったものではなく，2乗のままで関連要素が入っている．KLに平方根をとっても依然として距離の公理は満たさないけど，ピタゴラスの定理は満たす．

このように考えると，何かと何かを測るときに三角不等式は本質ではないのかもしれない．