KLダイバージェンスの具体的な計算方法は？

序論 - 概要と重要性

KLダイバージェンス(Kullback-Leibler divergence)は、2つの確率分布の違いを数値化する指標として、機械学習や情報理論など様々な分野で非常に重要な役割を果たしています。この概念を理解することは、モデルの性能評価や最適化、教師なし学習などにおいて欠かせません。

KLダイバージェンスは、1つの確率分布P(x)が別の確率分布Q(x)をどの程度近似しているかを測る尺度です。具体的には、以下の式で定義されます。

$D_{KL}(P||Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$ [1]

D_{KL}(P||Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}       [1]

この値が小さいほど、P(x)とQ(x)は近い分布であることを示します。一方で、値が大きければ2つの分布は異なることがわかります。つまり、KLダイバージェンスを用いることで、2つの確率分布がどの程度似ているかを定量的に評価できるのです。

KLダイバージェンスの概念は、機械学習の様々な場面で活用されています。例えば、教師なしクラスタリングでは、データ点とクラスタ中心の分布のKLダイバージェンスを最小化することでクラスタリングを行います。また、変分オートエンコーダではKLダイバージェンスを正則化項として用いることで、より良い潜在変数の分布を見つけ出します。このように、KLダイバージェンスは確率分布を扱うさまざまな課題で重要な役割を果たします。

KLダイバージェンスの数学的定義

KLダイバージェンス(Kullback-Leibler divergence)は、2つの確率分布P(x)とQ(x)の間の"違い"を測る指標として定義されます。その数学的な定義式は以下の通りです。

D_{KL}(P||Q) = \int_{-\infty}^{\infty} P(x) \log \frac{P(x)}{Q(x)} dx  [19]

D_{KL}(P||Q) = \int_{-\infty}^{\infty} P(x) \log \frac{P(x)}{Q(x)} dx  [19]

ここで、P(x)を真の確率分布、Q(x)をそれを近似する確率分布とみなすと、KLダイバージェンスはP(x)からQ(x)への情報ロスを表す指標となります。つまり、Q(x)がP(x)をどれだけ正確に近似できているかを数値化しているのです。

KLダイバージェンスには2つの重要な性質があります。

非負性:

$D_{KL}(P||Q) \ge 0$

この性質は、P(x)=Q(x)の場合にのみD_{KL}(P||Q)=0となり、それ以外では正の値をとることを意味します。これは情報エントロピーの性質から導かれ[19]、P(x)とQ(x)が異なれば必ず情報ロスが発生することを示唆しています。

非対称性:

$D_{KL}(P||Q) \neq D_{KL}(Q||P)$

この性質は、KLダイバージェンスの値が確率分布の順序によって変わることを意味しています。つまり、P(x)からQ(x)への情報ロスとQ(x)からP(x)への情報ロスは一般に異なるのです。これは、KLダイバージェンスが真の距離の定義を満たさないことを示しています。

このように、KLダイバージェンスの性質を考慮すると、確率分布の類似度を評価する際の有用な指標となります。しかし同時に、真の距離ではないことにも留意が必要です。統計的推定などでは、KLダイバージェンスの値だけでなく、その性質を十分に理解した上で使用することが重要となります[19]。

連続確率分布 - KLダイバージェンスの計算手順

正規分布N(μ1, σ1^2)とN(μ2, σ2^2)の2つの確率分布に対するKLダイバージェンスの計算例を示します。

KLダイバージェンスの定義から、

D_{KL}(N(μ1, σ1^2) || N(μ2, σ2^2)) = ∫_{-∞}^{∞} N(μ1, σ1^2)(x) log(N(μ1, σ1^2)(x) / N(μ2, σ2^2)(x)) dx

となります。ここで、正規分布の確率密度関数は以下のように表されます。

N(μ, σ^2)(x) = (1 / (sqrt(2πσ^2))) * exp(-(x - μ)^2 / (2σ^2))

この式を上の積分に代入し、計算を進めていきます。

まず分子と分母を別々に計算します。

log(N(μ1, σ1^2)(x)) = -(1/2)log(2πσ1^2) - (x - μ1)^2 / (2σ1^2)

log(N(μ1, σ1^2)(x)) = -(1/2)log(2πσ1^2) - (x - μ1)^2 / (2σ1^2)

log(N(μ2, σ2^2)(x)) = -(1/2)log(2πσ2^2) - (x - μ2)^2 / (2σ2^2)

これらを代入すると、

D_{KL}(N(μ1, σ1^2) || N(μ2, σ2^2)) = ∫_{-∞}^{∞} N(μ1, σ1^2)(x) [-(1/2)log(2πσ1^2) - (x - μ1)^2 / (2σ1^2) + (1/2)log(2πσ2^2) + (x - μ2)^2 / (2σ2^2)] dx

D_{KL}(N(μ1, σ1^2) || N(μ2, σ2^2)) = ∫_{-∞}^{∞} N(μ1, σ1^2)(x) [-(1/2)log(2πσ1^2) - (x - μ1)^2 / (2σ1^2) + (1/2)log(2πσ2^2) + (x - μ2)^2 / (2σ2^2)] dx

= (1/2)log(σ2^2 / σ1^2) + (σ1^2 + (μ1 - μ2)^2) / (2σ2^2) - 1/2 [37]

上記の解は、ガウス分布のKLダイバージェンスの解析解として知られています。この式から、2つの正規分布の平均と分散がどの程度異なるかがKLダイバージェンスの値に反映されていることがわかります。

ただし、実際の計算においては、上記の積分を解析的に解くことは難しい場合が多く、数値積分などの近似計算が必要になります。特に多次元の場合はさらに計算が複雑になるため、効率的な数値計算手法を用いる必要があります[45]。

このように、連続確率分布におけるKLダイバージェンスの計算は理論と実装の両面から重要な問題となります。

離散確率分布 - 計算例と要点

離散確率分布におけるKLダイバージェンスの計算例として、カテゴリカル分布の場合を見てみましょう。P(x)とQ(x)をそれぞれ真の分布と近似分布とすると、KLダイバージェンスは以下のように計算されます。

KL(P||Q) = Σx P(x) log(P(x)/Q(x))

例えば、P(x=1)=0.4、P(x=2)=0.6、Q(x=1)=0.3、Q(x=2)=0.7の場合、

KL(P||Q) = 0.4 * log(0.4/0.3) + 0.6 * log(0.6/0.7)= 0.4 * 0.288 + 0.6 * (-0.154)= 0.115 - 0.092 = 0.023

このように、各xについて対数の値をP(x)で重み付け平均をとることで、KLダイバージェンスを計算できます。

ただし注意が必要なのは、確率が0の場合の取り扱いです。Q(x)=0の時、log(P(x)/Q(x))は負の無限大となるため、そのままでは計算できません。このような場合は、P(x)log(P(x)/Q(x))の項を0と約束することで、無限大を避けることができます[2]。

また、ベルヌーイ分布の場合も同様に計算できます。P(x=1)=p、P(x=0)=1-p、Q(x=1)=q、Q(x=0)=1-qとすると、

KL(P||Q) = p*log(p/q) + (1-p)*log((1-p)/(1-q))

となります。確率が0の場合は上と同様の処理を行います。このように、KLダイバージェンスは離散分布に対しても計算可能で、モデルの評価などに活用できる重要な指標です[56]。

KLダイバージェンスの性質と注意点

KLダイバージェンスは、2つの確率分布の"違い"を定量化する有用な指標ですが、いくつかの重要な性質があり、その適用には注意が必要です。

まず、KLダイバージェンスは非負の値をとります[18]。これは、2つの分布が完全に一致する場合にのみ0となり、それ以外では必ず正の値をとることを意味しています。この性質は、分布間に情報ロスが発生することを示唆しています。

次に、KLダイバージェンスは非対称性を持ちます。つまり、KL(P||Q) ≠ KL(Q||P)となります[18]。この性質は、KLダイバージェンスが真の"距離"の定義を満たさないことを意味しています。したがって、KLダイバージェンスの値を解釈する際は、分布の順序に注意を払う必要があります。

さらに、離散確率分布においては、確率が0の場合の取り扱いにも気をつける必要があります[65]。log(P(x)/Q(x))の計算で、Q(x)=0となると無限大が発生してしまうためです。このような場合は、P(x)log(P(x)/Q(x))の項を0と約束することで対処できます。

以上のように、KLダイバージェンスには重要な性質があり、単に数値を鵜呑みにするのではなく、適切な解釈と注意深い取り扱いが不可欠です。特に非対称性は、KLダイバージェンスを使用する際の混乱を招く可能性があるため、注意が必要です。KLダイバージェンスは強力な指標ですが、その性質を十分理解した上で目的に合った適切な使い方をする必要があります。

機械学習における応用 - モデル評価と最適化

機械学習において、KLダイバージェンスはモデルの評価と最適化に広く利用されています。KLダイバージェンスは、モデルの出力分布P(x)と真の分布Q(x)の乖離を測る指標です[18]。モデルの出力分布と真の分布が近ければ、KLダイバージェンスの値は小さくなります。したがって、KLダイバージェンスを最小化することで、より真の分布に近い出力分布を持つモデルを学習できます。

特に変分オートエンコーダ(VAE)では、KLダイバージェンスが重要な役割を果たしています。VAEでは入力データxの潜在変数zの分布q(z|x)を推定し、その分布が事前分布p(z)に近づくようにモデルを学習させます。具体的には、KLダイバージェンスD_KL(q(z|x)||p(z))を損失関数に組み込み、この項を最小化することで潜在変数分布が事前分布に近づくよう学習が行われます[19]。これにより、潜在変数zが入力データの本質的な特徴を捉えるようになり、VAEの生成性能が向上します。

このように、KLダイバージェンスは機械学習モデルの性能向上に貢献する重要な指標です。真の分布からの乖離を測ることで、モデルの出力分布を真の分布に近づけるための正則化の役割を果たします。特に潜在変数モデルにおいて、KLダイバージェンスは適切な潜在表現を得るために不可欠な概念となっています。

情報理論における応用 - 符号理論とデータ圧縮

KLダイバージェンスは、情報理論における符号理論やデータ圧縮の分野で重要な役割を果たしています。

符号理論では、情報源の確率分布Pと符号化器の出力分布Qとの間のKLダイバージェンスD(P||Q)を最小化することで、効率的な符号化を実現できます。KLダイバージェンスが小さければ、情報源の情報量に近い状態で符号化できるため、情報の損失を最小限に抑えられます[37]。

一方、データ圧縮の分野では、元のデータの分布Pとその圧縮表現の分布Qとの間のKLダイバージェンスD(P||Q)が小さいほど、情報の損失が少なく高品質な圧縮が可能になります[38]。つまり、KLダイバージェンスを最小化する圧縮アルゴリズムを設計することが求められます。

このように、KLダイバージェンスは情報理論の中核概念である情報量やエントロピーと密接に関係しており[37]、符号化や圧縮の最適化においてその最小化が重要な課題となっています。情報理論の発展に伴い、KLダイバージェンスを用いた新しい符号化・圧縮手法の研究が今後も進むことが期待されます。

その他の応用分野 - 自然言語処理と生物情報学

自然言語処理においては、KLダイバージェンスが言語モデリングや文書の類似度計算などで活用されています。言語モデリングでは、言語モデルの出力分布と実際の言語データの分布の間のKLダイバージェンスを最小化することで、より良いモデルを学習することができます[1]。一方、文書の類似度計算においては、各文書から単語の出現確率分布を推定し、その分布間のKLダイバージェンスを計算することで、文書の内容がどの程度類似しているかを数値化できます[70]。

生物情報学の分野でも、KLダイバージェンスは重要な役割を果たしています。遺伝子配列などのゲノムデータから確率分布を推定し、その分布間のKLダイバージェンスを計算することで、生物種間の系統関係を解明したり、新規遺伝子を発見したりすることができます。また、タンパク質の立体構造予測においても、既知の構造データとの確率分布のKLダイバージェンスを最小化するようにモデルを学習させる手法が提案されています[37]。

このように、KLダイバージェンスは自然言語処理や生物情報学をはじめ、様々な分野で確率分布間の違いを定量化する強力な指標として活用されています。特に複雑なデータを扱うこれらの分野においては、KLダイバージェンスの応用が欠かせない重要な概念となっています。

結論と今後の課題

KLダイバージェンス(Kullback-Leibler divergence)は、2つの確率分布の違いを定量化する重要な指標です。本稿では、KLダイバージェンスの数学的定義、主要な性質、さまざまな分野での応用例を解説してきました。

KLダイバージェンスは機械学習分野において、モデル選択や教師なし学習、変分オートエンコーダなど、確率分布を扱う様々な問題で不可欠な概念となっています。また、情報理論においても符号化やデータ圧縮の最適化に活用されるなど[37]、情報量に関する分野の中核を成す概念です。さらに自然言語処理や生物情報学などの分野でも、確率分布の類似度を測る指標としてKLダイバージェンスが重要視されています[1][70]。

一方で、KLダイバージェンスには非負性や非対称性といった重要な数学的性質があり[18]、これらを十分理解した上で適切に使用する必要があります。特に確率分布の0の取り扱いには注意が必要です[65]。

KLダイバージェンスの今後の課題としては、効率的な計算手法の開発が挙げられます。特に多次元の場合は計算コストが高くなるため、新しい近似手法の研究が重要となるでしょう[45]。また、KLダイバージェンスの概念を拡張した新しい情報量の指標についても、理論的な発展が期待されています。

KLダイバージェンスは、確率分布の違いを定量化する強力な指標ですが、その性質を理解した上で適切に活用することが肝心です。今後も、理論と実装の両面からKLダイバージェンスに関する研究が進展し、さまざまな分野で貢献していくことが期待されます。

[1] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[2] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[3] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[4] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[5] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[6] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[7] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[8] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[9] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[10] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[11] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[12] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[13] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[14] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[15] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[16] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[17] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[18] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[19] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[20] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[21] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[22] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[23] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[24] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[25] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[26] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[27] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[28] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[29] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[30] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[31] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[32] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[33] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[34] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[35] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[36] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[37] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[38] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[39] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[40] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[41] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[42] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[43] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[44] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[45] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[46] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[47] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[48] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[49] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[50] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[51] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[52] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[53] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[54] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[55] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[56] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[57] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[58] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[59] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[60] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[61] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[62] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[63] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[64] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[65] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[66] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[67] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[68] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[69] developers.agirobots.com - KLダイバージェンスの基礎 【Deep Learning アドベントカレンダー2020】 (https://developers.agirobots.com/jp/deep-learning-2020-kldiv/)
[70] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[71] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)
[72] note.com - 情報理論：KLダイバージェンス｜澁谷直樹 (https://note.com/kikaben/n/n1b8b8fa1a0e6)

参考サイト

#KLダイバージェンス
#確率分布
#機械学習
#情報理論
#モデル評価
#最適化
#数値計算
#離散分布
#連続分布
#変分オートエンコーダ

なんで、他人が書いた文献を紹介するのか | おからだ治療院