自由エネルギー原理の解説：知覚・行動・他者の思考の推論 4
知覚：外界の推論と学習
自由エネルギー原理では、知覚は内部モデルの最適化として定義されます。生物は、感覚入力のサプライズを最小化するように、自身の内部モデルと行動を常に最適化していると仮定しています。このサプライズ最小化が、外界の推論と学習の基盤となります。
各式の解説とまとめ
1. q(u, θ) = q(u)q(θ) の解説
この式は、変分ベイズ を適用するために用いられる平均場近似 を表しています。
q(u, θ): 隠れ変数 u とパラメータ θ の同時事後確率分布。観測された感覚入力に基づいて、隠れ変数 u とパラメータ θ が同時にどのような値をとるかを確率的に表現します。
q(u): 隠れ変数 u の事後確率分布。
q(θ): パラメータ θ の事後確率分布。
この近似は、隠れ変数 u とパラメータ θ が互いに独立であると仮定することで、複雑な同時事後確率分布 q(u, θ) を、より単純な 2 つの分布 q(u) と q(θ) の積で表現します。これにより、計算が容易になるという利点があります。
2. δF = ∫duδq(u){Eq(θ)[− log p(s, u, θ|m)]+log q(u)+1} = 0 の解説
この式は、変分自由エネルギー F を最小化する隠れ変数の事後確率分布 q(u) を求めるための条件 を表しています。
δF: 変分自由エネルギー F の変分。変分とは、関数を変数ではない微小量で微分することを指し、ここでは q(u) の変分を計算しています。
∫du: 隠れ変数 u について積分することを表します。
δq(u): 隠れ変数の事後確率分布 q(u) の変分。
Eq(θ)[...]: パラメータ θ の事後確率分布 q(θ) について期待値を取ることを表します。
− log p(s, u, θ|m): 感覚入力 s と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s, u|θ, m) を用いて計算し、その対数をとり、符号を反転させたもの。
log q(u): 隠れ変数 u の事後確率分布 q(u) の対数。
この式は、変分自由エネルギー F を q(u) について変分した結果が 0 になることを示しています。この条件を満たす q(u) が、変分自由エネルギー F を最小化する最適な分布となります。
3. q(u) ∝ e−Eq(θ)[− log p(s,u,θ|m)] の解説
この式は、変分自由エネルギー F を最小化する隠れ変数の事後確率分布 q(u) を表しています。
q(u): 隠れ変数 u の事後確率分布。
∝: 比例関係を表す記号。左辺と右辺が比例することを意味します。
e: ネイピア数(約 2.718) を底とする指数関数。
Eq(θ)[...]: パラメータ θ の事後確率分布 q(θ) について期待値を取ることを表します。
− log p(s, u, θ|m): 感覚入力 s と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s, u|θ, m) を用いて計算し、その対数をとり、符号を反転させたもの。
この式は、式 2 の δF = 0 を解くことで得られます。この式が示すように、最適な q(u) は、パラメータ θ の事後分布 q(θ) を用いて計算された、感覚入力 s と u の同時確率の期待値（の負の指数）に比例します。
4. u˙ − Du ∝ − ∂Eq(θ)[− log p(s̃, u, θ|m)]/∂u |u=u ≈ −∂F(s̃, u, θ)/∂u の解説
この式は、隠れ変数 u の時間発展 を記述する推論更新則 を表しています。
u˙: 隠れ変数 u の時間微分。隠れ変数 u が時間とともにどのように変化するかを表します。
Du: 1 時刻前までの感覚入力から求めた隠れ変数の変化量の推定値。
∝: 比例関係を表す記号。左辺と右辺が比例することを意味します。
− ∂/∂u {...}: 波括弧内の式を隠れ変数 u で偏微分することを表します。
Eq(θ)[...]: パラメータ θ の事後確率分布 q(θ) について期待値を取ることを表します。
− log p(s̃, u, θ|m): 感覚入力 s̃ と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s̃, u, θ|m) を用いて計算し、その対数をとり、符号を反転させたもの。
|u=u: u を u で置き換えることを表します。u は、隠れ変数 u の事後期待値です。
−∂F(s̃, u, θ)/∂u: 変分自由エネルギー F(s̃, u, θ) を隠れ変数 u で偏微分したもの。
この式は、隠れ変数 u の時間変化が、変分自由エネルギー F の勾配に比例することを示しています。つまり、変分自由エネルギー F が小さくなる方向に、隠れ変数 u が更新されます。
5. F(s, u, θ) ≈ − log p(s, u, θ|m) + const. の解説
この式は、変分自由エネルギー F の近似表現 を表しています。
F(s, u, θ): 変分自由エネルギー。
≈: 近似的に等しいことを表す記号。
− log p(s, u, θ|m): 感覚入力 s と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s, u, θ|m) を用いて計算し、その対数をとり、符号を反転させたもの。
const.: 定数。
この近似式は、隠れ変数 u の事後確率分布 q(u) が、平均 u、共分散行列 Cu のガウス分布で近似できる場合に成り立ちます。この近似式を用いることで、変分自由エネルギー F をより簡単に計算することができます。
6. F(q(θ)) ≡ ∫0t Eq(u(τ),θ)[− log p(s̃(τ), u(τ)|θ, m)]dτ + DKL[q(θ)||p(θ|m)] の解説
この式は、パラメータ θ の事後確率分布 q(θ) を学習するためのコスト関数 である変分作用 を表しています。
F(q(θ)): 変分作用。パラメータ θ の事後確率分布 q(θ) の関数として定義されます。
≡: 定義を表す記号。
∫0t ... dτ: 時刻 0 から t まで積分することを表します。
Eq(u(τ),θ)[...]: 時刻 τ における隠れ変数 u(τ) の事後確率分布 q(u(τ)) と、パラメータ θ の事後確率分布 q(θ) について期待値を取ることを表します。
− log p(s̃(τ), u(τ)|θ, m): 時刻 τ における感覚入力 s̃(τ) と隠れ変数 u(τ) が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s̃(τ), u(τ)|θ, m) を用いて計算し、その対数をとり、符号を反転させたもの。
DKL[q(θ)||p(θ|m)]: パラメータ θ の事後確率分布 q(θ) と事前分布 p(θ|m) のカルバック・ライブラー・ダイバージェンス。2 つの確率分布間の距離を測る尺度であり、値が小さいほど 2 つの分布が近いことを意味します。
この式は、過去から現在までの感覚入力系列 s̃(τ) を観測したときに、その入力を生成するようなパラメータ θ の事後確率分布 q(θ) を学習するためのコスト関数を定義しています。
7. q(θ) ∝ e-∫0t Eq(u)[− log p(s,u|θ,m)]dτ-log p(θ|m) について分かりやすく説明
この式は、変分作用 F を最小化するパラメータ θ の事後確率分布 q(θ) を表しています。
q(θ): パラメータ θ の事後確率分布。
∝: 比例関係を表す記号。左辺と右辺が比例することを意味します。
e: ネイピア数(約 2.718) を底とする指数関数。
∫0t ... dτ: 時刻 0 から t まで積分することを表します。
Eq(u)[...]: 隠れ変数 u の事後確率分布 q(u) について期待値を取ることを表します。
− log p(s, u|θ, m): 時刻 τ における感覚入力 s(τ) と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s, u|θ, m) を用いて計算し、その対数をとり、符号を反転させたもの。
- log p(θ|m): パラメータ θ の事前分布 p(θ|m) の負の対数。
この式は、式 6 の変分作用 F を q(θ) について変分し、極値条件 δF=0 を解くことで得られます。この式は、パラメータ θ の事後確率分布 q(θ) が、尤度項と事前分布項の積に比例する形で決まることを示しています。
8. θ˙ ∝ - ∂/∂θ {∫0t Eq(u)[− log p(s, u|θ, m)]dτ - log p(θ|m)}|θ=θ ≈ - ∂F(θ)/∂θ について分かりやすく説明
この式は、パラメータ θ の学習規則 を表しています。
θ˙: パラメータ θ の時間微分。パラメータ θ が時間とともにどのように変化するかを表します。
∝: 比例関係を表す記号。左辺と右辺が比例することを意味します。
- ∂/∂θ {...}: 波括弧内の式をパラメータ θ で偏微分することを表します。
∫0t ... dτ: 時刻 0 から t まで積分することを表します。
Eq(u)[...]: 隠れ変数 u の事後確率分布 q(u) について期待値を取ることを表します。
− log p(s, u|θ, m): 時刻 τ における感覚入力 s(τ) と隠れ変数 u が、パラメータ θ とモデル構造 m のもとで、同時に起こる確率を、生成モデル p(s, u|θ, m) を用いて計算し、その対数をとり、符号を反転させたもの。
- log p(θ|m): パラメータ θ の事前分布 p(θ|m) の負の対数。
|θ=θ: θ を θ で置き換えることを表します。θ は、パラメータ θ の事後期待値です。
- ∂F(θ)/∂θ: 変分自由エネルギー F(θ) をパラメータ θ で偏微分したもの。
この式は、パラメータ θ の更新量が、変分自由エネルギー F(θ) の勾配に比例することを示しています。つまり、変分自由エネルギー F(θ) が小さくなる方向に、パラメータ θ が学習されます。
まとめ
上記の式群は、自由エネルギー原理における知覚（推論と学習） の中核をなすものです。脳は、感覚入力 s を受け取ると、その入力を最もよく説明できるような隠れ変数 u とパラメータ θ を、変分自由エネルギーを最小化 するように学習します。
まず、変分ベイズと平均場近似を用いることで、同時事後確率分布 q(u, θ) を、隠れ変数の事後分布 q(u) とパラメータの事後分布 q(θ) の積で近似します。そして、変分自由エネルギー F を最小化する q(u) と q(θ) をそれぞれ求めることで、隠れ変数 u とパラメータ θ の推定を行います。
この時、隠れ変数 u の推定は、推論更新則に従って、変分自由エネルギー F の勾配に比例した量だけ時間的に変化します。一方、パラメータ θ の学習は、変分作用 F を最小化するように、変分自由エネルギー F(θ) の勾配に比例した量だけ更新されます。
これらの更新を繰り返すことで、脳は、感覚入力 s を生成する外界のモデルを表現する、最適な隠れ変数 u とパラメータ θ を学習していくと考えられています。
自由エネルギー原理の解説
自由エネルギー原理とは、脳がどのように世界を理解し、行動を決めているのかを説明する理論です。
人間を含めたあらゆる生物は、常に周囲の環境から様々な情報を受け取っています。この情報は、光や音、匂い、味など、五感を通じて脳に伝えられます。
しかし、これらの情報は断片的で、それだけでは世界の本当の姿を理解することはできません。例えば、遠くにあるリンゴの一部が壁に隠れて見えない時でも、私たちはそれがリンゴであると認識できます。
これは、脳が過去の経験に基づいて、目に見えない部分を補完する「推論」を行っているからです。自由エネルギー原理は、この「推論」こそが脳の最も重要な機能だと考えます。
脳は、過去の経験から得られた情報に基づいて、外界の仕組みを模倣した「内部モデル」を構築しています。そして、この「内部モデル」を使って、現在の状況を解釈したり、未来を予測したりしています。
この時、脳は「予測」と「現実」のズレを最小限にするように働きます。この「ズレ」が「自由エネルギー」と呼ばれるもので、脳は常にこの「自由エネルギー」を減らすように行動しています。
例えば、鳥の鳴き声を聞いた時、脳は過去の経験から「あの鳥の鳴き声だ！」と予測します。もし、その予測が当たれば「自由エネルギー」は小さく、外の世界は予測しやすい状態です。
しかし、予測が外れて「聞いたことのない鳥の鳴き声だ！」となると「自由エネルギー」は大きくなってしまいます。この時、脳は「内部モデル」を修正して、次に同じ鳴き声を聞いた時に予測が当たるように学習します。
このように、自由エネルギー原理は、脳が「予測」「推論」「学習」を通して、常に外界を理解しようと努力していることを説明する理論です。
ポイント
脳は、世界をそのまま受け取るのではなく、「内部モデル」を使って理解している。
「内部モデル」は、過去の経験に基づいて作られ、常に更新されている。
脳は「予測」と「現実」のズレ（自由エネルギー）を減らすように行動する。
この自由エネルギー原理は、脳の様々な機能を説明するだけでなく、人工知能の開発にも役立つと考えられています。