自由エネルギー原理について誰でもわかる、明快かつ深い解説 -3-
2024年10月7日改訂 フリストン (K. J. Friston) の変分自由エネルギー原理（FEP）はどんな原理で、どんなご利益があるのかについて順次解説しています。
前回：自由エネルギー原理について誰でもわかる、明快かつ深い解説 -2-
★期待自由エネルギーが数式を使わずにわかる「自由エネルギー原理による株投資の分析」も公開しました★
４. 搾取と探索のトレードオフ
前回の問いは、「本当に自由エネルギーは減らすだけでよいのでしょうか。逆説的ですが、もし減らし切ってしまったら、もう減らす自由エネルギーは残っておらず、減らすことはできなくなります。」でした。
(A) まず言えることは、神ならぬ生身の人間や生物は、自由エネルギーを減らし切ることはできないということです。前回のコラム 2 でシミュレーションしたように、犬が吠えれば（あるいは吠えなければ）泥棒のいる確率は1または0に近づいて行きます。しかし、1になる、あるい0になることはありません。何百回、何千回も泥棒がいる時は確実に吠えて、泥棒がいることを知らせて来た犬も、次の回では失敗して泥棒がいるのに吠えないことがあるかもしれません。ただ、これは極端な答えです。もう少し実際的には次の２つの回答が考えられます。
(B) １つは、本質的には上の極端な場合と同じことですが、仮にエージェント（自己組織化システム）が自由エネルギーを最小化したと思っても、環境（世界）は常に変化していますから、新たな驚きは必ず供給されるということです。「暗い部屋」の中でも、生きている限り恒常性維持のため内受容感覚は変化します。
(C) もう１つは、例え世界の側が変化しなくても、エージェントは世界を変化させることができるということです。特に動物は移動するという手段で、簡単に周囲の環境（環世界）を変化させることができます。（植物も時間のスケールは動物に比べて長いものの環境を変化させます。）
つまり私自身の問いに対する、私なりの答えは、「人や動物その他の生命は、自由エネルギーを減らすように要請されている、しかしそれ故に、自由エネルギーを増やすようにも仕組まれている。」ということになります。
自由エネルギーを減らすことは、いわば「搾取 (Exploitation) 」です。エージェントは生きるためにモノや情報を搾取します。しかし上に書いたように搾取だけでは生きていけません。搾取が一段落したならば、次なる搾取の対象を求めて「探索 (Exploration)」しなければなりません。この探索が、自由エネルギーを増やすことになるのです。
魚釣りの例で考えてみましょう。少年が魚釣りに出かけて、餌を工夫したり、仕掛けを変えながら魚をたくさん釣りあげましたとします。これが搾取です。餌を工夫したり、仕掛けを変えるのは、内部モデルの変更と能動的推論にあたります。ところが段々魚が釣れなくなってきました。さて、少年はどうするでしょう。
(1) 次は釣れるのではないかと考えて、同じ場所で釣り続ける。（前段の(A)のケース）
(2) 時間がたてば、水中の状態や魚の動きが変わるからまた釣れるだろうと考えて同じ場所で釣り続ける。（前段の(B)のケース）
(3) もうこの場所では釣れないと判断して、場所を変える。（前段の(C)のケース）
お分かりいただけると思いますが、(3)が探索です。
搾取を選ぶか探索を選ぶかは、基本的には少年の意思次第です。ただ、探索を選ぶ場合はその探索の価値が大きいかどうかということが決断にあたって重要な要素になります。この探索の価値を決定するのが、以下に説明する期待自由エネルギーです。探索を選ぶということは、未来に「投資」することです。今まで釣れていた場所を離れて、一時的には（新しい場所でうまく釣れるまでは）搾取をあきらめるということです。今の消費を我慢して、未来に賭ける行為とも言えるのではないでしょうか。従って、「投資」するためには、期待される利益（リターン）の大きさが大きいことと、そのリターンを得るための情報が多いことが必要です。
5．期待自由エネルギー
フリストンはFEPを発表した約10年後の2015年に以下のような期待自由エネルギー(EFE:expected free energy)というものを示しました。
「EFE（Gと書くことが多い）は、Extrinsic 価値（外在価値/期待効用/事前選好) とEpistemic 価値（説明/認識/内在価値)の和の符号を反転させたものであり、エージェントは未来を考える際には、このEFEを最小化（＝価値の和を最大化）しようとする。」 前章最後にあげたリターンの大きさがExtrinsic 価値です。リターンを得るための情報がEpistemic 価値です。この両者の和が大きければ、一定のリスクを許容して、一時リターンを我慢しても、探索（投資）する価値があることになります。
今度は、宝探しの例を使って考えてみましょう。少年が宝探しに出発しようとしています。EFEを最小化する方策(policy)を考えてみましょう。まず、なんといっても宝の価値が大きいことが必要です。小銭のために長い旅をするのは割に合いません。そして宝のありかについてできるだけ確実な情報も必要です。この場合、宝の価値が、Extrinsic 価値（外在価値/期待効用/事前選好) です。Bの方が大きそうですね。そして、地図にある情報が、Epistemic 価値（説明/認識/内在価値) です。Bの地図は縮尺が大きくて、詳細な位置が分かりにくそうですね。Aの方が、宝のありかに到達しやすそうです。ですから、この場合選好Bのお宝について説明Aの地図があるのが、EFE最小の方略を立てられる条件です。
6. EFEの式
ここまで、しばらく数式なしに話を展開してきましたが、期待自由エネルギーは、将来わたっての期待値を考えることで、以下のように数式からも導かれます。
EFE（期待自由エネルギー）
= Eq(sτ|xτ) Eq(xτ)[log q(xτ) – log p(xτ, sτ)] (9)
= Eq(sτ|xτ) [DKL {q(xτ) || p(xτ | sτ) }] – Eq(sτ|xτ)Eq(xτ)[log p(sτ)] (10)
≒ Eq(sτ|xτ) [DKL {q(xτ) || q(xτ | sτ) }] – Eq(sτ|xτ)Eq(xτ)[log p(sτ)] (11)
(9)式は、前々回に示したVFEの定義式
Eq(x) [log q(x) - log p(x, s)] (3)
のx, sをそれぞれ未来の時点τ（タウ）における xτ, sτ に置き換え、期待値に「 xτという条件のもとの sτについて期待値」を加えたものです。以下前々回の (3) から (6) と全く同じ変形を経たのが(10)式です。
(11)式は、p(xτ | sτ) ≒ q(xτ | sτ) という近似を用いています（この近似は
未来の時点から見た時間反転によると思われます。EFEの式は、VFEの式が元になっていますが、期待値が二重になったちょっとややこしい式になります。これは以下の理由によります。
VFEでは、q(x)が時間ともに更新されていくのでした。そして、更新されたq(x)t+1 が t+1時点での q(x) となるというループを描いていました。（前々回の図2）
これに対し、EFEではこのループに加えて、まだ得ていない未来の観測sτによるループを考える必要があります。一般的には、一続きのVFE最小化が終わってから、次のVFE最小化のための、EFE最小化が始まるので、τはtよりもかなり大きいと考えられます。このEFE最小化のためのループが加わることが、期待値を二重にして、EFEの式をややこしくしていることになります。
（筆者注：無意識と意識の境界にはあいまいな部分もあると思いますが、VFEを減らす推論は、多くの場合ヘルムホルツ (Helmholtz) の無意識的推論と言われ、このループは0.1秒程度のオーダーで行われていると考えられます。これに対して、EFEを減らす推論は意識的推論と呼べると思います。意識的推論は、1秒より大きなオーダーで行われます。）
参考文献
Friston, K. J. (2010). The free-energy principle: a unified brain theory?
Friston, K. J. et al. (2015). Active inference and epistemic value.
Friston, K. J. et al. (2016). Active inference and learning.
乾 敏郎（2019）自由エネルギー原理ー環境との相即不離の主観理論 認知科学26 巻 3 号
乾 敏郎 坂口 豊 脳の大統一理論 (2020) 岩波書店
乾 敏郎 坂口 豊 自由エネルギー原理入門 (2021) 岩波書店
国里愛彦 計算論的精神医学 第 7 章「ベイズ推論モデル」の補足資料
https://cpcolloquium.github.io/cp_book/fig/ative_inference_suppl.pdf
大羽成征 Active Inference (能動推論)に関する誤解
https://note.com/shigepong/n/ncf21aa5d0d36
Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022) Active Inference
（ 乾 敏郎（訳）能動的推論 (2022) ）
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -4-
公開しました。