自由エネルギー原理について誰でもわかる、明快かつ深い解説 -5- 改訂新版
2024年10月7日改訂
今回は、前回までで導出した4つの式について、その関係を見ていきたいと思います。
前回：自由エネルギー原理について誰でもわかる、明快かつ深い解説 - 4 -
10. VFEとEFEの関係
今まで見てきたVFEの変形1（第1回）、変形2（第2回）、EFEの変形1（第3回）、変形2（第4回）を再掲します。
VFE（変形1）
Eq(x) [log q(x) – log p(x, s)] (3)
= Eq(x) [log q(x) – log p(x | s)] + Eq(x) [ – log p(s)]
= DKL [q(x) || p(x|s)] + Eq(x) [ – log p(s)] (6)
VFE（変形2）
Eq(x) [log q(x) – log p(x)] + Eq(x) [ – log p(s|x)]
= DKL [q(x) || p(x)] +Eq(x ) [ – log p(s|x)] (8)
EFE（変形1）
Eq(sτ|xτ) Eq(xτ)[log q(xτ) – log p(xτ | sτ)]
+ Eq(sτ|xτ) Eq(xτ)[ – log p(sτ)]
= Eq(sτ|xτ) [DKL {q(xτ) || p(xτ | sτ)}]
+ Eq(sτ|xτ) Eq(xτ）[ – log p(sτ)] (10)
EFE（変形2）
Eq(sτ|xτ) Eq(xτ) [log q(xτ) – log p(xτ)]
+ Eq(sτ|xτ) Eq(xτ) [ – log p(sτ | xτ)]
= Eq(sτ|xτ) [DKL {q(xτ) || p(xτ)}]
+ Eq(sτ|xτ) Eq(xτ)[ – log p(sτ | xτ)] (12)
以上の関係を図17に示します。すべての始まりは(3)式で、上側の2つの式はVFEの式、下側の2つの式はEFEの式です。EFEの式では、前に書いたように、x, sをそれぞれ未来の時点τ（タウ）における xτ, sτ に置き換え、Eq(sτ|xτ)（xτという条件のもとでの sτについての期待値）をとったものです。また4つの式は、すべて平均場近似（xとsの独立を仮定）を用いて、最初の式を2つの項に分解したものです。右側と左側はベイズの定理で結ばれています。右側では、p(s,x)=p(s|x)p(x)を使い、左側ではp(s,x)=p(x|s)p(s)を使っています。また、右側では、p(s|x)を第2項へと、左側ではp(s)を第2項へと分解しています。
これが、FEPの基本式のすべてなのですが、4つの式の各項には、その意味を説明する際、正負を変えたりして色々な名前がつけられています。また、特にEFEの式では、文献によって時点の違いによる読み替えや近似が行われているため混乱を誘っている場合がありますのでご注意下さい。ここでは、そのような読み替えや近似は行っていません。以下参照の便をはかるために、主な名前の対照表をつけました。
別名一覧（出典は一例）
基本は最新刊のThomas Parr, et al. (2022) Active Inference , 乾 敏郎（訳）能動的推論 (2022) に依りましたが、Evidenceのみは式の項と一致するShannon surpriseとしました。
Divergence (Thomas Parr et al. 2022)
relative entropy （吉田・田口 2018）
Shannon surprise（乾 2019）
負の対数証拠 （乾・坂口 2021）
Evidence (Thomas Parr et al. 2022)
Sensory surprisal （吉田・田口 2018）
Complexity (Thomas Parr et al. 2022)
補足1
ambiguity
補足2
- Accuracy (Thomas Parr et al. 2022)
information gain (Thomas Parr et al. 2022)
情報利得（乾訳 2022)
epistemic value （乾・坂口 2021）
認識的価値 （乾・坂口 2021）
pragmatic value (Thomas Parr et al. 2022)
実利的価値（乾訳 2022)
extrinsic value （乾・坂口 2021）
外在的価値 （乾・坂口 2021）
－（負の）predicted surprise（国里 補足資料）
－（負の）予測サプライズ（国里 補足資料）
Risk (Thomas Parr et al. 2022)
コスト （乾・坂口 2021）
Expected ambiguity (Thomas Parr et al. 2022)
成果のエントロピーの事後期待値 （乾・坂口 2021）
補足1 一部Bayesian surpriseとする文献もあるがそれは近似の場合
補足2 吉田2018では、- AccuracyをUncertaintyとしているが、Uncertaintyは一般に不確実性、不確かさを意味するので本稿では用いない。- Accuracyを一語で表す場合は Ambiguity または inaccuracy を用いる。日本語では曖昧さあるいは不正確さを用いる。
11.FEPの種明かし1
FEPは数学的に難解であるというイメージがありますが、実装ではなく原理を理解するだけならば、使われている数学は高校で習う簡単なものだけです。確率と確率分布とその期待値、ベイズの定理、そして対数の性質（積の対数は対数の和になる）だけです。カルバックライブラー情報量は高校では習いませんが、確率分布の期待値に置き換え可能です。ここにあげた(6),(8),(10),(12)の4つの式は、すべて、(3)式がもとで(10),(12)式は、x, sをそれぞれ未来の時点τ（タウ）における xτ, sτ に置き換え、「xτという条件のもとでの sτについて期待値」を加えただけです。確かにEFEの式は混乱しやすいですが、それは未来から現在を眺めるという普段慣れていない考え方を要求されるからです。（ちょうど、鏡に映った自分の右左がどちらか混乱するのと同じです。）また、それぞれの式はベイズの定理で分解されたものですが、第1項と第2項の分け方が、使うベイズの定理とセットで異なっていることも見た目の混乱を誘っているかもしれません。（p(x,s)=p(x|s)p(s)を使った時は、第2項にp(s)を追い出し、p(x,s)=p(s|x)p(x)を使った時は、第2項にp(s|x)を追い出す。）
むしろ、上記のように、式変形で多くの式を作ったり、式の各項の呼び名が様々であること、そしてそこに近似が入ることが、FEPを難解に見せているのではないでしょうか。
12.FEPの種明かし2
ところで、ここまで整理してやっとわかったことがあります。FEPは一言で言えば、エージェントが世界に「適応」かつ「働きかける」原理です。
筆者は、第3回にVFEを上げる必要性について書きました。そして、その時点では、EFEを下げることがVFEを上げることにつながるのではないかと考えていました。それは正しかったようです。
図18のサイクルが意味するのは、知覚が行動を、そして行動が知覚を誘発するという循環的因果性です。もちろん実際には、第3回 (A), (B) に書いたようにサプライズがないという事態はありえませんが、理論的には知覚がなくなるという事態は排除できないと思います。
知覚ー行動サイクルの引き金が知覚のみというのは、このように心もとないものです。しかし、第3回 (C)のように、エージェントの行動が引き金になれば、例え知覚がなくても、サイクルは回り始めます。
そして、実際、サプライズや目的なしで行動が引き金になることは多くあります。それは、乳幼児の探索行動、子供の遊び、大人のレジャー、消費者のバラエティ・シーキング、純粋な芸術活動などの自己目的的行動です。これらの自己目的的行動は、いわばエージェントが世界に働きかける内発的動機による行動です。これに対しFEPが対象とするサプライズやギャップの知覚は、世界からのエージェントへの働きかけ（外発的動機）による行動です。
13.FEPと能動的推論
過去に始まるprediction（展望的推論）では、エージェントは、世界からのサプライズに対して、自己が持っていた生成モデルを最適化するという「学習」を行います。この時トータルでVFEが下がるような学習を行います（下がる過程において一時的なVFEの増加はありえます。）。この学習によって次なるサプライズを最小にするという適応が実現されます。
未来に始まり現在を目指すretrodiction（遡及的推論：結果から原因の仮説を構築する）では、エージェントは、望ましい未来に対して、最適と思われる「方策」を立案・実行します。この時トータルでEFEが下がるような方策が選ばれます（下がる過程において一時的なEFEの増加は認められます。）。この方策によって望ましい未来が実現することが期待されます。（ただし、原因はあくまで仮説なので必ず望ましい未来が実現するとは限りません。蓋然性の高い仮説を選ぶことが重要です。）
参考文献
Friston, K. J. (2010). The free-energy principle: a unified brain theory?
Friston, K. J. et al. (2015). Active inference and epistemic value.
Friston, K. J. et al. (2016). Active inference and learning.
乾 敏郎（2019）自由エネルギー原理ー環境との相即不離の主観理論 認知科学26 巻 3 号
乾 敏郎 感情とはそもそも何なのか (2018) ミネルヴァ書房
乾 敏郎 坂口 豊 脳の大統一理論 (2020) 岩波書店
乾 敏郎 坂口 豊 自由エネルギー原理入門 (2021) 岩波書店
藤田 一寿 自由エネルギー原理２ 期待エネルギー
https://www.docswell.com/s/k_fujita/5DRGLK-2022-11-04-224205
国里愛彦 他 計算論的精神医学 (2019) 勁草書房
国里 愛彦 計算論的精神医学 第 7 章「ベイズ推論モデル」の補足資料
https://cpcolloquium.github.io/cp_book/fig/ative_inference_suppl.pdf
大羽 成征 Active Inference (能動推論)に関する誤解
https://note.com/shigepong/n/ncf21aa5d0d36
Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022) Active Inference
（ 乾 敏郎（訳）能動的推論 (2022) ）
吉田 正俊 田口 茂 自由エネルギー原理と視覚的意識 (2018) 日本神経回路学会誌
https://www.jstage.jst.go.jp/article/jnns/25/3/25_53/_pdf
吉田 正俊 自由エネルギー原理入門 改め 自由エネルギー原理の基礎徹底解説
http://pooneil.sakura.ne.jp/EFE_secALL0503.pdf