能動的推論の知覚ー行動ループ （自由エネルギー原理について誰でもわかる、明快かつ深い解説 -特別編-）
”自由エネルギー原理”でWEBを検索すると、だいたい図１のような知覚―行動ループの図が出てきます。私も、「自由エネルギー原理について誰でもわかる、明快かつ深い解説 -5-」で図2のようなポンチ絵を書きました。これらでわかったような気にはなるのですが、ここでは、もう一歩突っ込んで解説してみたいと思います。
これらの概念図・ポンチ絵は、どれも時計回りのループが1つ書いてあるだけなので、生成モデルの変更と能動的推論を交互に行いながら、自由エネルギーを下げていく過程をわかりにくくしています。自由エネルギーを下げていく過程は1周で終わらず、図3のように時間方向に何回も繰り返しています。（図3ではうまく表現できていませんが、時間が進むタイミングは、O→Ｓに限らず、S→PでもP→AでもA→Oでもあります。）
さらに言うと、このループは直線的に繰り返すのではなく、繰り返しが更にループを描き、図4のような入れ子のループになっています。
VFEの場合で、図4の説明をすると、まず何らかのサプライズ（犬が吠えるなど）が起こります（知覚）。そこで、事前に持っている仮説（予測）が「犬が吠えた時は見知らぬ人が来た可能性がある」であった場合、家人は家の外などに注意を向けます（行動と観察）、そして確かに犬が吠えていることを確かめる（知覚）と、「見知らぬ人が来た可能性」を高めます（予測）。さらに実際に人影を見たり、物音を聞いたりすれば（行動、観察、知覚）さらに可能性を高めます（予測）。しかし、犬が鳴き止んだり、人影もなく、物音もしなければ、可能性を下げる（予測）でしょう。このようにして、無意識的にも意識的にも推論を繰り返し、この一連の事象の最後で「見知らぬ人が来た可能性」が高いと判断（予測）すれば、外に出てみるとか、戸締りを確かめるでしょう。（行動）に出るでしょう。そして、実際に「見知らぬ人」がいることを確認した場合は、以降、犬が吠えた時は見知らぬ人がいるという仮説を強化するでしょう（予測）。このように、知覚―行動ループは1重ではなく何重にも重なっているのが普通です。無意識的推論を含めればさらに多くの入れ子があるでしょう。
そして重要なのは、大きなループでは、推論の方向は自由エネルギーを下げる方向であっても、その中にある小さなループは、自由エネルギーを上げる方向にも進むということです。そもそも注意を向けるとか、外を見に行くという行動は、自由エネルギーを上げる行動です。その行動の結果、「犬が鳴き止んだ」とか「見知らぬ人はいなかった」という予測がたって、はじめて自由エネルギーは下がるのです。自由エネルギー下げるという要請は、実は平衡状態における要請であって、それは、例えば「犬がどの程度あてになるか」についてなるべく正確な結果を得るという要請です。しかし「犬が吠えた時の一連の知覚、行動は、いわば非平衡状態におけるものなので、この時は自由エネルギーが上がることがあります。つまり、能動的推論の目的は自由エネルギーを下げることであっても、行動自体は自由エネルギーをあげる（新しい世界に出ていくわけですから曖昧さが増えます）と言えます。これが自由エネルギーを低くするという要請と、能動的推論のために行動に出ることの間に一見捻じれたような関係を作っているのです（ご興味がある方は末尾のコラムをご覧ください）。実際図4を見ていただければわかるように、小さなループを見れば大きなループと逆の方向に向かっている「捻じれた」箇所がたくさんあります。
この何重にもなった入れ子構造は、フラクタルとも言えます。エージェントが人の場合で考えると、意識に上らないミリ秒あるいはそれ以下のオーダーの周期から、意識に上る秒以上のオーダーの周期、感情などの分オーダーの周期、込み入った推論などの時間オーダーの周期、さらには、問題解決やライフイベントなどに関しては、それ以上のオーダーの周期があると考えられます。このフラクタルの模式図を図5に示します。
コラム：自由エネルギー原理と能動的推論のねじれ
自由エネルギー原理は、「環境内で平衡状態にある自己組織化システムはその自由エネルギーを最小にしなければならない。」という原理です。（原文は、“any self- organizing system that is at equilibrium with its environment must minimize its free energy.” Friston, K. J. 2010 The free-energy principle: a unified brain theory? ) ここで、注意したいのは、これはあくまでマクロに見た平衡状態についての原理だということです。
一方で能動的推論は非平衡状態における働きです。生成モデルの更新と能動的推論が交互に進むことによって平衡状態に達するわけです。
従って、能動的推論は必ずしも自由エネルギーを下げません。ある生成モデル（仮説）を立てて、これを検証した（能動的推論を行った）時、行動（観察や実験）の結果は、仮説を支持する（自由エネルギーを下げる）こともあれば、仮説と矛盾する（自由エネルギーを上げる）こともあるわけです。
これは、自由エネルギー原理に反しているわけではありません。自由エネルギー原理はマクロの原理であるのに対して、能動的推論は、もっとスケールの小さい世界での話だからです。サイコロを何回も振ると出目の平均値は3.5に収束しますが、1回だけ振った時の出目と平均の差は大きいこと（1や6）もあれば小さいこと（3や4）、中くらいのこと（2や5）もあります。
熱力学第2法則は、万物と情報を平衡状態に向かわせます。しかし、その過程は「ゆらぎ」という非平衡状態を含むものと考えられています。生命などの自己組織化システムが、このゆらぎによって生まれたものと考えれば、非平衡状態がその特質であると考えられます。従って、平衡状態についてのみ述べた自由エネルギー原理では、説明しきれないものがあると言えます。
一方、能動的推論は、非平衡状態における働きです。向かう方向は平衡状態ですが、能動的推論が起きる場面は必ず非平衡状態です。仮に平衡状態に達した場合、世界が変わらない限り能動的推論は起こりません。（これが暗い部屋問題です）
＊この項では、系に物質やエネルギー、情報が出入りする平衡状態は、ミクロにみて非平衡状態と呼んでいます。
つまり、能動的推論には、ある意味自由エネルギー原理を超えた部分があります
参考文献
Friston, K. J. (2010) The free-energy principle: a unified brain theory?
磯村拓哉 自由エネルギー原理 - 脳科学辞典 (neuroinf.jp)
Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022) Active Inference（ 乾 敏郎（訳）能動的推論 (2022) ）
吉田 正俊 田口 茂 自由エネルギー原理と視覚的意識 (2018) 日本神経回路学会誌
バックナンバー
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -1-
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -2-
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -3-
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -4-
自由エネルギー原理について誰でもわかる、明快かつ深い解説 -5-