期待自由エネルギーで未来の方策を比べる

1. 本文の x と y を、時間の中へ置く

第1章では、外界の状態を x、感覚入力を y と書きました。未来の複数時点を扱うときは、時点 τ を添え、次の補助記号を使います。

s は state、o は observation の頭文字です。記号を変えるのは、別の概念だからではなく、「どの時点の状態・観察か」を見失わないためです。

2. 見えない状態のもとで、行為を選ぶ

部分観測マルコフ決定過程（POMDP）は、外界の状態を直接には観察できない主体が、観察から状態を推論し、行為を選び、その結果として次の状態と観察へ進むモデルです。本文にあるとおり、これは、生物は外界から隔てられているという自由エネルギー最小化の前提を、自然に拡張したものです。

将来の行為の並び (u_τ, u_τ+1, …) を方策 π と呼びます。主体は候補となる方策ごとに未来を予測し、比較します。

A・B・D はPOMDPの全体像を示すための補助表記です。本文に登場する事前選好分布 C は、本文と同じ記号で表しています。

3. まだ起きていない観察を、期待値で評価する

方策 π を採ったとき、将来の状態 s_τ と観察 o_τ はまだ確定していません。そこで、その方策のもとで予測される分布 q(o_τ, s_τ | π) によって平均を取ります。本文の言い方では、「ある方策を採用した場合の、未来にわたっての自由エネルギーの平均」です。

複数時点にわたる方策の期待自由エネルギーは、評価する各時点の和として表せます。

現在の観察について F を小さくするのに対し、行為選択では、将来の予測について G が小さくなる方策が選ばれやすくなります。

4. 認識価値と外的価値へ分解する

将来の生成モデルを、観察後の状態推論と事前選好分布を使って近似的に書き換えると、本文の「期待自由エネルギー ≒ −（認識価値＋外的価値）」という関係が得られます。

どちらにもマイナス符号が付くため、認識価値または外的価値が大きいほど G は小さくなります。したがって、期待自由エネルギーの最小化は、探索（情報を得ること）と活用（望ましい結果を得ること）を同じ基準で釣り合わせます。

5. C は「どんな観察を望むか」を表す

事前選好分布 C は、本文のとおり「どのような感覚を観察するのが望ましいかについての確率分布」で、確率が高い感覚ほど好ましいものと解釈されます。付録では、その分布を p_C(o) と書きます。

文献によっては、C を観察の対数選好を並べたベクトルとして表します。その場合も、外的価値は「予測される観察が選好にどれほど適うか」という同じ役割を担います。

6. Ｔ字迷路では、なぜ先に手がかりを見るのか

本文の図23にあるＴ字迷路のシミュレーションを考えます。ラットは迷路の中央に置かれます。上部の左右どちらかの端に報酬（餌）がありますが、どちらにあるかはわかりません。下部には手がかりがあり、それを見れば報酬の側がわかります。移動できるのは2回だけで、いったん上部の端に入ると抜け出せません。

期待自由エネルギーの最小化は「望ましい結果に近づくこと（外的価値）」と「不確実性を減らすこと（認識価値）」を同時に評価するため、もっとも多くの情報が得られる手がかりを先に訪れる二段構えの方策Bが選ばれます。手がかり自体に報酬がなくても、それが後の選択を改善するなら認識価値があるのです。

ただし本文にあるとおり、事前選好が十分に強いと外的価値が認識価値に勝ち、手がかりを見ずに、いきなりどちらかの端へ向かう方策（方策AやC）が選ばれやすくなります。逆に選好が弱かったり、自分の知識に自信がなかったりする局面では、まず手がかりを取りにいくふるまいが現れます。

7. 選好と「精度」⁠を混同しない

C は、どの結果をどれほど望むかを定めます。本文で「事前選好分布の精度」や「精度に現れる事前選好の強さ」と呼ばれているのは、この分布の鋭さ、つまり選好の強さのことです。それとは別に、方策間の G の差を、行為選択にどれほど強く反映させるかを表す方策の精度があります。

また、精度は感覚や状態遷移の信頼度についても考えられます。同じ「精度」という語でも、それぞれモデルの中で果たす役割は異なります。