『自由エネルギー原理を
変分自由エネルギーを式から理解する
自由エネルギーは、なぜサプライズの上界になるのか。本文と同じ記号を使い、KLダイバージェンスの非負性から一段ずつ導きます。
1. まず、記号と概念を結ぶ
数式の前に、本文の図で描かれた関係を確認します。外界そのものは直接には見えず、感覚入力を手がかりに、内部で外界についての信念を更新する——これが式の舞台です。
- p(x)
- 観察前に外界をどう予想していたか。事前分布。
- p(y | x)
- 状態 x なら感覚 y がどれほど生じやすいか。尤度。
- p(x | y)
- 感覚 y を得た後の、生成モデル上の事後分布。
- q(x)
- 事後分布を近似する、内部の認識モデル。
- p(y, x)
- 感覚入力と外界の状態が、どのような組み合わせで生じるかを表す生成モデル。
- F(q, p | y)
- 認識モデル・生成モデル・観察によって決まる変分自由エネルギー。
2. 出発点は、二つの分布の隔たり
本文の式(1)は次のように書かれています。本文では一般式に log を使っていますが、ここでは自然対数であることを明示して ln と書きます。
積分の部分は、q(x) と生成モデル上の事後分布 p(x | y) のKLダイバージェンスです。
したがって式(1)は、短く書けば次の形です。
本文のとおり、（自由エネルギー）＝（KLダイバージェンス）＋（サプライズ）です。第1項が「認識モデルと事後分布のずれ」、第2項 −ln p(y) が「その感覚入力のサプライズ（驚き）」です。本文では、この式に沿って認識モデルを調整し、自由エネルギーを小さくすることを「知覚推論」と呼びます。
3. なぜKLダイバージェンスは0以上なのか
鍵は、対数関数の凹性から得られるイェンセンの不等式です。q(x) > 0 となる x では、比較対象の p(x | y) も0でないと仮定します。
-
定義を
書き換える DKL(q ∥ p) = − Eq [ ln p(x | y)q(x) ] -
−ln は
凸関数なので、 イェンセンの 不等式から 次が 成り 立つ − Eq[ln r] ≥ − ln Eq[r]ここで r = p(x | y) / q(x) と置きます。
-
事後分布を
積分すると 1に なる Eq [ pq ] = ∫ q(x) p(x | y)q(x) dx = ∫ p(x | y) dx = 1 -
結論
DKL(q ∥ p) ≥ −ln 1 = 0
q(x) = p(x | y) がほとんど至るところで成り立つときです。つまり、内部の近似が生成モデル上の事後分布と一致したとき、隔たりは0になります。
4. 自由エネルギーはサプライズを上から押さえる
式(1)の右辺のKLダイバージェンスは0未満にならないので、直ちに次の不等式が成り立ちます（本文の表記では F(q, p | y) ≥ −log p(y)）。
サプライズ −ln p(y) を直接計算するには、あらゆる外界状態 x を考慮して p(y) を求める必要があります。そこで、扱いやすい q(x) を導入し、サプライズの上界である F を小さくしていきます。q が事後分布へ近づくほど上界はサプライズに近づき、q と事後分布が一致すると F はサプライズそのものになります。
5. 同じ量を「複雑性−正確性」として読む
生成モデルを p(y, x) = p(y | x)p(x) と分解すると、自由エネルギーは別の姿を見せます。本文の式(2)です。
複雑性（complexity）
DKL(q(x) ∥ p(x))。観察後の信念が、事前の予想からどれほど離れたかを表します。
正確性（accuracy）
Eq[ln p(y | x)]。その信念のもとで、実際の感覚入力をどれほどよく説明できるかを表します。
本文のとおり、（自由エネルギー）＝（複雑性）−（正確性）です。本文では、この式に沿って、行動によって感覚入力そのものを変え、自由エネルギーを小さくすることを「行為推論」と呼びます。
本文は、式(1)を F(q, p | y)、式(2)を F(y, p | q) と書き分けて、知覚と行為を対比しています。縦棒の右に置いたものが、その場面で固定しておくものです。知覚推論（式(1)）では、得られた感覚入力 y を固定して、認識モデル q を調整します。行為推論（式(2)）では、認識モデル q を固定し、行為によって感覚入力 y そのものを変えます。量としては同じ自由エネルギーで、知覚と行為のどちらの側から小さくするかを、引数の順で示しています。
なぜ「複雑性」と呼ぶのか
この項は、観察を受けて事前分布を事後的な信念へ変えるために、どれだけの情報を新たに使ったかを測ります。KLダイバージェンスは、事前分布に対する事後信念の情報利得、言い換えれば、観察に合わせてモデルをどれだけ作り込んだかの尺度です。そのため「複雑性」と呼ばれます。ここでいう複雑性は、パラメータの個数のことではありません。パラメータが多くても事後信念が事前分布からほとんど動かなければ、この意味での複雑性は小さくなりえます。
自由エネルギーを小さくするには、観察をよく説明しつつ、事前分布から必要以上に離れない信念が必要です。複雑性を増したことで正確性がそれ以上に改善するなら、その増加は埋め合わせられます。反対に、正確性が同程度のまま、あるいは改善が複雑性の増加に見合わないままモデルを作り込むと、自由エネルギーが高くなります。こうして、複雑性の項は過剰に複雑なモデルへのペナルティとして働きます。求められているのは「単純であればよい」でも「当てはまりさえよければよい」でもなく、両者の釣り合いです。
候補となる生成モデルを m と書くと、モデルエビデンスは p(y | m) = ∫ p(y | x, m)p(x | m) dx です。q(x) がそのモデルの事後分布と一致するとき、最小化された自由エネルギーは −ln p(y | m) に一致します。近似が完全でなければ、自由エネルギーはこの値の上界です。したがって、各モデルについて自由エネルギーを最小化して比べることは、モデルエビデンスが大きいモデルを選ぶベイズ的モデル比較に対応します（モデルの事前確率が異なる場合は、それも合わせて考慮します）。モデルエビデンスは、データへの適合だけでなく、事前分布から事後分布への更新に要した複雑性も織り込むため、ここでも同じ釣り合いが現れます。
本文で複雑性の項が「感覚状態 y に依存しない」とされているのは、q と p を固定したときの式の形についての話です。実際の推論では q が観察に応じて更新されるため、複雑性の値も間接的に観察の影響を受けます。
6. 二値の世界で、上界を確かめる
外界状態を x ∈ {0, 1}、得られた感覚を y = 1 とします。下の q(x=1) を動かすと、複雑性・正確性・自由エネルギーがどう変わるかを確かめられます。
固定した尤度：p(y=1 | x=1) = 0.85、p(y=1 | x=0) = 0.20
値の単位は nat（自然対数による情報量）。表示は丸めているため、末尾の桁に小さな差が出ることがあります。
7. 第6章の妄想の説明へどうつながるか
第6章の注7には、「感覚入力の説明力が同程度であれば、複雑なモデルの方が高い自由エネルギーを持つため、選ばれづらくなる」とあります。ここまでの式で言えば、正確性がほぼ同じなら、信念を事前分布から大きく動かす説明ほど複雑性が大きくなり、自由エネルギーも高くなる、ということです。
本文の例に当てはめてみます。見知らぬ男の視線に意味を感じ、自分が警戒状態にあるとき、その感覚入力を説明する候補として、次の二つが比べられています。
説明Bも、独立した仮説を足せば、感覚入力を説明Aと同程度に説明できます。しかしそのぶん、事前分布から動かさなければならない信念が増え、複雑性が大きくなります。正確性が同程度なら、この差がそのまま自由エネルギーの差になり、説明Aが選ばれやすくなります。本文が妄想仮説を、外的な感覚と内的な感覚を同時に説明できる「優れた仮説」と呼ぶのは、この意味においてです。
ただし、どちらの複雑性が大きくなるかは、事前分布の設定しだいです。「監視されている」という仮説の事前確率が極端に低ければ、説明Aの方が事前分布から大きく離れることもありえます。また、これは精神医学的な状態をこの一項だけで説明するという主張ではありません。第6章の議論を読むための、数理的な見取り図です。