重構(gòu)期望自由能：四種公式及其統(tǒng)一

Reframing the Expected Free Energy: Four Formulations and a Unification Unavailable

重構(gòu)期望自由能：四種公式及其統(tǒng)一

https://direct.mit.edu/neco/article-abstract/38/3/439/135158/Reframing-the-Expected-Free-Energy-Four?redirectedFrom=fulltext

概述

一、研究背景與核心問題 本文聚焦于主動推理（Active Inference）框架中的核心目標(biāo)函數(shù)——期望自由能（Expected Free Energy, EFE）。當(dāng)前文獻(xiàn)中存在多種直觀上合理但形式各異的EFE公式（如“風(fēng)險+模糊性”、“信息增益/語用價值”等），但這些公式多依賴直覺合理性，缺乏從單一數(shù)學(xué)根源統(tǒng)一推導(dǎo)的嚴(yán)謹(jǐn)基礎(chǔ)。本文正式提出并試圖解決這一“統(tǒng)一問題”（the unification problem），即如何從一個嚴(yán)格的EFE根定義出發(fā)，邏輯一致地還原所有現(xiàn)有公式。

二、兩種定義路徑的深度剖析 文章系統(tǒng)對比了定義EFE的兩條主流路徑，揭示了各自的優(yōu)勢與理論邊界：

1. 基于觀測風(fēng)險的路徑（Risk over observations + Ambiguity）
   • 特點：該設(shè)定目前缺乏嚴(yán)格的數(shù)學(xué)證明，但具有極強的公式覆蓋能力。若假設(shè)“目標(biāo)分布的似然 T ( o ∣ s ) 等于生成模型的似然 P ( o ∣ s ) ”，則可從中推導(dǎo)出所有已知EFE公式。
   • 局限：在更一般的**部分可觀測馬爾可夫決策過程（POMDPs）**中，這一似然約束實際上嚴(yán)格限制了有效先驗偏好的集合。只有在似然映射“無損”的特殊條件下，觀測先驗偏好才能任意定義；一般情況下，僅有極少數(shù)先驗偏好能與生成模型的似然映射兼容。
2. 基于狀態(tài)風(fēng)險的路徑（Risk over states + Ambiguity）
   • 特點：該路徑具備嚴(yán)格的數(shù)學(xué)根定義證明，理論根基扎實。
   • 局限：表達(dá)能力受限，僅能推導(dǎo)出兩種公式（狀態(tài)風(fēng)險+模糊性、熵+期望能量），無法涵蓋“信息增益”等更廣泛的直觀解釋，犧牲了公式的多樣性以換取數(shù)學(xué)嚴(yán)謹(jǐn)性。

三、核心結(jié)論與理論意義

• 揭示核心權(quán)衡：本文明確指出EFE構(gòu)建中存在**“數(shù)學(xué)嚴(yán)謹(jǐn)性”與“公式覆蓋度”之間的內(nèi)在權(quán)衡**。兩條路徑無法同時滿足嚴(yán)格證明與全面推導(dǎo)，研究者在不同應(yīng)用場景下需根據(jù)任務(wù)需求進(jìn)行選擇。
• 統(tǒng)一條件：文章最終探討了文獻(xiàn)中實現(xiàn)EFE公式統(tǒng)一的潛在條件，指出只有在無隨機波動的系統(tǒng)語境下，結(jié)合自由能原理的特定假設(shè)，才可能真正實現(xiàn)多公式的理論統(tǒng)一。
• 領(lǐng)域貢獻(xiàn)：本研究為主動推理領(lǐng)域的理論基石提供了清晰的數(shù)學(xué)邊界與概念澄清，有助于消除現(xiàn)有文獻(xiàn)中的表述模糊性，指導(dǎo)研究者在強化學(xué)習(xí)、計算神經(jīng)科學(xué)及機器人控制等場景中合理選擇EFE公式，并推動未來更嚴(yán)謹(jǐn)、更通用的主動推理算法設(shè)計。

摘要

主動推理是一種關(guān)于感知、學(xué)習(xí)和決策的過程理論，應(yīng)用于神經(jīng)科學(xué)、機器人學(xué)、心理學(xué)和機器學(xué)習(xí)等多個研究領(lǐng)域。主動推理依賴于一個稱為期望自由能的目標(biāo)函數(shù)，該函數(shù)因其公式化表達(dá)（例如，風(fēng)險加模糊性，以及信息增益/實用價值公式）在直覺上的合理性而被證明是合理的。本文旨在形式化地闡述從單一根期望自由能定義推導(dǎo)出這些公式化表達(dá)的問題——即統(tǒng)一問題。然后，我們分析了定義期望自由能的兩種方法。更準(zhǔn)確地說，期望自由能要么被定義為（1）觀測風(fēng)險加模糊性，要么被定義為（2）狀態(tài)風(fēng)險加模糊性。在第一種設(shè)定下，迄今為止尚未提出對期望自由能的嚴(yán)格數(shù)學(xué)證明，但通過假設(shè)目標(biāo)分布 T ( o ∣ s ) 就是生成模型的似然 P ( o ∣ s ) ，可以從中恢復(fù)出所有的公式化表達(dá)。重要的是，在此似然約束下，如果似然是無損的，則對觀測的偏好先驗可以任意定義。然而，在更一般的部分可觀察馬爾可夫決策過程（POMDP）情形下，我們證明似然約束實際上限制了有效觀測偏好先驗的集合。實際上，只有有限的一類觀測偏好先驗與生成模型的似然映射兼容。在第二種設(shè)定下，存在對根期望自由能定義的證明，但該設(shè)定僅包含兩種公式化表達(dá)：狀態(tài)風(fēng)險加模糊性，以及熵加期望能量的公式。最后，我們討論了在文獻(xiàn)中，通過在無隨機波動系統(tǒng)的特定背景下訴諸自由能原理，已經(jīng)提出了期望自由能公式化表達(dá)統(tǒng)一的條件。