主動推理基礎：自由能原理的原理、算法和應用（面向工程師）

主動推理基礎：自由能原理的原理、算法和應用（面向工程師）

Fundamentals of Active Inference: Principles, Algorithms, and Applications of the Free Energy Principle for Engineers

https://www.amazon.com/Fundamentals-Active-Inference-Principles-Applications/dp/0262050951?asin=0262050951&revisionId=&format=4&depth=1

引言

主動推斷（AIF）框架是一種原則性方法，用于建模大腦，或者更一般地說，用于建模具有大腦（或類腦器官）的生物體與其環境之間的相互作用。該框架由著名神經科學家卡爾·弗里斯頓及其眾多合作者于2000年代中期至今開發，已成為計算神經科學領域極具影響力和重要貢獻的理論。它還催生了一個更廣泛、更具雄心的領域，稱為貝葉斯力學，該領域超越了大腦及人類/動物行為的建模，旨在提供一種基于物理學的自組織系統描述。本書僅簡要提及貝葉斯力學，其完整內容與闡述將留待我后續關于該主題的專著中呈現。無論是AIF還是貝葉斯力學的核心機制，都是本書中將遇到的一個統一原理——自由能原理——的具體應用。

在過去十年中，我們見證了人工智能（AI）系統領域興趣與投資的爆炸式增長。這些系統如今已滲透到我們日常生活的許多方面，成為我們日常交互技術的核心組成部分，并從根本上改變了許多行業的面貌。這些進步主要歸功于基于深度學習的AI系統日益普及和高效。最近，大型語言模型的出現進一步激發了對AI系統前景與潛力的更大興趣。

本書將探討AIF——一種與基于深度學習的AI系統正交的方法——如何用于建模、描述和設計能夠與其環境交互并適應的硅基或現實生活中的機器人實體。AIF扎根于計算神經科學，利用機器學習與貝葉斯統計的語言，提供了一種受生物學啟發的生命系統描述。

什么是主動推斷？

從歷史上看，AIF起源于弗里斯頓及其合作者在1990年代早期開發的一套神經影像工具和軟件的核心統計方法，即統計參數映射（SPM）。1 到2003年，該軟件套件還包含了動態因果建模（DCM），這是一種為理解實驗環境中的神經元動態而開發的方法。該方法使用非線性狀態空間模型，包括一個關于神經活動如何隨時間變化的狀態轉移模型，以及一個描述不同神經狀態變化如何導致數據生成的觀測模型，這里的數據是指通過功能性磁共振成像（fMRI）腦成像設備測量的血氧水平。DCM提出了一種方法，用于理解在實驗任務響應中，大腦不同區域的神經活動與血氧水平之間如何相互關聯。DCM的核心方法后來影響了連續狀態空間中早期AIF的表述，該表述建立在預測編碼等早期神經科學領域的基礎上，并整合了著名的貝葉斯大腦假說。

主動推斷涉及對一個具有適應能力的人工有機體（即智能體）及其所耦合的環境進行建模。在此語境下，智能體一詞通常指任何能夠被動確定其環境狀態（感知）并隨著環境隨時間演變而主動參與并改變環境（行動）的系統（無論是模擬系統還是生命系統）。這樣一來，智能體既指自然的生物智能體，也指模擬的智能體。在本書中，出于實用目的，我們常使用模擬智能體作為生物體大腦和身體的隱喻，同時也作為一種建立直觀理解的方式。環境一詞含義廣泛，且會根據所建模的系統類型而變化。在某些情況下，環境可能是受限的，只有少數可訪問的狀態（例如一個只能處于開或關狀態的電燈開關）；而在另一些情況下，環境可能非常龐大，例如我們日常互動的物理世界。大致來說，環境可以被視為智能體之外的一切事物，包括其他智能體——這些智能體也是該智能體可以感知和作用的對象。

主動推斷為有機體如何在環境中進行感知和行動提供了獨特的視角。人們可能會持傳統觀點，認為生物智能體通過其感官自下而上地重建周圍環境的所有細節來進行感知。雖然這種觀點很有吸引力，但神經科學和心理學中越來越多的證據表明，這并非事情的全貌。從零開始重建環境以確定其如何隨時間變化，代價是高昂的，尤其是在高度動態的環境中，快速決策可能是為了生存而優先考慮的事項。相反，主動推斷提出，智能體始終處于一個持續的預測過程中，有時稱為統計推斷，在此過程中，智能體對環境的真實狀態形成假設或預期。這一過程是貝葉斯大腦假說（我們將在第1章探討）以及許多基于無監督學習的機器學習方法的關鍵。

這種性質的預測是高效的。雖然環境可能隨時間頻繁變化，但環境中存在許多相對固定的規律性和特征。其中一些規律性是基本概念，例如空間和時間以及適用于它們的物理定律。舉例來說，未來總是跟隨現在/過去之后，兩個固體物體不能同時占據同一空間。這些規律性很可能深深嵌入在生物智能體的知識中，也許編碼在其DNA中。其他規律性包括對我們自身行為（習慣、欲望、需求）、他人行為（社會期望與習俗、文化）以及我們所居住、穿行或互動的空間（交通信號燈/人行橫道、家庭、法律、金錢）的預期。用貝葉斯推斷的術語來說，我們將這種關于環境或智能體自身性質的、預先存在或假定的信息稱為 先驗 。這些先驗編碼了關于環境將如何隨時間變化的模型，為智能體如何感知環境的信念提供了基礎。換句話說，先驗信息會告知智能體對環境性質的預期或預測，只有當智能體在下一時刻通過感官感知到環境的實際狀態時，這些預期才會得到確認。這種方法之所以高效，是因為花費時間去重建環境中那些有規律且可預測的元素是浪費的，而且這些先驗信息可以在感知過程中被快速利用。

這一思想的關鍵在于，智能體只能接觸到自身與環境之間界面上的信息——即感覺上皮——并且必須僅利用這些感覺信息來確定環境的狀態。重要的是，從人工或自然智能體的感覺系統源源不斷傳入的數據，使其能夠計算出一個誤差信號，即 預測誤差 ——當預期與現實不符時就會出現這種誤差——這使智能體能夠調整自身信念以與現實相匹配。當智能體改變某個信念或預期時，我們常說它“更新了其所處環境的統計模型”，或者更非正式地說，它“改變了它的信念”。通過這種方式，智能體的體驗是對現實樣貌的一種內部模擬的預期，而這種預期會受到來自物理世界的感覺信號的修正。然而，在某些情況下，這種預期可能會主導智能體對現實的看法，甚至覆蓋感覺信號。例如，多項研究中，葡萄酒專家被要求對用食用色素染成紅色的白葡萄酒進行風味分類（Shankar et al., 2010; Morrot et al., 2001; Parr et al., 2003）。品酒師們常常用紅葡萄酒特有的風味來描述這類葡萄酒，而非白葡萄酒的風味。這表明，在某些情境下，他們基于先驗信念（紅色的酒意味著它是紅葡萄酒）所形成的預期，影響甚至覆蓋了他們對環境的感覺體驗（舌頭品嘗到的白葡萄酒風味）。類似效應在行為心理學中已有充分研究和文獻記錄。這些研究以及來自神經科學的其他證據強烈表明，我們在世界中的 體驗 在很大程度上是由我們對感覺信號的預期（先驗信念）所驅動或生成的，而不是由感覺信號本身所構成的體驗。

然而，一個真正的主動推斷智能體并非僅僅以這種方式被動感知。相反，這類智能體還具備改變環境以使其符合自身預期或預測的能力。當環境與我們的預期不符時，采取行動并改變環境狀態的能力意味著我們也可以使環境符合我們對它的預期，從而減少我們的感覺預測誤差。有趣的是，這表明，從隱喻的角度來說，“欲望”或驅動力等概念與預測或預期有著根本性的聯系。一個智能體“想要”或“相信”什么，直接關聯到它對世界應該是什么樣的預期。智能體可以通過采取行動來改變環境，或者通過改變自身的欲望或信念以匹配環境，來實現這些欲望；無論哪種方式，都會減少感覺預測誤差。從這個意義上說，可以將智能體在環境中的存在解讀為一種自我實現的預言。更正式地講，這個過程可以視為一種穩態或反饋控制。

這些關于行動與感知本質的看似簡單（卻驚人深刻）的思想——與預期和預測誤差的概念相聯系——將構成本書探討的方法的基礎。需要注意的是，前述關于主動推斷的視角依賴于對環境和智能體本質的統計解釋，即它們在一個界面上相互作用，這個界面正式稱為馬爾可夫毯。正如我們將看到的，這意味著主動推斷可以用精確的統計（數學）語言來描述，從而使我們能夠開發、設計并測試主動推斷智能體在其環境中交互、適應和生存的能力。這是主動推斷方法的一個主要優勢。盡管關于主動推斷的本質及其能力/應用存在許多哲學解釋，但其核心理論植根于統計語言，特別是機器學習（貝葉斯推斷），這使得我們能夠通過仿真或現實世界中的機器人技術來檢驗主動推斷的預測和主張。

主動推理，自由能原理， 和貝葉斯力學

雖然本書的主要關注點是AIF，但我們很快就會看到弗里斯頓提出的一個基本思想——即自由能原理（FEP；FEP將在本書中反復出現，但其最詳細的定義見第4章和第14章）所發揮的重要作用。此外，貝葉斯力學——一個在過去十年中從AIF研究中涌現出來的相關領域——正在逐漸成熟并形成自身的體系。盡管經常被混為一談，但AIF、FEP和貝葉斯力學代表了不同且獨立（但高度相關）的思想。我們在此花點時間澄清這些不同術語，并提供描述性的工作定義，隨著本書的推進，這些定義將被細化和形式化（見圖0.1）。

概括而言，這三個術語都關注智能體（無論是生物的還是人工的）與其環境之間的關系。如前所述，這樣的智能體是預測性的和主動性的。它們被對自身所耦合的環境的期望所驅動，當期望未被滿足時，它們會調整并改變信念或環境。弗里斯頓提出了兩條理解生命系統預測性質的不同路徑，即低路與高路的劃分。低路是AIF的視角，它試圖“追求由康德和亥姆霍茲確立的議程——以一種自下而上的方式——推廣推理和預測的能力，以看看它能將我們理解與環境的具身體驗交換帶到多遠”（Friston, 2019a, p. 75）。

相比之下，高路是貝葉斯力學的視角，它“代表了一種自上而下的方法，從詢問關于事物如果存在就必須具備的必要屬性的基本問題開始。利用數學（變分）原理，人們可以進而表明，存在是一個生物與其環境之間的具身體驗交換——這必然包含預測性處理，作為自我證明力學的一個方面”（Friston, 2019a, p. 75）。

低路與高路之間的二分法是一個隱喻性框架，它將本書（關于AIF）與我即將出版的關于貝葉斯力學的著作區分開來。具體而言，貝葉斯力學（Ramstead et al., 2023）始于物理學家埃爾溫·薛定諤在其1944年出版的《生命是什么？》（Schr?dinger, 1944）一書中提出的一個問題：“在生命有機體的空間邊界內發生的時空事件，如何能夠用物理學和化學來解釋？”

未完。。。。。。。