主動推理與函數(shù)參數(shù)化：微分平坦性和平滑隨機實現(xiàn)

主動推理與函數(shù)參數(shù)化：微分平坦性和平滑隨機實現(xiàn)

Active Inference and Functional Parametrisation: Differential Flatness and Smooth Random Realisation

https://www.mdpi.com/1099-4300/28/1/87

摘要

本文是首次嘗試將構(gòu)造性非線性控制理論技術(shù)與主動推理相結(jié)合。具體而言，我們關(guān)注微分平坦性與用于控制場景的生成模型設(shè)計之間的關(guān)系。我們特別強調(diào)微分平坦系統(tǒng)的路徑性質(zhì)，這些性質(zhì)繼承自其關(guān)于相繼時間導(dǎo)數(shù)的定義，并將此與主動推理中構(gòu)建連續(xù)時間生成模型時所使用的運動廣義坐標聯(lián)系起來。為了闡明基本概念，我們借助眼動控制的例子。 關(guān)鍵詞：微分平坦性；主動推理；周期性平滑隨機函數(shù)；路徑公式化

1. 引言

   主動推理是計算神經(jīng)科學(xué)中最有前途的形式框架之一（如果不是最有前途的話），在許多領(lǐng)域有許多應(yīng)用（參見，例如，[1] 及其中的參考文獻）。最近突顯路徑公式化和貝葉斯力學(xué)的發(fā)展——在 [2,3] 等文獻中開發(fā)——為解決感知、規(guī)劃和控制的許多方面提供了一個有原則且自然的環(huán)境。我們在本文中將引用的核心思想是，（自然或人工）生物利用隱式生成世界模型來對世界進行推斷并控制其感知的世界。后者對于我們當前的目的更為顯著。事實上，人們可以將生成模型的推斷（即感知）角色僅僅視為獲得邊緣似然緊界的一種方法——這是通過行動優(yōu)化感官數(shù)據(jù)時關(guān)注的量。

我們在此考慮一些條件，滿足這些條件可能有助于構(gòu)建非常適合控制環(huán)境的生成模型。關(guān)鍵在于，這些條件與非線性控制中開發(fā)的構(gòu)造性框架直接一致（參見，例如，[4–6]）。因此，我們試圖展示該框架，特別是微分平坦性結(jié)構(gòu)屬性，如何在主動推理應(yīng)用于控制問題中被利用。

許多有洞察力的工作已經(jīng)發(fā)表在這個一般領(lǐng)域，既包括主動推理與經(jīng)典控制方案之間的聯(lián)系和區(qū)別，也包括部署主動推理進行控制（僅舉幾例，參見，例如，[7–14]）。

乍一看，微分平坦性和主動推理似乎是相距甚遠的框架。前者旨在將軌跡跟蹤誤差降至零，而后者最小化驚喜或變分自由能；前者本質(zhì)上是確定性的，而后者自然地處理隨機波動。我們將看到，軌跡跟蹤誤差確實是一種驚喜形式，并且微分平坦性的定義本身可以適應(yīng)平滑隨機波動，這特別適合神經(jīng)科學(xué)應(yīng)用。最小化驚喜或差異主要有兩種方法： ? 第一種是將問題設(shè)想為一個優(yōu)化過程，如主動推理中（以及最優(yōu)控制或模型預(yù)測控制中）；在這方面，目標是滿足一個優(yōu)化準則，從而導(dǎo)致目標差異的最小化。 ? 第二種是為目標推導(dǎo)一個確定性控制（行動）方案，并在線估計波動以主動補償它們。 第一條路線是主動推理所采取的，而第二條支撐了微分平坦性方法。然而，我們將看到這兩個框架并不像人們可能認為的那樣不同。事實上，自由能最小化所強制的模式動態(tài)——當這些動態(tài)具備微分平坦性屬性時——會產(chǎn)生一種函數(shù)參數(shù)化，將這兩個方案緊密聯(lián)系起來。此外，這種參數(shù)化似乎是研究神經(jīng)科學(xué)和生物學(xué)中非線性動力學(xué)的一個最富有成果且充滿希望的工具。

更廣泛地說，在此，我們試圖突出我們框架的一些潛在有用特征，該框架汲取了動態(tài)控制系統(tǒng)的結(jié)構(gòu)屬性，并采用典型的路徑式且保持物理特性的公式化。特別是，我們將看到微分平坦性最顯著的特征——即微分參數(shù)化——如何在主動推理框架內(nèi)發(fā)揮作用。更具體地說，這種微分參數(shù)化除其他關(guān)系外，還誘導(dǎo)了一個從感知到行動的可逆映射。

我們在第 5 節(jié)中感興趣的問題是這樣一個問題：我們擁有一個生成模型，該模型描述了（我們相信）某個系統(tǒng)如何作為某些控制變量的函數(shù)隨時間演變。給定該系統(tǒng)的一個期望狀態(tài)或路徑，我們的興趣在于理解為了實現(xiàn)該期望配置，必須如何設(shè)置控制變量。更具體地說，我們感興趣的是生成模型應(yīng)具備哪些屬性，以便推斷出實現(xiàn)某些目標的控制變量。

本文結(jié)構(gòu)如下。我們首先簡要介紹用于控制的生成模型的概念，并介紹一些我們隨后將引用的關(guān)鍵定義。其中幾個定義結(jié)果依賴于可微波動，這促使我們考慮我們將采用的隨機波動解釋（即使用隨機周期函數(shù)）。在概述了我們感興趣的這類生成模型的基本結(jié)構(gòu)后，我們考慮支撐主動推理的原則如何約束我們在設(shè)計這些模型并為其設(shè)定目標時可能做出的選擇。我們利用主動推理中關(guān)鍵目標函數(shù)的形式（變分自由能和期望自由能）來考察優(yōu)良生成模型的一些通用屬性，并考慮是否可以通過訴諸微分平坦性的概念來激發(fā)這些屬性。在這些理論考量之后，我們通過一個基于眼動控制的實例來演示這些想法如何在實踐中運作。最后，我們討論其中一些想法與主動推理之間的關(guān)系，特別關(guān)注運動廣義坐標的概念，該概念繼承自與微分平坦性類似的思想，但結(jié)果卻扮演著截然不同的角色。

1. 初步概念：生成模型、行動、狀態(tài)與波動選擇

2.1. 生成模型

如上所述，我們要研究的是基于生成模型表述的控制問題。為了闡明這一點——稍后將對此進行更詳細的展開——請考慮我們要如何控制眼睛的位置，以便在表面上實現(xiàn)特定的注視點或跟蹤一個移動點。為了決定如何移動眼睛，我們的大腦可能會采用這樣一個模型：其中行動變量（ u u），如眼外肌的收縮，可能會影響狀態(tài)（ x x）的動力學(xué)，例如視線角度或注視點；并且在該模型中，這些狀態(tài)會返回一些可觀測數(shù)據(jù)（ y y）（例如視覺數(shù)據(jù)）。我們現(xiàn)在精確地概述生成模型這一概念。

這種公式化的動機有兩點。首先，它允許人們根據(jù)分配給每一階運動的波動之間的協(xié)方差來表達不同平滑度的噪聲過程。其次，通過應(yīng)用鏈式法則，它允許人們通過 x x 的廣義坐標的梯度來確定 y y 的廣義坐標關(guān)于 u u 的梯度。這在稍后將很重要，屆時我們將考察變分自由能梯度的下降——通過改變 u u——如何被理解為類似于脊髓反射弧的實行，從而使本體感覺數(shù)據(jù)與預(yù)期的設(shè)定點保持一致。

尋找從感知到行動的映射的需求是主動推理（使用運動廣義坐標）和應(yīng)用于控制的微分平坦性共同的關(guān)鍵思想之一。有趣的是，兩者都通過訴諸生成模型中變量的連續(xù)導(dǎo)數(shù)來解決這個問題。

因此，它對應(yīng)于相應(yīng)隨機微分方程組的確定性部分。

2.2. 行動、輸出與狀態(tài)

我們在此給出行動（action，或控制輸入）、輸出、狀態(tài)和實現(xiàn)（realisation）的精確定義，這些將在第 6.2 節(jié)中用到。這些定義在 [4] 中是在微分代數(shù)設(shè)定下給出的；另見 [15] 以獲取基礎(chǔ)性的探討，其類似于下文（盡管是在確定性設(shè)定下陳述的）。讓我們注意到，隨后的定義，特別是微分平坦性定義，是在存在波動的情況下做出的。這并不是說我們失去了這一概念的確定性特征，因為這些擾動很可能是確定性函數(shù)。如果它們足夠平滑，即在一定階數(shù)內(nèi)可微，它們也可能是隨機的。

注意，行動 u ( t ) ，或控制輸入，是使我們能夠作用于系統(tǒng)以實現(xiàn)特定目標的函數(shù)。因此，動力學(xué)方程形成了一個未定的微分方程組，因為控制函數(shù) u ( t ) 并非先驗確定的。一旦控制變量被固定（即，用已知的時間函數(shù)代入），系統(tǒng) (1) 就變成了確定的（即，可以求解或積分）。

輸出 y ( t ) ) 是由模型生成的。如果智能體是生物，這些輸出或觀測可能代表來自感官的信號；如果是人工系統(tǒng)，則代表來自傳感器的信號。更準確地說，我們有以下定義。

并且，局部地，在一般正則點的鄰域內(nèi)（即，Ψ關(guān)于 u 的雅可比矩陣是正則的點），我們可以使用隱函數(shù)定理求解 (8) 得到 u。在此以及隨后的定義中，這將被稱為局部地和一般地。

狀態(tài)變量代表系統(tǒng)的瞬時記憶：一旦控制（行動）變量被確定，對狀態(tài)變量（在時間 t）的了解使得預(yù)測未來狀態(tài)（在時間 t + dt）成為可能。一個互補的表述如下：動態(tài)系統(tǒng)的狀態(tài)是一組物理量，對這些量的指定（在沒有外部激勵的情況下）完全決定了系統(tǒng)的演化。更準確地說，我們有以下定義。

一個模型的實現(xiàn)（realisation）由該模型的一個狀態(tài)和一個狀態(tài)表示組成，正如下述定義所述。

2.3. 波動選擇

上述定義的一個有趣之處在于，它們依賴于存在可微（即平滑或解析）的波動。這意味著我們需要仔細思考我們所說的波動是什么意思——這通常是隨機動力系統(tǒng)研究中的一個重要主題。對于出現(xiàn)在上述生成模型中的波動
，可以有幾種選擇。這些包括以下內(nèi)容：

? 伊藤（It?）意義下的隨機過程。

? 斯特拉托諾維奇（Stratonovich）意義下的隨機過程。

? 非標準無窮小量（參見，例如，[16–18]）；

? 具有 H?lder 連續(xù)樣本路徑的隨機過程，產(chǎn)生隨機常微分方程（RODEs）（參見，例如，[19]）；

? 粗糙路徑（參見，例如，[20]）；

? 隨機傅里葉級數(shù)（RFS）（參見，例如，[21,22] 了解度量和收斂性質(zhì)，以及黎曼流形 [23] 和局部緊群 [24] 上的擴展；另見 [25] 了解工程師的視角）。

讓我們選擇后者，因為它們可能提供一種方便的 形式的波動，并且可以證明隨機常微分方程的解收斂于斯特拉托諾維奇隨機微分方程的解（參見，例如，[25]，定理 5.1）。因此，我們可以考慮所謂的周期性平滑隨機函數(shù)：

平滑隨機函數(shù)在原子尺度上可能不是合適的選擇，在那裡粒子的運動是高度 erratic（不規(guī)則/ erratic）的。然而，它們在細胞和介觀尺度上變得特別合適，并且最可能在宏觀尺度上是合適的，在這些尺度上，許多波動是由動力學(xué)系統(tǒng)產(chǎn)生的，這些系統(tǒng)演化的時間尺度比給定控制問題所考慮的時間尺度更快（參見 [1] 以及 Stratonovich 的開創(chuàng)性觀察：“在用馬爾可夫過程替換實際過程時必須格外小心，因為馬爾可夫過程具有許多特殊特征，特別是，由于缺乏平滑性，它們不同于無線電工程中遇到的過程……無線電工程中實際遇到的任何隨機過程都是解析的，且其所有導(dǎo)數(shù)以概率 1 是有限的”（[33]，第 122–124 頁））。

備注 2（小波隨機級數(shù)）。 秉承上述精神，人們可能會傾向于考慮小波隨機級數(shù)，因為小波展開比其傅里葉對應(yīng)物表現(xiàn)更好。然而，C. Esser, S. Jaffard 和 B. Vede 的近期工作 [34]（另見 [35]）表明需要謹慎；與傅里葉級數(shù)相比，幾乎每個連續(xù)函數(shù)的隨機化都會產(chǎn)生一個幾乎必然無處局部有界的函數(shù)。

為了對狀態(tài)、控制輸入和輸出的概念提供更具體的直觀理解，讓我們考慮一個簡單但具有代表性的例子。

1. 自由能、平坦性與概念相似性

3.1. 自由能與期望自由能

人們可以將主動推理和微分平坦性指導(dǎo)的控制方案都理解為從詳細描述行動對感知影響的模型中，識別從感知到行動的映射。平坦性依賴于行動與感知之間存在一個可逆映射，使得期望的感知軌跡唯一地確定產(chǎn)生它的行動。主動推理涉及行動的選擇，這些行動使感知與生成模型隱含的感知數(shù)據(jù)邊緣密度的眾數(shù)保持一致。這是由感知數(shù)據(jù)決定的反射性行動所介導(dǎo)的。識別期望感知軌跡的邊緣密度通常用期望自由能來指定——其作用是基于替代行動序列最小化期望與預(yù)期感知軌跡之間的 Kullback–Lieber 散度（也稱為風(fēng)險）的能力，來確定這些序列的先驗合理性。

與上述概述的那種控制理論公式化一致，主動推理可以被公式化為優(yōu)化一個模型的泛函，該模型將可控變量與某些可觀測結(jié)果聯(lián)系起來。具體而言，它依賴于變分自由能的優(yōu)化（最小化），該自由能作為那些觀測的驚喜或負對數(shù)邊緣似然的上界。變分自由能可以通過幾種方式來公式化，以便就能量（即驚喜）和散度（即相對熵）而言，量化從事主動推理的系統(tǒng)的性能：

上文將變分自由能 F F 表述為兩個概率分布（針對離散狀態(tài)）或密度（針對連續(xù)狀態(tài)）的泛函。標記為 p 的密度是與我們的生成模型相關(guān)聯(lián)的密度，而 q 代表一種密度，它被不同地稱為識別密度、近似后驗密度或變分密度。就本文的目的而言，假設(shè)變分密度已經(jīng)被優(yōu)化，使得 q ( x ( t ) ∣ u ( t ) ) = p ( x ( t ) ∣ y ( t ) , u ( t ) ) 。自由能的每種表述都依賴于生成模型的不同分解。當表示為聯(lián)合密度時，自由能的最小化可以看作是一個約束最大熵問題。在分解為條件概率和邊緣似然時，自由能被視為驚喜（surprise）的上界——即在給定生成模型下，觀測的負對數(shù)邊緣似然、貝葉斯模型證據(jù)或不可能性。最后，將生成模型分解為先驗和似然，使我們在復(fù)雜度（即為了解釋觀測值，我們必須偏離先驗信念多遠）與我們解釋感官輸入的準確度之間取得平衡。

除此之外，人們還可以構(gòu)建期望自由能，以突出其他形式的差異，這些差異與控制優(yōu)化特別相關(guān)。當在路徑式設(shè)定中顯式地構(gòu)建時，我們有

期望自由能通常用于規(guī)劃，在這種情況下，我們可能會沿未來路徑對該量進行積分，并為具有較低期望自由能的控制狀態(tài)路徑分配更高的概率。與后續(xù)討論特別相關(guān)的是這樣一個想法：通過在我們希望獲得的觀測路徑上設(shè)置先驗（此處通過對目標進行條件化來表示），期望自由能的優(yōu)化涉及確定能夠?qū)崿F(xiàn)這些結(jié)果的控制路徑集。

我們現(xiàn)在可以識別出至少三個不同的最優(yōu)性方面，即驚喜、不充分性和差異：

上述自由能（ F 和 G ）可被視為所謂的全局李雅普諾夫函數(shù)（參見，例如，[38]），它們捕捉了最優(yōu)控制中看到的這些方面（參見，例如，[39,40]）。在下文中，我們將主要關(guān)注 G ，特別是風(fēng)險項，而其他方面留待未來的工作。更準確地說，我們感興趣的是微分平坦性的概念是否與優(yōu)化 F F 和 G 的生成模型的選擇相一致。在微分平坦模型上推導(dǎo)軌跡跟蹤行動律將被視為最小化了 G 中的上述風(fēng)險（參見第 4.6 節(jié)）。

表 1 總結(jié)了到目前為止使用的符號，其中粗體符號表示向量。

3.2. 微分平坦性

3.2.1. 能控性

當人們希望操控一個系統(tǒng)時，一個普遍存在的概念是全局能控性，如下定義所述（參見，例如，[41]）。

讀者可能會注意到，這個定義純粹是描述性的：它不包含任何操控系統(tǒng)的構(gòu)造性程序；僅通過閱讀定義，不可能推斷出應(yīng)用于從 x 0 到 x 1 的控制律的形式。這是一種屬于解的存在性類型的定義，而不是針對給定問題的解構(gòu)造的定義。

讀者可能會注意到，這個定義純粹是描述性的，因為它不包含任何操控系統(tǒng)的構(gòu)造性程序。此外，它在本質(zhì)上是逐點的，而不是路徑式的。事實上，這個定義沒有說明任何關(guān)于連接初始狀態(tài)到最終狀態(tài)的路徑。這條路徑可能是不合理的，但仍然滿足能控性要求。我們將在下一節(jié)看到一個更強的、在我們看來更有用的屬性，即微分平坦性。

3.2.2. 通過觀察與行動的動機

主動推理的前提是，智能體尋求最小化其關(guān)于周圍環(huán)境的信念或期望與其經(jīng)歷的實際狀態(tài)之間的驚喜或散度。原則上，這種最小化可以通過有效的信息收集和行動來實施，或者根植于智能體模型的結(jié)構(gòu)本身（例如通過學(xué)習(xí)及進化來細化）。

我們將考察一種情況，其中必要的效率被編碼在智能體模型結(jié)構(gòu)本身中。更準確地說，感知和行動的必要性通過以下方式直接得到滿足：

(Odsf) 觀測差異結(jié)構(gòu)性實現(xiàn)。狀態(tài) x 可以通過智能體能夠直接知曉的內(nèi)容（即，無需任何推斷、反思或計算）來恢復(fù)，即 y 、 u 及其時間導(dǎo)數(shù)。這相當于系統(tǒng)是構(gòu)造性可觀測的。

(Adsf) 行動差異結(jié)構(gòu)性實現(xiàn)。目標 y μ r 與行動 u 之間的鏈接——達到該目標所必需的——是直接的，因為行動是作為目標及其時間導(dǎo)數(shù)的函數(shù)給出的。這相當于系統(tǒng)是左可逆的。

一個如 (23) 的系統(tǒng)被稱為關(guān)于 z 左可逆，如果行動 u 是 z 及其導(dǎo)數(shù)的函數(shù)（參見 [42] 的性質(zhì) 5）。因此，對于一個動態(tài)系統(tǒng)要同時滿足 (Odsf) 和 (Adsf)，需要有一個函數(shù) ω ，使得狀態(tài) x= 和行動 u u都可以用 ω 及其時間導(dǎo)數(shù)來表示。這對應(yīng)于微分平坦性 [5,43,44]，這是許多實際動態(tài)系統(tǒng)共有的屬性（參見，例如，[45] 及其中的參考文獻）。

3.2.3. 通過直接與逆向視角的動機

3.2.4. 形式化定義

讓我們考慮本小節(jié)的核心定義，為了便于閱讀，該定義是針對具有指定參數(shù)的系統(tǒng)陳述的（參見，例如，[15,42,45]；另見補充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，D 節(jié)，以及 [48] 關(guān)于一個 Python 庫，版本 0.10.2）。

讓我們注意到，微分平坦性的定義是在存在波動的情況下做出的。后者可能是確定性的或平滑的隨機函數(shù)（即，在一定階數(shù)內(nèi)可微）。我們將考慮特別提供行動作為感知和波動路徑泛函的關(guān)系。這使得人們能夠精確且定量地研究每個擾動函數(shù)可能對行動施加的影響。此外，產(chǎn)生行動——分別為狀態(tài)——作為傳感器和波動路徑函數(shù)的關(guān)系是一般的（generic），在這個意義上，它對于任何（足夠平滑的）感知和波動路徑都是有效的。在這個意義上，微分平坦性的概念對于生成模型的隨機性是不可知的（agnostic）。后者可能是確定性的（如平均生成模型的情況），受制于確定性但未知的擾動，或受制于隨機（且足夠平滑）的波動。前述定義自然地提供了以下特征描述：

與主動推理的一個有趣的接觸點是，期望自由能泛函的優(yōu)化意味著模型不同分量（具體而言，狀態(tài)和觀測之間）的高度互信息。這意味著從行動，經(jīng)由狀態(tài)，到觀測的精確映射。關(guān)鍵在于，同樣的互信息意味著我們會期望觀測關(guān)于狀態(tài)以及可能的行動具有高度的信息量。在此類模型中從其他變量恢復(fù)變量子集的潛力在啟發(fā)式上與微分平坦性概念兼容。此外，對微分獨立性的需求與將變分自由能解釋為約束最大熵推斷的目標函數(shù)有著有趣的聯(lián)系——在沒有“能量”約束的情況下，最佳配置是在系統(tǒng)各分量之間沒有相互約束下的最大熵配置。

3.2.5. 函數(shù)參數(shù)化

函數(shù)參數(shù)化性質(zhì)是微分平坦性的一個本質(zhì)特征，如果不是迄今為止最本質(zhì)的特征的話。事實上，原始模型：

正是對這些泛函的研究可能會引起主動推理領(lǐng)域的極大興趣。

3.3. 概念相似性

我們現(xiàn)在可以通過一個簡單的具體例子看到，微分平坦性和自由能最小化都強制要求從感知輸出到行動（即控制輸入）的逆映射。

例 3（簡單的通用例子；相似性）。回顧以下具有標量行動（控制）和傳感器輸出的簡單例子：

我們現(xiàn)在看到，自由能的最小化強制要求從感知輸出到行動的一個（至少是近似的）逆映射。還有一個進一步的關(guān)系我們稍后會回述，它基于運動廣義坐標，我們在此尚未探討，且與上述最終方程有關(guān)。由于行動影響狀態(tài)的變化率，進而影響感官數(shù)據(jù)，當前感官數(shù)據(jù)關(guān)于行動的梯度為零。通過注意到自由能中不存在感官數(shù)據(jù)與行動眾數(shù)共同出現(xiàn)的項，可以明確地看到這一點。然而，正如此處所強調(diào)的，可能存在一個與感官數(shù)據(jù)的時間導(dǎo)數(shù)（即運動廣義坐標的高階）相關(guān)的非零梯度。這對于主動推理下行動的反射性表述是必不可少的。

1. 參考文獻、基于平坦性的軌跡跟蹤以及感知和主動推理

4.1. 與線性的等價性

4.1.1. 微分平坦性刻畫

微分平坦系統(tǒng)類——盡管它在實踐中出現(xiàn)得相當頻繁——就反饋等價類而言是最簡單的非線性類。事實上，我們有如下命題。

命題 2。一個系統(tǒng)是平坦的，當且僅當它可通過內(nèi)生反饋和坐標變換實現(xiàn)線性化。

如果一個動態(tài)反饋不包含任何外部動力學(xué)，則稱其為內(nèi)生的。更準確地說，以下成立。

如果存在一個可逆變換交換它們的軌跡，則稱兩個系統(tǒng)是等價的。

關(guān)鍵在于，前述線性化不是局部的而是全局的，且平坦系統(tǒng)類與線性系統(tǒng)類相去不遠，因為它們通過內(nèi)生反饋和坐標變換是等價的。

4.1.2. 動態(tài)擴展算法

該過程使人們能夠確定一個 m m 元組 ω = ( ω 1 , … , ω m ) 是否為平坦輸出，并獲得線性化反饋。

第一階段——弱 Brunovsky 指數(shù)收集

因此，具有 n 個方程的原始模型 (36) 已經(jīng)被精確地，即沒有任何近似地，簡化為具有 m 個方程的平坦輸出動力學(xué) (53)，其中在大多數(shù)實際情況下， m m 顯著小于 n 。

4.2. 微分平坦性與能控性

讀者可能會問的一個自然問題如下：微分平坦性屬性何時是可驗證的？換句話說，確保給定系統(tǒng)平坦性的可檢驗條件是什么？對于一般非線性系統(tǒng)，答案仍然是一個未解決的問題。對于受限系統(tǒng)類或反饋等價類，存在一些條件。例如，單輸入系統(tǒng)和靜態(tài)狀態(tài)反饋等價的條件是已知的（參見補充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，C 節(jié)）。

有一些簡單的類是平凡平坦的。在單輸入系統(tǒng)的情況下，那些在反饋等價意義下呈如下級聯(lián)形式的系統(tǒng)類，

4.3. 軌跡設(shè)計與規(guī)劃

為了執(zhí)行對預(yù)定義軌跡的跟蹤，人們必須首先設(shè)計該軌跡，即后續(xù)行動的目標。在某些情況下，該軌跡的設(shè)計將顯而易見，例如，讓眼睛沿直線移動，或做圓周運動，或者在沒有障礙物時讓手臂抓取物體。在其他情況下，規(guī)劃軌跡的任務(wù)可能高度復(fù)雜，特別是在智能體和某些障礙物都在移動的情況下。關(guān)于規(guī)劃的文獻浩如煙海，且已在機器人學(xué)等領(lǐng)域得到了廣泛研究，它在其中扮演著至關(guān)重要的角色（參見，例如，[60]）。

4.4. 綜合律計算：跟蹤控制器

4.4.1. 通用行動跟蹤律

有許多方法可以實現(xiàn)具有穩(wěn)定性的軌跡跟蹤，即確保行動中的差異 漸近趨于零，相應(yīng)的文獻也是浩如煙海（參見，例如，[41] 作為經(jīng)典參考）。出于我們的目的，即滿足推斷指南，[41] 中描述的所有定律都是不合適的。這是因為它們不依賴于路徑性質(zhì)，更重要的是，它們不依賴于類基性質(zhì)。相比之下，基于平坦性的框架本質(zhì)上是路徑式的，同時嵌入了智能體模型的物理機制。

已知動力學(xué)是平坦的，且具有平坦輸出 ω ω ，它可以通過線性化內(nèi)生反饋 (50) 轉(zhuǎn)換為如下形式的線性動力學(xué)

備注 7（開環(huán)與無模型）。前述行動律被稱為線性化反饋控制器，這是因為平坦輸出動力學(xué)在第一步中被精確線性化了。另一種可能性——很可能更有成效——是使用以下控制律之一。第一種可能的選擇是開環(huán)控制器，即通過使用（第 13 頁的）(29b) 獲得的行動律，其中 ω 被替換為 ω r （參考軌跡），并且該開環(huán)律輔以無模型控制器，秉承 [61] 的精神。其他可能的選擇包括輔以無模型控制器的 (74)、ADRC（自抗擾控制）[62,63] 或滑?？刂?[64,65]。

例 5（簡單的通用例子；跟蹤）。再次考慮以下具有標量行動（控制）和傳感器輸出的簡單例子：

該控制律假設(shè)完全知曉波動
。當這種知曉不可用時，我們必須基于一個確定性生成模型（這是智能體所知道的全部）來推導(dǎo)控制律，估計這些波動，并對它們進行補償（例如，參見 [66] 關(guān)于所謂的無模型控制，或 [62,65] 關(guān)于其他方案）。

4.4.2. 眼動示例

例 6（眼動跟蹤）。再次考慮例 4 及其生成模型：

4.5. 主動推理

主動推理的原理隨后可表述為：在先驗信念（即行動將使期望自由能極值化）下，通過行動和感知兩者對自由能進行極值化（參見，例如，[2] 的圖 7）：

上述極值化可以表述為梯度下降的解。

4.6. 與基于平坦性跟蹤的聯(lián)系

主動推理的必要性在于驚喜的最小化，即期望（或信念）與實際值之間的差異。鑒于第 3.1 節(jié)中對變分自由能的前述分解，我們在總結(jié)時突出了主動推理與非線性控制之間的聯(lián)系。考慮智能體的動力學(xué)
。動態(tài)反饋（參見 (48)）

1. 預(yù)測作為主動推理與微分平坦性之間的聯(lián)系

5.1. 延遲與 δ δ -平坦性

在源自神經(jīng)科學(xué)或生理學(xué)的實際系統(tǒng)中，感知和行動環(huán)節(jié)均存在延遲。盡管這一點至關(guān)重要，但在前幾節(jié)中尚未予以考慮。事實上，無延遲模型與包含延遲的模型之間存在根本性的差異；其中最顯著的差異在于延遲系統(tǒng)所具有的無限維特性。為了更精確地說明，請考慮如下形式的延遲微分方程：

非正式地說， δ -平坦系統(tǒng)是一個延遲微分方程系統(tǒng)，當允許存在延遲時，它是微分平坦的。讓我們看看這個概念在一個具體例子中是如何展開的。

5.2. 軌跡跟蹤與預(yù)測器

當人們希望進行軌跡跟蹤時，如 (99) 中所示，傳感器輸出和/或行動控制中存在的延遲將使得預(yù)測部分或全部隱藏狀態(tài)或傳感器輸出成為必要。請結(jié)合前面的例子考慮這一點。

例 9。跟蹤控制方案 (82) 現(xiàn)在被轉(zhuǎn)換為

預(yù)測器狀態(tài) x ( t ) 由隱式關(guān)系 (110b) 給出，可以通過針對右側(cè)積分的各種近似策略來求解該關(guān)系。然后，該簡單示例的預(yù)測控制律應(yīng)按如下方式實施。

例 10。跟蹤控制方案 (106a) 現(xiàn)在被轉(zhuǎn)換為

5.3. 廣義坐標

在主動推理框架中，所謂的“均值的運動”與“運動的均值”之間存在著至關(guān)重要的區(qū)別。為了闡明這一區(qū)別，我們首先需要廣義坐標的概念，它是通過線性化微分獲得的。通常，代數(shù)中的微分運算 ? 被定義為這樣一種運算：對于任何變量（此處為時間函數(shù)），鏈式法則都得到滿足：

這種近似，當有效時，使人們能夠相當容易地解決所謂的隨機實現(xiàn)問題（回想一下，實現(xiàn)是一個涉及隱藏狀態(tài)的微分方程，該隱藏狀態(tài)是從輸入/行動—輸出/傳感器微分方程獲得的——參見，例如，定義 6；關(guān)于隨機實現(xiàn)問題，參見，例如，[77,78]）。當在拉普拉斯近似下研究廣義貝葉斯濾波時，這種近似也是合理的（參見，例如，[32]，第 3.3.4 和 3.3.5 小節(jié)）。

廣義坐標可以被視為一個隨當前點移動的坐標框架。在此視角下，它與人們可以應(yīng)用于非線性系統(tǒng)的一形式變換相關(guān)聯(lián)（參見，例如，[79,80]）；后者比此處使用的內(nèi)生動態(tài)反饋更為一般。它還與 Cartan 移動標架方法相關(guān)聯(lián)（參見，例如，[81]）。

1. 結(jié)論、局限性與未來方向

我們通過主動推理的視角考察了微分平坦性的效用（參見，例如，[1]）。這種效用已根據(jù)“作為推斷的控制”進行了詳細說明。具體而言，人們可能會得出結(jié)論，如果支撐主動推理或作為推斷的控制的生成模型可以局限于微分平坦模型類，我們將獲得一種極其高效的控制理論方案。因此，這項工作通過關(guān)注行動軌跡和各種差異的最小化（由變分自由能和期望自由能提供），使得從控制理論視角看待作為推斷的控制的主動推理成為可能。 從主動推理的角度來看，這項工作是對微分平坦性及其與人們可能考慮和致力于的生成模型類型的特別相關(guān)性的入門。關(guān)鍵在于，本文是第一次（初步的）嘗試在連續(xù)狀態(tài)空間模型的設(shè)定中考慮期望自由能。 除了它們在開發(fā)控制系統(tǒng)中的作用外，人們還可以考慮本文概述框架的其他應(yīng)用。一個領(lǐng)域是計算精神病學(xué)領(lǐng)域（參見，例如，[82–84]），在那里人們可以開發(fā)決策任務(wù)的生成模型——用主動推理解決——并用這些來理解精神病理學(xué)的計算機制。此類模型通常根據(jù)離散替代方案之間的選擇來公式化。然而，正如我們的審稿人所指出的，微分平坦性涉及連續(xù)的、可微的狀態(tài)空間。雖然計算精神病學(xué)的許多應(yīng)用確實關(guān)注離散概率，但精神病學(xué)中有一些重要領(lǐng)域依賴于微分平坦性論述中所解決的那種連續(xù)變量。這些包括與精神病障礙中的緊張癥相關(guān)的改變的運動動力學(xué)（參見，例如，[85]）和精神分裂癥中改變的平滑追蹤眼動（參見，例如，[86,87]）。 由于篇幅限制，這里有幾個相關(guān)的概念無法在此討論。這些包括劉維爾（Liouvillian）方面（參見 [88–90] 關(guān)于自動控制的相關(guān)內(nèi)容及 [91,92] 關(guān)于在下丘腦 - 垂體 - 腎上腺軸模型和 Wilson–Cowan 種群網(wǎng)絡(luò)設(shè)定中對此屬性的考察），以及帶有無模型控制的魯棒跟蹤（參見 [66]）。特別是劉維爾方面，當模型不是微分平坦時，提供了擴展平坦性概念的機會。未來的工作將考慮這些以及與能量傳輸和能控性相關(guān)的其他問題（參見，例如，[93,94] 關(guān)于相應(yīng)問題的公式化）和變分函數(shù)傳輸。這些涉及根據(jù)顯著特征來刻畫模型，并理解重參數(shù)化如何可能變換這些特征。 我們討論以下幾點，強調(diào)當前處理的局限性并勾勒一些未來方向。

1. 廣義坐標，其中一些局限性——由于其近似特性——可以通過平滑隨機實現(xiàn)來避免。
2. 平坦性的擴展：劉維爾特性以處理模型不是微分平坦的情況。
3. 觀測器和代數(shù)估計器，以從傳感器輸出估計隱藏狀態(tài)。
4. 魯棒控制律綜合，以應(yīng)對生成模型下的不確定性，包括波動。
5. 約束滿足，其中約束被施加于隱藏狀態(tài)、行動及其時間導(dǎo)數(shù)。
6. 特征傳輸：感興趣的特征如何；例如，能量（L2 范數(shù)）、斜率或曲率等，如何通過函數(shù)參數(shù)化進行變換。

6.1. 廣義坐標局限性

1. 第三，考慮最流行的糖尿病模型之一，即伯格曼（Bergman）最小模型（參見，例如，[95,96]）：

6.2. 平滑隨機實現(xiàn)

這種類型微分的使用也與隨機實現(xiàn)問題相關(guān)聯(lián)（參見，例如，[10]，4.(c).(i)，第 15 頁），這在一般情況下可能相當復(fù)雜。相比之下，微分平坦性屬性通過平坦輸出產(chǎn)生一個弱 Brunovsky 規(guī)范形（參見 [97]，第 4.1 小節(jié)和定義 4.3）。這種規(guī)范形產(chǎn)生了所謂的平坦輸出動力學(xué)，它很容易給出一個平滑隨機實現(xiàn)，正如下面的命題所述。

當前框架可以被視為 [32] 第 4.1 小節(jié)“通過廣義坐標的隨機控制”段落中未來方向的一個充分提議。它還以一種相當簡單的方式嵌入了非平穩(wěn)平滑隨機信號（參見 [32] 中的備注 4.1.1）。

6.3. 其他未來方向

我們現(xiàn)在簡要考慮由于篇幅限制未能在本文中展開的未來方向。

6.3.1. 平坦性的擴展：劉維爾（Liouvillian）特性

盡管許多實際系統(tǒng)模型是微分平坦的，但在特定類別中，有些并非如此；對于許多生物學(xué)和神經(jīng)科學(xué)種群模型來說，情況尤其如此。幸運的是，另一類更廣泛的系統(tǒng)共享一種類似的屬性，即所謂的劉維爾（Liouvillian）系統(tǒng)。劉維爾系統(tǒng)可以被視為平坦系統(tǒng)的擴展 [88,89,98]。后者最顯著的性質(zhì)是，系統(tǒng)的所有狀態(tài)和控制變量都可以直接表達——無需積分任何微分方程——用平坦輸出及其有限數(shù)量的時間導(dǎo)數(shù)來表示。所謂的劉維爾系統(tǒng)共享類似的性質(zhì)，但為了推導(dǎo)劉維爾系統(tǒng)的軌跡，我們還需要積分少量微分方程，其解是解析已知的。由此可知，基于平坦性的控制方法可以擴展到求解有限數(shù)量的微分方程。

6.3.2. 觀測器與代數(shù)估計器

6.3.3. 魯棒控制律綜合

當平均生成模型是對真實系統(tǒng)的粗略近似時，波動的累積效應(yīng)需要在控制方案中得到補償。所謂的魯棒控制律旨在實現(xiàn)控制目標，例如軌跡跟蹤，盡管存在波動、擾動和未建模動力學(xué)（即模型失配）。這些可以通過所謂的無模型控制方案來實現(xiàn)，其中波動的累積效應(yīng)是在線估計并即時補償?shù)模▍⒁姡纾琜66]）。最近的 HEOL 方案（參見 [103]）通過略有不同的技術(shù)實現(xiàn)了相同的目標。雖然無模型控制通常與基于標稱（或平均生成）模型綜合的基于平坦性的反饋跟蹤控制律相關(guān)聯(lián)，但 HEOL 使用了一種基于開環(huán)平坦性的方案以及與簡化平坦系統(tǒng)相關(guān)聯(lián)的切線系統(tǒng)（或變分系統(tǒng)），即簡化平坦系統(tǒng)參考軌跡周圍的線性化系統(tǒng)。其他實例包括滑?？刂坪妥钥箶_控制（參見，例如，[62,64,65]）。

6.3.4. 約束滿足

在實際應(yīng)用中，動力系統(tǒng)總是受到約束：對狀態(tài)的約束（例如，機器人的構(gòu)型空間不是整個空間）和對行動的約束（例如，肌肉具有有限的功率）。這些可以通過當前框架中基于平坦輸出軌跡優(yōu)化的規(guī)劃來處理（參見，例如，[104–106]）。一個有前景的框架是無模型預(yù)測控制（MFPC，參見 [107]），它混合了流行的預(yù)測控制（參見，例如，[108,109]）和上述的無模型控制。

6.3.5. 特征傳輸

與微分平坦性相關(guān)的函數(shù)參數(shù)化的另一個有趣特性是特征傳輸。這包括幾何特征的傳輸：平坦輸出軌跡的曲率如何與行動的曲率相關(guān)聯(lián)；換句話說，從將行動表示為平坦輸出及其導(dǎo)數(shù)的函數(shù)的關(guān)系中，推導(dǎo)出行動的曲率作為平坦輸出曲率及其時間導(dǎo)數(shù)的函數(shù)。

原文鏈接：https://www.mdpi.com/1099-4300/28/1/87