認知靈活性作為貝葉斯狀態估計的潛在結構算子

認知靈活性作為貝葉斯狀態估計的潛在結構算子

Cognitive Flexibility as a Latent Structural Operator for Bayesian State Estimation

https://arxiv.org/pdf/2604.08130

摘要：

深度隨機狀態空間模型使得在非線性、部分可觀測系統中進行貝葉斯濾波成為可能，但通常假設潛在結構是固定的。當該假設被違背時，僅進行參數自適應可能導致持續的信念不一致。我們引入認知靈活性（CF）作為一種表征級算子，它通過基于信息的預測得分在線選擇潛在結構，同時保持貝葉斯濾波遞歸。結構失配被形式化為固定結構下不可消除的預測不一致性。結果表明，由此產生的信念-結構遞歸是適定的，展現出結構下降性質，并允許有限次切換，且在模型設定正確時可歸約為標準貝葉斯濾波。在潛在動態失配、觀測結構偏移及設定正確的情境下進行的實驗證實，CF在存在失配時能提升預測精度，同時在模型設定正確時保持非侵入性。

關鍵詞：隨機狀態空間模型；信念推斷；潛在結構；結構自適應；不確定性感知估計。

1 引言

現代具備學習能力的控制系統[1,2]越來越多地在系統狀態、觀測與輸入之間的關系并非固定不變，而是隨時間演變的環境中運行。這種演變出現在許多物理系統[3]中，源于傳感模態、運行工況[4]、任務語義或交互條件的變化，在具有柔順動力學特性[5]或強環境耦合[6,7]的系統中尤為顯著。當這些變化發生時，局部準確的模型可能會在整體上與真實的數據生成過程失配，導致持續的預測誤差和閉環性能下降——即使采用了經典的參數自適應或魯棒化技術[8,9]。因此，理解如何對這種結構非平穩性進行推理并作出響應，對于不確定性下的可靠控制與決策至關重要。

通常，控制與決策中的不確定性通過假設模型結構固定，并通過參數自適應、魯棒控制器設計或隨機噪聲建模來補償失配加以處理[10–12]。在此范式下，控制與預測是針對狀態信念（即給定可用觀測值所推斷出的潛在狀態分布）進行的，而非針對真實但未觀測到的系統狀態[13]。隨后，貝葉斯狀態估計[14]為該信念的時間演化提供了一致性的機制，并構成了具備學習能力的控制系統的核心基礎。

然而，當所假設的潛在結構本身不正確時，這些機制從根本上受到限制：所產生的信念可能在數值上依然定義良好，但卻與真實的系統行為產生系統性不一致。這種現象——此處稱為結構失配——無法僅通過參數更新消除，并構成了固定表示模型的一種內在故障模式。盡管其在機器人技術、自主系統與基于學習的控制中具有廣泛的實際意義，但結構失配在貝葉斯信念演化本身層面（即[15–17]）所受到的形式化處理仍然有限。

近年來，數據驅動建模顯著擴展了經典的狀態空間模型（SSM）框架[18]。特別是，深度隨機狀態空間模型（DeepSSSMs）[19,20]將貝葉斯濾波與從數據中學習到的具有強表達力的非線性表示相結合，使得在復雜高維系統中進行狀態估計與預測成為可能，包括用于規劃與控制的基于視覺的模型和潛在動力學模型[21–25]。除了起源于序列建模之外，深度狀態空間表述已被越來越多地應用于系統辨識與面向控制的建模中，包括神經狀態空間架構、基于編碼器的辨識流程以及用于基于學習的控制的隨機潛在模型[19,26,27,16,28,29]。盡管取得了這些進展，大多數DeepSSSM表述仍保留了從經典模型繼承的一個關鍵假設：狀態空間模型的潛在結構在整個運行過程中是固定的。

這種固定結構假設恰恰在學習型模型最具吸引力的場景中變得具有限制性：在傳感與交互條件變化下的部署，以及超出訓練分布的運行[30]。在實踐中，潛在狀態與觀測之間的關系可能因傳感器退化、環境變化、未建模的運行工況或任務語義的轉變而發生變化（即[31]）。當此類變化發生時，固定潛在表示內的參數自適應往往是不充分的：貝葉斯信念可能在數值上依然定義良好，但卻與真實的數據生成過程產生系統性錯位，從而產生持續的預測誤差并導致閉環性能下降[8,32,33]。在不確定性量化、風險敏感性與可靠性對安全決策至關重要的場景中，該問題尤為尖銳[34–37]。

在控制與估計領域，解決模型失配與非平穩性的需求早已被認識到[38–40]。經典方法包括自適應觀測器[41]、增益調度[42]以及多模型估計[43,44]。交互多模型（IMM）濾波器與混合觀測器[45,46]允許在一組有限的預定義結構之間進行切換，并且當相關運行工況能夠被先驗識別時，它們具備強有力的理論保證[47,43,48,49]。這些方法闡明了一個重要觀點：結構變化是可以處理的，但通常僅在能夠提前枚舉出“正確”模式并維護與模式一致的濾波模型時才可行。

然而，在許多當代數據驅動的場景中，支撐經典混合與多模型方法的枚舉假設難以成立。結構失配可能無法通過少量固定的候選模型庫很好地捕獲，且學習到的潛在表示可能以一種難以通過標準殘差分析或噪聲膨脹輕易診斷的方式失效。因此，近期的工作探索了學習增強的濾波流程[50]、元學習策略[51,52]以及跨任務泛化[29]。盡管這些方法大幅擴展了表示能力，但它們留下了一個對可靠性至關重要的系統理論問題：當潛在表示本身變得受限時，貝葉斯信念演化應如何響應？

我們引入認知靈活性（CF）[53,54]作為DeepSSSMs中用于結構重組的信念級機制。CF被形式化為一種算子，用于在給定時刻選擇由哪個潛在表示主導信念演化。對于任何固定結構，底層的貝葉斯濾波遞歸保持不變；CF僅通過以下方式起作用：當持續的信念不一致表明當前結構已變得受限時，啟用表示之間的受控切換。因此，表示自適應變得顯式且可分析，同時保留了信念演化的概率適定性。

據此，CF并非一種估計啟發式方法，而是在結構非平穩性下支配信念演化的表示級控制變量；它在一組預定義的潛在結構族上運行，而非在線合成新的表示。

從系統理論的角度來看，這一表述提出了現有DeepSSSM或混合估計框架尚未明確解決的三個問題：（i）如何將結構失配刻畫為固定潛在表示的內在局限性；（ii）如何將表示重組建模為一種與貝葉斯濾波相互作用而非取代它的算子；以及（iii）在何種條件下，在線結構自適應能夠提升預測一致性，同時保持受控與穩定。

貢獻。本文推進了關于表示自適應及其系統理論影響的信念級視角。主要貢獻如下。 （i）結構失配作為一種根本性的估計故障模式。我們將結構失配形式化為真實條件狀態分布與由任何固定潛在結構誘導的后驗信念之間不可消除的散度。該刻畫識別出一類無法僅通過參數自適應、魯棒化或噪聲建模消除的估計誤差[8,44,33]。 （ii）認知靈活性作為一種信念級結構算子。我們引入認知靈活性（CF）作為一種直接與貝葉斯濾波遞歸耦合的潛在結構算子。與假設固定潛在表示且僅通過參數更新進行自適應的經典及基于學習的狀態空間模型[10,11,22–24,19]不同，CF實現了跨越潛在結構的受控切換。

（iii）自適應信念演化的系統理論性質。我們確立了所得信念-結構動力學的基本性質，包括信念空間不變性、基于信息的結構單調改進、在得分持續分離條件下的有限次切換，以及在結構設定正確時向標準貝葉斯濾波的歸約。這些結果通過提供表示重組的信念級刻畫，并闡明結構自適應在何時能帶來改善以及何時保持非侵入性，從而對經典的多模型與混合估計框架[47,43]形成了補充。 數值實驗證明了系統從潛在動力學失配中的恢復能力、在觀測結構偏移下的自適應能力，以及在設定正確工況下的非侵入性。

與控制的相關性。由CF增強濾波器產生的信念直接作為信念空間控制律[10,55]的信息狀態，包括在預測分布上進行規劃的MPC方案[15]。結構失配（即定理10中形式化的故障模式）會直接傳播至控制性能：設定錯誤的信念會膨脹不確定性估計，引發過度保守的約束收緊，并降低閉環跟蹤性能。CF在信念層面處理這一故障，使其在到達控制層之前得到解決。一篇配套論文[56]針對含噪新息得分發展了相應的魯棒CF理論，將當前的估計框架與實際的控制實現相連接。

本文其余部分組織如下。第2.2節介紹了問題表述與信念表示。第3節將CF框架闡述為信念空間上的結構算子。第3.1–3.3節分析了適定性、結構下降性質、有限次切換與長期行為。第4節報告了數值研究結果，第5節總結其意義并展望未來方向。

1.1 記號

2 預備知識與問題表述

我們考慮部分觀測下的離散時間狀態估計，其中狀態演化和觀測過程均受到隨機擾動的影響，且可能隨時間變化。核心挑戰在于，沒有任何單一固定模型能夠在所有運行條件下一致地描述系統行為——這一局限性促使了下面開發的 CF 框架。

2.1 預備知識

物理過程被抽象地描述為

2.2 問題表述

與其在 (1)–(2) 中采用一個可能設定錯誤的結構模型，不如直接在條件概率律的層面構建推斷 [10,59]。隨后的推導必然是詳盡的，因為潛在結構 s s 在三個不同的層面介入——模型類、濾波算子和信念軌跡——為了精確陳述第 3 節的主要結果，必須對這三者加以區分。核心對象是后驗信念

在 DeepSSSM 框架 [57] 中，(1)–(2) 中的抽象映射 ( f , h ) 并非被直接辨識。盡管記號遵循該框架，但第 3 節的結果適用于任何形式為 (8) 的參數化貝葉斯濾波器，而不依賴于用于表示 p θ 的具體架構。相反，如注記 1 所述，它們對信念演化的影響是通過一族參數化的條件分布來捕獲的：

2.3 問題陳述

3 認知靈活性作為潛在結構算子

為了將 CF 緩解持續性結構不一致性（例如由定義 5 所量化的那樣）這一要求形式化，我們引入以下設計假設。

3.1 適定性（基礎性，必要性）

接下來的結果量化了在自適應辨識理論 [8,44] 中，相較于固定結構濾波，結構自適應的表征收益。

注記 13（表征級可達性） 不同于由參數不確定性或概率混合動力學 [34,60] 引起的經典可達集擴大，CF 通過潛在結構 s s 的變化而非固定結構內的參數變化來擴大容許的信念演化。

3.3 行為后果（核心推論）

4 數值實驗

四項實驗在互補的失配場景下評估了 CF 的性能：潛在動力學中的結構失配（實驗 4.1）、觀測模型的突然偏移（實驗 4.2）、無偏移的陰性對照實驗（實驗 4.3），以及二維潛在狀態（實驗 4.4）。這些實驗共同檢驗了第 3 節所確立的三個性質：失配下的準確性、結構自適應的正確性，以及在設定正確時的非侵入性。

全文報告了三項指標。狀態估計精度通過以下方式衡量：

4.1 實驗 4.1：潛在動力學中的結構失配

4.2 實驗 4.2：觀測模型的突變偏移

本實驗旨在測試 CF 是否能在未知時刻 τ τ 檢測并適應觀測結構的突變，同時潛在動力學 (28) 全程保持固定。

值得注意的是，無論是 CF 還是 Fixed-SAT 在偏移后都無法完全恢復真實狀態的大幅變化。這不是 CF 本身的局限性，而是飽和映射 (31) 為多對一映射的固有結果：在 t = τ之后，潛在狀態無法從觀測中全局辨識。CF 收斂至可用的最佳預測一致模型，正如定理 20 所保證的那樣。定量結果報告于表 1 中。

4.3 實驗 4.3：無觀測偏移（陰性對照）

本實驗旨在探究當不存在結構變化時——即活躍結構在整個時間范圍內已具備預測一致性——CF 是否能保持非侵入性。該實驗使用了與實驗 4.2 相同的潛在動力學 (28) 和候選觀測結構，但真實觀測過程在所有時刻 t t 均與二次模型 (30) 一致：任何時刻均未發生偏移。

實現。 CF 機制使用了與實驗 4.1 和 4.2 相同的 W = 10 步窗口化得分和遲滯裕度 δ = 1.0 ，未添加額外的懲罰項或持續性計數器。這確保了相對于實驗 4.2 的任何行為差異僅可歸因于偏移的缺失，而非超參數的改變。

4.4 實驗 4.4：多維潛在狀態

第 3 節的理論結果是針對一般波蘭空間 Z Z 陳述的，并不依賴于潛在狀態為標量這一假設。本實驗證實，CF 機制及其保證自然地擴展到了二維設置中，而在該設置中，較高的分數方差使得結構選擇更具挑戰性。

5 結論

我們引入了認知靈活性（CF），這是一種信念級機制，用于在結構不匹配的情況下進行貝葉斯濾波中的在線潛在結構選擇。通過在每一步選擇最小化基于新息（innovation）的預測分數的結構——而不修改底層的貝葉斯遞歸——CF 是適定的，表現出結構下降性質，并且當存在預測一致的結構時，會退化為標準濾波。跨越不匹配、偏移和模型設定正確狀態的實驗證實，CF 僅在必要時進行適應，切換次數有限，并且在設定正確時不引入額外開銷。不可約性結果（定理 10）具有直接的控制理論推論：結構不匹配會產生持續的性能退化，僅靠參數適應無法糾正。CF 在信念層面解決了這一問題，補充了那些假設固定內部表示的魯棒和自適應 MPC 框架 [15,34]。將 CF 擴展到信念直接反饋給控制策略的閉環設置中，是自然的下一步工作。

原文鏈接：https://arxiv.org/pdf/2604.08130