假設圖細化：面向具身導航的假設驅動探索與級聯誤差校正

假設圖細化：面向具身導航的假設驅動探索與級聯誤差校正

Hypothesis Graph Refinement: Hypothesis-Driven Exploration with Cascade Error Correction for Embodied Navigation

https://arxiv.org/pdf/2604.04108v1

摘要 ：

具身智能體必須在部分觀測到的環境中進行探索，同時保持可靠的長時程記憶?，F有的基于圖的導航系統雖然提升了可擴展性，但它們往往將未探索區域視為語義上未知，從而導致前沿搜索效率低下。盡管視覺-語言模型（VLM）能夠預測前沿的語義，但錯誤的預測可能會被嵌入記憶，并通過下游推理傳播，造成結構性的誤差累積，而僅靠置信度衰減無法解決這一問題。這些觀察表明，需要一個能夠利用語義預測進行定向探索、同時在新證據與預測相矛盾時系統性地撤回錯誤的框架。我們提出了 假設圖精化（Hypothesis Graph Refinement, HGR） 框架，該框架在具有依賴感知的圖記憶中，將前沿預測表示為可修正的假設節點。HGR引入了：（1） 語義假設模塊 ，該模塊估計前沿在上下文條件下的語義分布，并根據目標相關性、行進成本和不確定性對探索目標進行排序；（2） 驗證驅動的級聯糾錯 ，該方法將實地觀測與預測語義進行比對，當發現不匹配時，會撤回被反駁的節點及其所有下游依賴節點。與增量式地圖構建不同，這使得圖能夠通過剪除錯誤的子圖進行收縮，從而在整個長序列過程中保持記憶的可靠性。我們在多模態終身導航（GOAT-Bench）和具身問答（AEQA、EM-EQA）任務上評估了HGR。HGR在GOAT-Bench上達到了72.41%的成功率和56.22%的SPL，并在兩個問答基準上都展現出一致的性能提升。診斷分析表明，級聯糾錯消除了約20%的結構冗余假設節點，并將對錯誤區域的重復訪問減少了4.5倍，其中鏡面和透明表面占了被糾正預測誤差的67%。代碼見：

https://github.com/chenpppx/Hypothesis_Graph_Refinement 。

關鍵詞：具身導航 · 長時程探索 · 假設圖精化 · 驗證驅動的級聯糾錯

1 引言

在部分觀測環境中運行的具身智能體必須基于不完整的信息來決定下一步探索何處。經典的基于前沿的方法 [1, 31] 使用幾何標準來選擇已探索與未探索空間之間的邊界，將所有前沿視為同等未知。近期的工作開始利用視覺-語言模型（VLM）來預測觀測邊界之外可能存在的語義信息，從而實現了語義引導的前沿選擇，能夠優先選擇有希望的方向，而不是進行窮盡搜索 [18, 25, 27]。這種從幾何驅動到語義驅動的探索轉變，已在短時程導航任務中展現出明顯的效率提升。

然而，基于VLM的前沿預測并不總是可靠的——視覺上模糊的場景，如鏡面反射或玻璃隔斷，可能會產生錯誤的預測。這些錯誤一旦被嵌入圖記憶中，就會沿著依賴假設的鏈條傳播，這些后續假設會繼承并放大最初的錯誤?，F有方法通過置信度衰減來緩解這一問題，但錯誤的子圖仍然存在，并持續影響下游決策，導致在長時程任務中產生累積性的性能下降。

我們提出了假設圖精化（Hypothesis Graph Refinement, HGR）框架，該框架能夠同時實現語義驅動的探索和系統性的錯誤糾正（如圖1所示）。HGR維護一個假設圖，該圖將已觀測節點（已驗證區域）與假設節點（概率性的前沿預測）分離開來，并在一個有向無環圖（DAG）中記錄它們的推導關系。一個語義假設模塊估計前沿上的語義分布，并根據目標相關性、行進成本和不確定性對探索目標進行排序。當智能體實際訪問某處時，一個驗證驅動的級聯糾錯機制會將實地觀測與預測結果進行比較；一旦發現不匹配，它會撤回被反駁的節點及其所有下游依賴節點，從而通過剪除錯誤的子圖來使整個圖發生收縮。我們的貢獻如下：

• 我們提出了一種假設圖表示方法，能夠區分已驗證的觀測與可修正的前沿預測，并追蹤它們之間的依賴關系，從而實現了結構化的假設驅動探索。

• 我們提出了一種級聯糾錯機制，在檢測到預測失敗時，能夠沿著依賴DAG撤回整個錯誤的子圖，防止錯誤在長時程任務中累積。

• 我們在GOAT-Bench [13]（相較于3D-Mem [31]，成功率+3.31%，SPL +7.32%）、A-EQA [19]和 EM-EQA [19]上展示了一致的性能提升。消融研究和診斷分析證實，這兩個機制都發揮了有意義的貢獻，并且級聯糾錯顯著減少了錯誤的累積。

2 相關工作

具身導航與探索。具身導航從反應式策略 [2, 14] 發展到記憶增強架構 [5, 10]。ETPNav [1] 引入了用于長時程導航的拓撲圖，并采用蒙特卡洛樹搜索進行前沿評估。FILM [21] 通過基于Transformer的聚合來維護情節記憶。近期工作探索了將VLM集成到開放詞匯導航中 [18, 27]，但這些方法將未探索區域視為缺乏語義信息。進一步的進展包括用于導航的強化微調 [24]、多輪主動探索 [34] 以及生成式視覺想象 [11]。關于常識引導的前沿探索，同期工作包括ESC [35]、SCOPE [30] 和 ReVoLT [16]，這些方法也利用語義先驗來對前沿進行排序和選擇。然而，這些方法將預測視為一次性的評分信號，并沒有記錄預測之間的推導依賴關系，因此錯誤的預測會持續存在于記憶中，并可能傳播到下游推理中。相比之下，HGR將每個前沿預測作為一個可修正的假設節點嵌入到依賴DAG中，從而能夠在訪問時進行系統性驗證，并通過級聯糾錯撤回錯誤節點及其所有依賴項（詳細比較見附錄A）。

3D場景表示。以物體為中心的場景圖 [3, 8, 29] 將環境壓縮為節點（物體）和邊（關系）。ConceptGraph [8] 通過CLIP對齊率先實現了開放詞匯的場景圖。3D-Mem [31] 采用記憶快照來捕獲共可見的物體及其空間上下文。最近的擴展工作包括對比預訓練 [9]、檢索增強推理 [32]、用于具身問答的度量語義圖 [26] 以及基于LLM的語義集成 [33]。這些表示方法能夠很好地處理空間推理，但在糾錯方面依賴于軟概率更新。HGR引入了依賴追蹤和級聯糾錯，以移除錯誤的子圖，而不是僅僅衰減置信度分數。

具身系統中的錯誤檢測與糾正。VLM預測錯誤（即生成內容與視覺輸入不一致）已被廣泛研究 [15, 28]。緩解策略包括檢索增強生成 [22]、不確定性量化 [12] 和自一致性檢查 [20]。在最近的機器人學研究中，COWS [7] 使用對比學習，PIVOT [23] 采用驗證模塊。ReLEP [17]、HEAL [4] 和 InterleaveVLA [6] 側重于輸出層面的精化，而HGR則追蹤依賴鏈并通過級聯糾錯移除錯誤的子圖。

3 方法

基于前沿的探索面臨兩個相互交織的挑戰：前沿缺乏語義線索來引導高效探索，而基于VLM的預測又可能引入錯誤，這些錯誤會在長時程任務中沿著依賴假設傳播。HGR在一個統一的基于圖的框架中同時解決這兩個問題：假設圖將已驗證的觀測與可修正的前沿預測分離開，并追蹤它們的依賴關系（第3.1節），通過一個增量式構建流程進行演化（第3.2節）。語義假設模塊（第3.3節）通過將目標相關分布投影到前沿上來應對第一個挑戰；驗證驅動的級聯糾錯（第3.4節）通過沿依賴DAG撤回錯誤子圖來應對第二個挑戰。圖2展示了整體架構。

3.1 假設圖表示

3.2 增量構建與更新

隨著智能體通過一個三階段循環進行探索，假設圖會增量式地演化：假設生成、驗證和更新。我們在下文概述每個階段；3.3節和3.4節隨后分別詳細闡述了生成和驗證機制。

階段3：觀測節點更新。 當重訪觀測節點時，系統根據最新感知更新其物體列表和視覺特征。附錄C提供了完整的構建規則和具體示例。

3.3 語義假設模塊

HGR 并沒有將前沿（frontiers）視為無差別的邊界（圖 3，左），而是將概率語義分布投射到每個前沿上，生成帶有估計類別分布的假設節點，從而實現目標導向的探索（圖 3，右）。

3.4 驗證與級聯糾錯

當一個假設節點在第二階段被證偽時，HGR 不僅必須移除該錯誤節點，還必須撤回所有由其推導出的下游節點。本節詳細說明了觸發證偽的預測殘差檢驗，以及通過 D D傳播證偽結果的級聯糾錯機制。圖 4展示了一個代表性案例：VLM 將鏡面反射誤識別為一個房間入口，并由此生成了關于推斷家具的下游假設節點；在檢測到語義沖突后，級聯糾錯沿 D D回溯并移除了整個錯誤的子圖。

級聯糾錯。一旦某個假設節點被證偽，系統會遍歷依賴 DAG D ，識別并移除所有傳遞性后代節點：

因此，使單個假設無效會移除所有從該錯誤前提推斷出的下游節點。與置信度衰減不同，級聯糾錯會徹底消除錯誤的子圖，因此假設圖可能會隨著時間推移而收縮——這一非單調性質將 HGR 與傳統的增量式地圖構建區分開來。

4 實驗

我們在三個互補的基準上評估 HGR，以驗證兩個假設：（H1）語義假設模塊能夠提高探索效率；（H2）級聯糾錯能夠防止累積性錯誤導致性能下降。

4.1 實驗設置

基準任務。（1）GOAT-Bench [13]：多模態終身導航，涵蓋360個場景，需要按順序導航至多個目標，目標通過類別標簽、語言描述或參考圖像指定。任務片段步長超過100步，強調持續的自主性。這是我們主要的評估基準。（2）A-EQA [19]：主動具身問答，包含63個HM3D場景中的557個問題。智能體必須探索未知環境，以回答涵蓋物體識別、空間理解和功能推理的開放性問題。（3）EM-EQA [19]：情節記憶問答，包含來自152個ScanNet和HM3D場景的1600多個問題。智能體在給定預探索軌跡的情況下構建場景記憶并回答問題，無需進一步探索，從而將記憶質量與探索策略分離開來。

評估指標。成功率（Success Rate, SR）衡量在距離閾值內（導航任務為1.0米，問答任務為答案正確性）達成目標的程度。路徑長度加權成功率（Success weighted by Path Length, SPL）對低效探索進行懲罰：

對于A-EQA，LLM-Match通過GPT-4評分（0–100分制）來評估答案質量。

基線方法。對比方法包括：3D-Mem [31]、采用基于前沿探索的ConceptGraph [8]、Explore-EQA [25] 以及各種消融變體。為公平比較，所有基線方法均在我們的框架內使用相同的GPT-4o VLM、Habitat模擬器、底層控制器和步數預算重新實現。ConceptGraph和3D-Mem保留其原有的圖構建和更新邏輯，但使用GPT-4o替換其原有的語義模塊。完整的重新實現細節見附錄E。

4.2 主要結果：GOAT-Bench

終身導航性能。表1展示了在GOAT-Bench上的結果。HGR在驗證子集（278個子任務）上達到了72.41%的成功率和56.22%的SPL，相比最強的基線方法3D-Mem（69.1%/48.9%）分別提升了3.31%的成功率和7.32%的SPL。

增益從何而來？如圖5所示，HGR能夠更早地到達目標，且隨著任務時程變長，其優勢更加明顯。語義假設模塊引導探索走向與目標對齊的前沿，從而提高了SPL；而級聯糾錯則消除了對錯誤預測區域的重復訪問。

按模態分析。表2按目標模態分解了性能。HGR在所有三種模態上都表現出一致的提升，其中在語言指定的目標上增益最大（相比3D-Mem提升7.9%的成功率）。語言描述受益于語義上下文傳播最為顯著，因為假設節點編碼了關系結構，有助于消除空間指代中的歧義。

4.3 組件消融實驗

表3在所有三個基準上系統地分離了每個組件的貢獻。

語義假設模塊的效果。禁用假設投影（回退到均勻前沿選擇）會導致一致性的性能下降：在GOAT-Bench上成功率和SPL分別下降4.70%和6.20%，在A-EQA上LLM-Match下降7.3，在EM-EQA上下降7.8。這證實了假設H1——語義引導顯著減少了探索冗余。

級聯糾錯的效果。在保留假設節點的同時禁用級聯糾錯，揭示了錯誤累積的影響：在GOAT-Bench上，由于被證偽的節點以降低的置信度持續存在，成功率和SPL分別下降3.80%和5.10%；在A-EQA上LLM-Match下降6.3，因為錯誤的場景內容影響了答案。

局部刪除與級聯糾錯的對比。“僅局部刪除”變體只移除被證偽的節點，而不沿依賴DAG進行傳播，實現了70.85%的成功率和53.67%的SPL——這比不進行糾錯要好，但仍比完整系統低1.56%的成功率和2.55%的SPL。這表明錯誤前提的后代節點會降低性能，而具有依賴感知的級聯糾錯提供了超越簡單節點移除的增益。我們還在附錄F中與一個帶有空間重復訪問懲罰的軟置信度衰減基線進行了比較，證實了結構性刪除優于基于分數的緩解策略。

協同效應。同時禁用兩個組件（成功率下降9.0%，SPL下降10.9%）產生的下降幅度大于各單獨消融實驗下降幅度之和，表明兩者之間存在相互增強作用：定向探索將智能體帶到可驗證的假設面前，從而最大化糾錯機制的收益。

預測殘差閾值。我們分析了針對θ_refute ∈ [0.3, 0.7]的敏感性。在θ=0.3（激進）時，證偽率達到42%，但錯誤地移除了約180個有效節點，導致成功率下降6.2%。在θ=0.7（保守）時，只有11%的假設被證偽，導致錯誤累積。最優的θ=0.5在精度（87%）和召回率（74%）之間取得了平衡。

假設預測方法。表4比較了基于VLM的預測與啟發式替代方法。一種熵門控混合方法——對模糊前沿使用VLM，其他情況使用啟發式方法——以40%的計算成本實現了純VLM方法95%的SPL。附錄D進一步評估了使用開源VLM（LLaVA-1.5-13B、InternVL2-8B）的HGR，確認即使在預測精度較弱的情況下也能獲得一致的增益。

4.4 診斷分析：假設驗證與糾錯

我們報告了在GOAT-Bench完整驗證集（2,780個子任務）上關于假設生命周期的統計數據。

假設生命周期。在整個評估過程中，HGR創建了4,712個假設節點，其中3,465個（73.5%）在訪問后被確認并轉換為觀測節點，而1,247個（26.5%）被證偽并移除。在這1,247次證偽中，有342次觸發了級聯糾錯，每次觸發平均移除2.8個依賴節點（最大級聯深度：4跳），總共移除了約960個后代節點。

重復訪問減少。級聯糾錯減少了基于錯誤預測對區域的無效重復訪問。HGR對被證偽區域的重復訪問率為4.2%，而3D-Mem為18.7%。這4.5倍的減少直接貢獻于HGR的SPL提升。

錯誤來源分類。在1,247個被證偽的假設中：鏡面反射占38%，玻璃隔斷占29%，藝術品誤識別占18%，遮擋偽影占15%。鏡面和透明表面占了所有錯誤的67%，這指出了室內環境中基于VLM預測的主要挑戰。

4.5 次要結果：A-EQA 與 EM-EQA

主動具身問答。表5展示了A-EQA的結果。HGR 達到了55.9的LLM-Match分數和45.0的LLM-Match SPL，通過更高效地探索與問題相關的區域以及無錯誤的場景記憶，優于所有基線方法。

情節記憶問答。表6單獨評估了記憶質量。在給定相同的預探索軌跡的情況下，HGR 以平均 3.1 個快照達到了 58.3 的 LLM-Match 分數。雖然探索路徑是固定的，但 HGR 在處理每個軌跡步驟時仍會為可見的前沿生成假設節點，并在后續步驟經過預測區域時對其進行驗證——因此，語義假設和級聯糾錯都作用于記憶構建的質量，而非探索策略。這種具有依賴感知的結構能夠從記憶中移除矛盾的信息——這是基于幀的表示所不具備的能力。

4.6 定性分析

圖 6 展示了一個尋找“客廳里的電視”的代表性回合。在第 12 步，VLM 錯誤地將一面大鏡子識別為通往相鄰客廳的入口，生成了針對沙發和電視的假設節點。當到達鏡子時（第 15 步，），級聯校正移除了錯誤的客廳子圖，將探索重定向到實際的客廳（第 16-22 步）。相比之下，3D-Mem 保留了置信度降低的錯誤節點，導致重復重訪和步數限制失敗。

5 結論

我們提出了假設圖精化（HGR）框架，它解決了具身導航中的一個核心挑戰：在利用語義預測實現高效探索的同時，防止累積性錯誤的產生。在GOAT-Bench上，HGR達到了72.41%的成功率和56.22%的SPL，分別比3D-Mem高出3.31%和7.32%，并在A-EQA和EM-EQA上取得了一致的性能提升。消融研究證實了兩個機制都具有顯著貢獻。診斷分析表明，67%的預測誤差來源于鏡面和透明表面，這為提升VLM在室內環境中的魯棒性指明了一個具體方向。運行時和內存分析見附錄H。

主要的局限性在于，級聯糾錯繼承了預測殘差檢驗的準確性：假陰性會使錯誤節點持續存在，而假陽性則可能剪除有效的假設。更廣泛地說，HGR的預測質量受限于底層的VLM，而VLM在處理視覺復雜問題（如鏡子、近距離物體以及多個物體之間的空間關系）時存在困難——這些正是我們診斷分析中發現的主要錯誤來源（附錄J提供了詳細的失敗案例分析）。未來的工作包括改進殘差校準以減少這兩種錯誤模式，并將依賴結構擴展到場景內容隨時間變化的動態環境中。

原文鏈接：https://arxiv.org/pdf/2604.04108v1