CASCADE：讓Agent在部署任務流中進行在線經驗學習

本文作者來自倫敦大學學院、吉林大學和倫敦國王學院。本文第一作者為吉林大學博士生郭思源，倫敦大學學院汪軍教授為論文最后作者。指導教師還包括倫敦國王學院杜雅麗副教授、吉林大學陳賀昌研究員與常毅教授。

當 LLM Agent 進入真實應用后，它面對的不再是一次性的靜態測試集，而是持續到來的任務流。

每一次工具調用、代碼執行、網頁搜索或任務完成，都會產生反饋：成功還是失?。孔C據是否充分？工具是否選對？這些部署階段自然產生的信號，能否反過來幫助 Agent 變得更好？

研究團隊的最新工作提出了部署時學習（Deployment-Time Learning，DTL），并進一步提出 CASCADE。它的核心不是簡單積累經驗，而是讓 Agent 在在線任務流中學會選擇經驗：面對當前任務，應該參考過去哪一次交互，才能做出更好的決策？

• 論文標題：CASCADE: Case-Based Continual Adaptation for Large Language Models During Deploymen
• 論文鏈接：https://arxiv.org/abs/2605.06702
• 代碼倉庫：https://github.com/guosyjlu/CASCADE
• 基準測試：https://huggingface.co/datasets/guosy/DTLBench

研究背景

目前 Agent 經驗學習的相關工作中，常見設定大致有兩類：

第一類延續傳統機器學習范式：系統先在訓練集上學習，例如微調模型、優化提示詞、構建記憶庫或技能庫，然后在測試集上評估。

第二類則關注運行時學習，即系統在同一個數據集上先學習多輪，然后觀測其性能提升。

這些設定都具有研究價值，但真實部署還包含一個重要維度：時間。在真實系統中，任務是按順序到來的。Agent 不能提前看到未來任務，也不能隨意回到過去重做某個請求。每一步既是一次服務，也是一次反饋收集；當前選擇不僅影響當前任務結果，也可能影響后續策略。

因此，CASCADE 將部署時學習定義為一個在線學習問題。在第 t 步，Agent 觀察到一個查詢，生成答案或行動軌跡，環境返回成功 / 失敗的二值反饋。Agent 的目標不再只是優化單個任務，而是提高整個部署序列上的長期成功率；等價地說，是降低在線學習中的遺憾（Regret）。這一設定更接近工業系統中的持續服務過程，也為評估 Agent 的部署適應能力提供了清晰形式化。

基于案例的部署時學習：CASCADE

在部署時學習的設定下，基座模型保持固定，不對其參數進行在線更新。學習發生在 Agent 的外圍組件中，尤其是記憶和檢索機制。CASCADE 以基于案例的推理（Case-Based Reasoning，CBR）為底層框架。當新任務到來時，系統從歷史案例庫中檢索相關成功案例，將其作為上下文提供給 LLM，再根據環境反饋決定是否保留新的案例。這一流程包括四個步驟：

1. 檢索（Retrieve）：從不斷增長的案例庫中檢索候選案例；

2. 復用（Reuse）：將案例作為上下文，輔助 LLM 解決當前查詢；

3. 修改（Revise）：生成最終答案或行動軌跡；

4. 保存（Retain）：如果環境反饋為成功，則將當前交互保存為新的案例。

在這個 4R 循環中，CASCADE 的關鍵在于：它將 “檢索哪個案例” 建模為上下文賭博機（Contextual Bandit）問題，從而實現檢索過程中的探索 - 利用權衡。在每個時間步，當前查詢是上下文，候選案例是可選擇的動作。Agent 選擇某個案例后，LLM 基于該案例生成結果，環境返回成功或失敗反饋。檢索器隨后利用該反饋更新策略，在后續任務中更好地權衡利用與探索。

換言之，CASCADE 學習的是一個在線檢索策略：它利用部署過程中觀察到的獎勵信號，判斷哪些案例在給定的任務中更有用。針對這一場景，本文提出了 Neural-LinLogUCB 算法。它使用 Transformer 建模查詢與案例之間的交互表示，并通過線性頭進行不確定性估計，從而適配二值反饋下的上下文賭博機學習。

從理論上看，CASCADE 將整體遺憾分解為兩部分：

1. 覆蓋差距：案例庫是否已經包含足夠相關的歷史經驗；

2. 檢索遺憾：在已有候選案例中，檢索策略是否選中了最有用的案例。

隨著部署過程持續進行，成功案例逐漸被保存到案例庫中，由覆蓋不足帶來的損失會降低；同時，檢索器通過二值反饋更新，逐步減少選擇錯誤案例帶來的檢索遺憾。在合理假設下，CASCADE 可以得到無遺憾學習保證。

因此，CASCADE 不只是一個記憶模塊，而是一個面向部署任務流的原則化在線經驗學習框架。

部署時學習基準測試：DTLBench

為了系統評估部署時學習能力，論文構建了 DTLBench。該基準包含 16 個任務，覆蓋醫療、法律、金融、智能運維、編程、具身決策、信息檢索等領域，并包含單輪任務和多輪任務。

單輪任務包括醫療診斷、藥物推薦、科室轉診、急診分診、法律罪名預測、刑罰預測、金融意圖路由、金融情感分析、根因分析、日志故障診斷、Text-to-SQL。

多輪任務包括經典的 ALFWorld、ScienceWorld，以及兩個更接近真實應用的場景：基于網頁的深度搜索和電子健康記錄上的復雜表格推理。

在 DTLBench 中，每個任務都被組織為在線查詢序列。Agent 必須按順序處理樣本，只能利用已經發生的歷史交互和反饋。這一區別使得部署步上的成功率成為核心評估指標。

主要實驗結果

在 12 個單輪任務上，使用 Qwen3-32B 作為底座模型時，零樣本提示的平均成功率為 48.33%，非參數基線 NP-CBR 達到 63.76%，CASCADE 進一步提升到 66.68%。這一結果表明，案例復用本身已經能夠帶來明顯收益；在此基礎上，利用在線反饋學習檢索策略，可以進一步提升部署序列上的長期表現。

與基于參數更新的基線 REINFORCE+LoRA 相比，CASCADE 在 12 個單輪任務中的 9 個任務上取得更好結果，并在其余任務上表現接近。同時，CASCADE 不需要更新底座 LLM 參數，學習過程顯存低于 4GB，適合在更輕量的部署條件下運行。

論文還驗證了 CASCADE 對不同底座模型規模的適用性。在 Qwen3-4B、8B、14B、32B 上，CASCADE 在大多數設置中均能帶來穩定提升。對于黑盒模型 gemini-2.0-flash，CASCADE 同樣適用，在可評估的 9 個任務上將平均成功率提升到 72.58%，高于零樣本提示的 56.58% 和 NP-CBR 的 70.68%。

這些結果說明，部署時學習并不必須依賴對 LLM 參數的訪問。對于基于 API 服務的黑盒模型，或者不適合頻繁微調的工業系統，CASCADE 提供了一種通過 Agent 外圍組件進行持續適應的途徑。

在 ALFWorld 上，CASCADE 將成功率從 NP-CBR 的 62.01% 提升到 67.43%；在 ScienceWorld 上，從 59.36% 提升到 66.84%。將 CASCADE 插入 ReAct 框架后，也能進一步提升 Agent 在多輪環境中的任務完成率。

在基于網頁的深度搜索中，Agent 需要多輪調用本地 RAG 工具或實時網頁搜索工具完成多跳問答。引入部署時學習后，CASCADE 在本地 RAG 和實時網頁搜索設置下均帶來明顯提升。

在電子健康記錄表格推理任務中，Agent 需要通過 API 查詢數據庫并生成代碼。零樣本提示成功率為 20.75%，NP-CBR 為 44.02%，CASCADE 進一步達到 55.76%，同時減少了平均調試輪數。

小結

CASCADE 試圖回答一個在 LLM Agent 部署中越來越重要的問題：當任務持續到來、反饋不斷產生，而底座模型參數保持固定時，Agent 如何在真實交互過程中進行學習？

本文的核心貢獻可以概括為三點：

1. 提出部署時學習，將 LLM Agent 的部署階段形式化為無參數更新的在線經驗學習；

2. 提出 CASCADE，通過基于案例的推理與上下文賭博機學習實現原則化的部署時學習框架；

3. 構建 DTLBench，在 16 個跨領域任務上評估 Agent 在在線任務序列中的長期表現。

從這個角度看，CASCADE 的重點不在于重新證明 “經驗有用”，而在于進一步提出：部署過程本身可以被建模、評測和優化。隨著 Agent 系統進入更開放、更長程、更依賴工具的應用場景，如何在真實任務流中利用反饋進行穩定學習，可能會成為大模型部署后的一個重要研究方向。