ITPUB專訪｜李志宇：在AGI的未來版圖中，記憶是最有溫度的力量

在當下科技發(fā)展的宏大敘事中，大模型與生成式人工智能無疑是最為耀眼的篇章，它們正以前所未有的速度和深度滲透到社會經濟的各個角落，重塑著我們的生產生活方式。從智能客服精準解答用戶疑問，到內容創(chuàng)作領域生成富有創(chuàng)意的文字、圖像與視頻，再到醫(yī)療、金融等專業(yè)領域輔助決策分析，大模型與生成式AI的應用場景不斷拓展，展現(xiàn)出巨大的發(fā)展?jié)摿Α?br/>

然而，隨著技術的持續(xù)演進，大模型也面臨著諸多挑戰(zhàn)與瓶頸。其中，記憶能力的局限性成為制約其進一步發(fā)展的關鍵因素之一。當前的大模型在處理復雜任務和長期依賴關系時，往往會出現(xiàn)信息遺忘、上下文理解不準確等問題，導致生成結果的準確性和連貫性受到影響。例如，在多輪對話場景中，模型可能無法準確記住前文的關鍵信息，從而給出答非所問的回復；在復雜的故事創(chuàng)作中，也難以保持情節(jié)的邏輯性和一致性。

近日，ITPUB有幸采訪到記憶張量（上海）科技有限公司的CTO李志宇老師，一起探討大模型與生成式人工智能領域中記憶增強技術的最新前沿進展、當下尚未攻克的技術瓶頸以及未來有望實現(xiàn)重大突破的關鍵方向等內容。

Key Takeaways：

1、大模型的核心限制已從參數(shù)規(guī)模轉向“記憶能力”。

上下文窗口擴展 ≠ 真正記憶。智能增長需要穩(wěn)定、可控、可擴展的長期記憶體系。

2、記憶不僅提升性能，更讓 AI 擁有“溫度”與“個性”。

長期、穩(wěn)定、個性化的記憶讓智能體能夠真正理解用戶、保持人格一致性、形成連續(xù)的情境認知，這是未來智能交互最重要的體驗基礎。

3、記憶應以“信息增益”而非“信息堆積”為原則。

模型應只記住對未來推理真正有價值的內容，實現(xiàn)選擇性記憶和壓縮。

4、記憶的幻覺問題是當前眾記憶處理模型忽視的。

記憶只有在正確且真實的情況下才可用，記憶幻覺帶來的災難是非常危險的，細致的記憶幻覺評估必不可少。

5、記憶系統(tǒng)的邊界在于：可達性、壓縮失真、多跳推理退化。

這三個因素決定了復雜任務中的性能極限。

6、MemOS 構建了一套結構化的記憶操作系統(tǒng)。

支持記憶抽取、組織、檢索、更新的標準化流程，并通過系統(tǒng)模型實現(xiàn)自動化調度。

7、記憶原生訓練是未來大模型的必然方向。

模型需要學習“記憶形成與調用機制”，而不是依賴外掛式檢索，Text2Mem編排框架是必然發(fā)展趨勢。

8、多模態(tài)記憶將重塑智能體能力邊界。

未來的 AI 將以統(tǒng)一的記憶語義空間管理文本、圖像、語音、視頻，實現(xiàn)更真實的理解與推理。

01風采展示

問題1：您好，李老師！很榮幸有機會采訪到您，先簡單介紹一下您自己！

主持人好，大家好，我是李志宇，博士畢業(yè)于中國人民大學，現(xiàn)任記憶張量（上海）科技有限公司聯(lián)合創(chuàng)始人兼CTO，同時在上海算法創(chuàng)新研究院大模型中心擔任研究員。我的研究方向主要聚焦于大模型的記憶增強與高效評估技術，并長期從事預訓練與大模型應用算法的研發(fā)工作。在此之前，我曾在阿里巴巴、小紅書等企業(yè)帶領團隊負責多個核心算法項目，這些技術成果服務于雙十一、廣告推薦等超大規(guī)模業(yè)務場景。近期，我們聯(lián)合多家學術與產業(yè)機構提出了業(yè)內首個大模型記憶操作系統(tǒng)（MemOS），希望為大模型的記憶增強與智能演化提供系統(tǒng)化的技術路徑。目前，這一方向已在多個行業(yè)場景落地，也成為我們持續(xù)深入探索的核心主題。作為一家本土創(chuàng)業(yè)公司，我們期望跑出國際加速度，讓記憶這件事情深入到通往AGI時代的每個行業(yè)中，真正讓AI有溫度。

02基礎理論與原理

問題2：在構建大模型記憶體系時，如何從信息論的角度衡量記憶的容量、質量和有效性，以確定合理的記憶規(guī)模和存儲方式，避免過度記憶或記憶不足的問題？

這是一個非常核心的問題。我們在構建大模型記憶體系時，確實需要避免兩個極端，一是“記得太多”，模型陷入信息冗余和噪聲累積；二是“記得太少”，導致智能無法延續(xù)。為了找到平衡點，我們需要找到合適的角度去刻畫記憶的“量”和“質”。

從信息論的視角看，記憶本質上是信息壓縮與重構的過程。我們希望記憶中存儲的每一條信息，都能對模型未來的推理或決策產生最大化的信息增益。因此，我們用類似互信息的指標來衡量記憶的價值。那些能顯著提升預測、規(guī)劃或生成質量的記憶，就值得被保留；反之，則可以被壓縮或遺忘。這其實是一種信息效率最大化的策略，讓模型的記憶既豐富又高效。當然，在在工程實現(xiàn)層面，我們會引入分層的記憶結構建模和管理：參數(shù)記憶、激活記憶和明文記憶，這也是由于通常對于應用場景而言，這三類的需求程度和讀寫頻率面向場景都會有差異性。我們需要根據(jù)場景的不同，去動態(tài)的建模和調度不同的記憶類型。

可以說，信息論為我們提供了一種定量化的思維方式——幫助模型判斷什么是“值得記住的事”，什么應該“被遺忘”。但最終目標不是讓模型變成一個無所不記的機器，而是讓它具備一種類似人類的選擇性記憶，能在有限的存儲與計算預算下，保留對智能行為最關鍵的那部分經驗與知識。當然，圍繞這個，我們團隊的首席科學家楊泓康博士也是正在進行系統(tǒng)化的理論推演和研究，力求從信息增益的角度，對記憶的基本原理有更加完善的建模和突破。

問題3：記憶增強大模型在面對極端復雜、邏輯跨度極大且信息高度分散的任務時，其記憶整合與推理能力的邊界究竟在哪里？如何設計有效的評估指標來量化這一邊界，以指導模型在實際應用中的合理使用？

您的這個觀察確實是十分敏銳，記憶增強的大模型在理論上擴展了模型可用上下文的“有效長度”，但在面對您說場景任務時，記憶整合與推理能力并非無界增長，我認為它其實是有明確的瓶頸與退化模式的。這里我想從兩個方面討論下：

首先說邊界。記憶增強系統(tǒng)的推理能力受三類因素限制：一是信息可及性，也就是關鍵事實是否能被檢索到并以可理解的形式供推理模塊使用；二是壓縮失真，長期記憶通常要經過編碼與壓縮，重要細節(jié)可能在這一階段丟失，導致推理鏈路斷裂；三是推理鏈長度與組合復雜性，隨著需要組合的記憶片段數(shù)與中間推理步數(shù)增加，模型的錯誤累積和歸納偏差會使正確率呈指數(shù)級下降。因此，當任務需要跨越大量低頻事實、執(zhí)行多輪多跳組合并保持邏輯一致時，系統(tǒng)的表現(xiàn)會在某個跳數(shù)/信息碎片數(shù)后急劇下降，這就是它的實際邊界。

當然，要量化并可視化這類邊界，單一的準確率不夠，我們需要多維度、可解釋的評估指標和應力測試設計，其中，關鍵是建立一套結合信息覆蓋度、推理深度和一致性的綜合指標體系。那么，我們這里的評估也是從邊界的角度上去考慮的，比如信息可達性，用檢索召回率或證據(jù)利用率衡量；二是推理鏈長度與正確率，通過多跳任務的性能隨推理步數(shù)增加的變化曲線來刻畫；三是一致性與可信度，衡量模型在整合分散記憶時是否保持事實一致、避免幻覺，這里可能就是需要單獨構建面向記憶的幻覺評估框架。例如，我們近期發(fā)布的的HaluMem框架，就是業(yè)內首個專為記憶系統(tǒng)設計的操作級幻覺評測基準，覆蓋“提取—更新—問答”全流程，用以全面檢測和量化記憶系統(tǒng)在不同階段的幻覺行為。

03記憶增強技術層面與架構層面

問題4：在金融行業(yè)應用記憶增強技術的大模型或系統(tǒng)時，如何確保模型在處理客戶敏感數(shù)據(jù)（如交易記錄、財務狀況等）過程中的數(shù)據(jù)安全性和隱私性，防止數(shù)據(jù)泄露和濫用？

確實，記憶作為個人和組織的重要資產，其安全性和隱私性在金融行業(yè)尤為關鍵。我們的整體思路是從模型對齊與應用治理兩個層面同時展開。

在模型對齊層面，我們會通過安全強化對齊和記憶過濾機制，讓模型在訓練與推理階段自動區(qū)分可被記憶的信息和禁止長期存儲的敏感數(shù)據(jù)。在應用層面，我們構建了多級訪問與審計機制，將記憶系統(tǒng)劃分為私域、機構域與公共域，確保不同層次的數(shù)據(jù)僅能在授權范圍內被調用。所有記憶的寫入、檢索與更新操作均可追蹤、可撤銷。此外，我們?yōu)槊織l記憶建立生命周期管理機制，到期自動失效或加密歸檔。通過這種模型層自約束+系統(tǒng)層可監(jiān)管的雙層防護，我們希望實現(xiàn)一種可記憶、但不越界；可調用、但可控的記憶安全范式，讓大模型在金融場景中既能保持智能性，也能充分保障信任與合規(guī)。

問題5：在記憶張量公司提出的MemOS框架中，各個模塊之間，如記憶抽取、記憶組織、記憶檢索等，是如何進行高效交互和協(xié)同工作的，這種交互機制在處理復雜、多輪次任務時如何保證穩(wěn)定性和準確性？

在MemOS框架中，我們始終堅持系統(tǒng)協(xié)同這一核心理念。記憶抽取、記憶組織、記憶檢索這些模塊并不是孤立運作的，而是通過兩條路線實現(xiàn)高效交互與協(xié)同工作的。一條是由我們的算法工程師針對具體應用場景定制的Pipeline流程，它保證了系統(tǒng)在落地層面的穩(wěn)定性和確定性；另一條是基于大模型的自動化編排方案，讓系統(tǒng)能夠在面對復雜、多變的任務時具備自適應與泛化能力。

在第一條路線中，MemOS會根據(jù)任務類型預先定義清晰的處理管線。例如，當一個對話任務觸發(fā)時，系統(tǒng)會按照“記憶抽取→記憶組織→記憶檢索→記憶更新”的順序依次執(zhí)行。每個模塊都有明確的輸入輸出協(xié)議和數(shù)據(jù)結構，通過統(tǒng)一的結構體進行交互，整個流程可以用工程化方式精確控制。這種方式非常適合在金融、客服等高可靠性場景中部署，系統(tǒng)的行為是可預測、可驗證的。

而在第二條路線中，我們利用大模型本身的理解與規(guī)劃能力，讓它來讀懂記憶框架的各個算子，并生成一套動態(tài)的編排指令。也就是說，模型可以根據(jù)當前任務狀態(tài)，自主決定調用哪些記憶模塊、采用何種參數(shù)與順序。例如，在多輪任務或跨會話推理中，系統(tǒng)模型會根據(jù)上下文自動觸發(fā)“抽取+檢索+復查”的組合操作，實現(xiàn)真正的智能化調度。

為了在這兩種路線下都能保證穩(wěn)定性和準確性，我們在系統(tǒng)中加入了異步的一致性約束、記憶快照與幻覺檢測機制。每一次記憶更新都會經過時序校驗和沖突檢測；系統(tǒng)還會實時監(jiān)測記憶內容的準確性，利用我們提出的HaluMem框架對潛在幻覺或錯誤更新進行評估與糾正。這套機制確保了在長時、多輪的任務執(zhí)行中，記憶信息始終保持邏輯一致和事實正確。

問題6：在MemOS框架中，記憶模塊的擴展性如何？當面對大規(guī)模數(shù)據(jù)和復雜任務時，如何確保記憶模塊能夠高效擴展而不影響整個模型的性能和穩(wěn)定性？

在MemOS的設計理念中，我們始終以“人”或者“Agent”為核心來思考記憶管理與模塊化擴展的問題。我們認為，記憶系統(tǒng)的本質不是簡單地堆疊存儲容量，而是要讓智能體在持續(xù)演化中，像人一樣能取舍記憶、組織經驗（比如我們設計的類腦圖知識組織方案）、持續(xù)成長。因此在MemOS的架構里，每一個記憶模塊都圍繞Agent的生命周期設計，具備清晰的邊界、獨立的接口和可擴展的層級邏輯，這讓系統(tǒng)能夠在保持穩(wěn)定的同時，靈活應對不同規(guī)模的數(shù)據(jù)與任務。

從架構上看，MemOS的記憶模塊是通過分層記憶管理來實現(xiàn)高效以及可擴展性的。每個人或者Agent都會維持一個專屬的記憶體，這個記憶體是可被打包、轉移或者傳輸?shù)摹Ｔ谛阅芘c穩(wěn)定性保障方面，我們引入了兩類關鍵機制：一是異步記憶調度機制，它讓記憶的讀寫與模型計算解耦，不會因為大規(guī)模記憶操作拖慢主推理流程；二是增量更新與記憶壓縮技術，系統(tǒng)會通過自動蒸餾與壓縮算法，將長期未訪問或低價值的記憶進行提煉與融合，減少冗余占用，從而保證系統(tǒng)即使在超大規(guī)模數(shù)據(jù)流或者高QPS環(huán)境下仍能高效運作。

04記憶增強訓練方法層面

問題7：目前各家記憶系統(tǒng)多數(shù)都是基于通用基座構建的應用處理流程，但您更加強調說需要通過模型層面的訓練來結合提升記憶處理的效果？為什么會有這樣的考慮呢？

確實，目前很多記憶系統(tǒng)的做法主要是基于現(xiàn)有大模型去做“外掛式記憶”，也就是通過外部數(shù)據(jù)庫、RAG檢索或工作流編排的方式，把記憶功能包在模型外層。這種方式在工程上簡單、可快速落地，但它本質上仍然是一種“調用式記憶”或者“阻斷式記憶”，并沒有真正改變模型對記憶的理解與使用方式。而我們在MemOS中更強調要通過模型層面的訓練去融合記憶，讓模型能夠內生地學習到記憶的形成、更新與調用邏輯，構建一個ALL-Ready的記憶狀態(tài)和上下文空間。

我們之所以有這樣的考慮，主要出于兩個核心原因。第一，從智能演化的角度看，真正的記憶不是外部調用的緩存，而是模型認知體系的一部分。人類在記憶時會經歷“編碼—提取—重構”的過程，而大模型若沒有在參數(shù)層或激活層中學習這些機制，它就無法真正做到穩(wěn)定記憶和長期依賴，所有外部的RAG都只是模仿。第二，從系統(tǒng)性能的角度看，外部記憶雖然靈活，但在多輪交互中會出現(xiàn)語義漂移、檢索偏差、幻覺積累等問題。只有讓模型在訓練階段就理解什么是重要的記憶、如何壓縮、如何復用，才能從源頭上提升系統(tǒng)的可靠性和一致性。

因此，在MemOS中，我們正在嘗試構建包括記憶原生基模的概念，也就是讓模型在后訓練或自蒸餾階段，通過顯式的記憶標簽與記憶鏈學習，去掌握如何管理和調用記憶，讓模型在面對舊知識或長期上下文時，能夠自主地識別哪些信息應當鞏固、哪些應當遺忘。同時，我們還在研究參數(shù)記憶與明文記憶之間的協(xié)同蒸餾，讓模型既能在參數(shù)中保留穩(wěn)定的長期知識，又能通過外部記憶靈活應對動態(tài)任務。

我一直認為，如果說現(xiàn)有的多數(shù)記憶系統(tǒng)是在教模型去查筆記，那么我們做的是教模型學會思考和整理自己的記憶。只有把記憶融入模型的學習和推理機制中，智能體才能真正具備持續(xù)學習與經驗積累的能力，這也是我們推進MemOS的最核心目標。

問題8：當使用強化學習訓練記憶調度策略時，如何解決探索-利用平衡問題，確保模型既能充分探索不同的記憶方式，又能有效利用已有的最優(yōu)記憶策略？

這個問題非常關鍵。我們在MemOS的調度算子研究中確實發(fā)現(xiàn)，當用強化學習訓練模型的記憶調度策略時，最難處理的不是獎勵設計本身，而是探索與利用的平衡問題——也就是模型在面對龐大的記憶空間時，如何在嘗試新的記憶方式和鞏固已有的最優(yōu)策略之間動態(tài)切換。過度探索會導致系統(tǒng)學習不穩(wěn)定、效率低下，而過度利用又會讓模型陷入慣性記憶，缺乏自我更新的能力。

在MemOS的設計里，我們主要通過三層機制來解決這個平衡問題。第一層是分階段探索機制。我們讓模型在訓練早期保持較高的探索率，而在訓練中后期，會逐步降低探索率，讓模型更多地利用過去被驗證有效的記憶操作。這有點類似人類學習過程中的“先廣度后深度”——先學會如何記，再學會如何記得更好。第二層是基于信息增益的獎勵重構機制。我們不是單純獎勵模型生成正確的答案，而是獎勵它在記憶操作中帶來的“知識增益”——例如是否發(fā)現(xiàn)了新的關聯(lián)、是否優(yōu)化了記憶壓縮效率、是否減少了幻覺率。這樣模型在強化學習過程中就會自然地傾向于那些真正提升記憶系統(tǒng)表現(xiàn)的策略，而不是只在短期準確率上做表面優(yōu)化。第三層是動態(tài)記憶策略池。我們在訓練過程中同時維護多個策略分支，讓模型在不同上下文下能夠自適應切換。例如，當系統(tǒng)檢測到任務變化或上下文漂移時，會自動觸發(fā)新的探索模式；而在穩(wěn)定場景中則優(yōu)先使用已經收斂的策略。

總的來說，我們希望強化學習下的記憶訓練更接近人類的持續(xù)學習范式：既要有足夠的探索，去發(fā)現(xiàn)新的記憶組織邏輯；又要能在已有經驗上穩(wěn)步迭代，形成可復用的記憶策略。這種平衡機制也讓MemOS的記憶系統(tǒng)在面對開放環(huán)境和長周期任務時，既具備適應性，又能保持穩(wěn)定性與可控性。

05記憶增強技術與MemOS的未來趨勢和挑戰(zhàn)

問題9：您覺得未來記憶增強實現(xiàn)的最典型和最高效的范式是什么？實現(xiàn)的過程中有什么大的技術挑戰(zhàn)值得注意嗎？

我認為，未來記憶增強技術最典型、也最有效的實現(xiàn)范式，一定是模型原生+系統(tǒng)協(xié)同的融合形態(tài)。也就是說，記憶不再是外掛式的模塊，也不是單純的數(shù)據(jù)庫或檢索層，而是成為大模型內部認知結構與外部系統(tǒng)協(xié)同機制的一體化組成部分。我們希望模型不僅能查得到過去的信息，更能理解自己為什么記得和知道何時該忘記。這一點聽起來簡單，但本質上意味著人工智能開始具備自我記憶管理與動態(tài)知識更新的能力。

在實現(xiàn)路徑上，我認為會呈現(xiàn)三層融合的趨勢。第一層是模型層的記憶內生化，也就是讓模型在訓練過程中學習記憶形成與更新的機制，比如通過自蒸餾、強化回放或鏈式記憶學習（Chain-of-Memory）等方式，使記憶結構內化到參數(shù)和激活空間中；第二層是系統(tǒng)層的記憶編排與調度，通過像MemOS這樣的操作系統(tǒng)級架構，實現(xiàn)不同類型記憶（參數(shù)記憶、激活記憶、明文記憶）的動態(tài)管理和多任務共享；第三層是跨模型與跨Agent的記憶互聯(lián)，也就是讓多個智能體之間能夠共享和遷移記憶，從而形成真正的群體記憶網絡。這種三層融合的架構，最終會讓AI擁有持續(xù)學習、協(xié)作演化的能力，而不是在每次任務中從零開始。

當然，這條路上也存在很大的技術挑戰(zhàn)。首先是一致性問題，不同來源、不同時間的記憶（特別是參數(shù)記憶和激活記憶）如何融合而不產生沖突，是系統(tǒng)最難控制的部分；其次是可解釋性問題，當模型基于大量動態(tài)記憶做出決策時，我們如何追蹤它的記憶來源與演化路徑；第三是記憶約束與隱私問題，未來的記憶系統(tǒng)要像人腦一樣可記、可忘、可加密，這需要在算法、系統(tǒng)與倫理層面共同突破。除此之外，還有性能與成本問題——如何在超長上下文、超大記憶圖的情況下，仍然保持檢索速度、訓練效率和能耗平衡，這將是工程落地的關鍵考驗。

我相信，記憶增強的未來不會是一個單點技術突破，而是一個跨層融合、持續(xù)演化的系統(tǒng)工程。

問題10：MemOS未來是否會突破現(xiàn)有單一文本模態(tài)記憶的限制，全面整合圖像、音頻、視頻等多模態(tài)記憶信息，實現(xiàn)跨模態(tài)記憶的深度融合與協(xié)同推理，以適應更復雜、多元的應用場景？

我認為這是記憶系統(tǒng)發(fā)展中最具確定性的趨勢之一。因為人類的記憶從來不是單一模態(tài)的，我們在記憶一件事情時，往往同時保留文字、圖像、聲音甚至情感的線索；而如果人工智能希望具備真正的理解與推理能力，就必須能夠在不同模態(tài)之間建立統(tǒng)一的記憶表征。因此，MemOS也一定會突破單一文本模態(tài)的限制，走向多模態(tài)記憶的融合與協(xié)同推理。

在目前的研發(fā)路線中，我們已經在構建多模態(tài)記憶架構，它的核心思路是：通過統(tǒng)一的記憶編碼與對齊機制，把文本、圖像、語音、視頻等不同模態(tài)的信息映射到同一個記憶語義空間中。比如，當系統(tǒng)處理一段會議視頻時，它不僅會抽取文字記錄，還會同步提取說話者的語音特征、表情變化、圖像場景信息，并通過記憶抽取和記憶組織模塊進行語義對齊與時序建模。這樣，記憶就不再是單線索文本，而是一種跨模態(tài)的認知節(jié)點，可以在后續(xù)的檢索與推理中被統(tǒng)一調用。

更重要的是，在記憶檢索與記憶推理階段，我們希望模型能夠實現(xiàn)跨模態(tài)的協(xié)同回憶。比如在處理一個醫(yī)療場景時，系統(tǒng)既能檢索患者的病歷文本，又能自動聯(lián)想到影像片段中的異常區(qū)域，并結合歷史語音記錄做出判斷；又如在金融或工業(yè)領域，模型可以同時分析報告內容、圖表趨勢和視頻監(jiān)控信息，形成一個多視角的記憶認知鏈。這種能力本質上是一種多模態(tài)記憶推理，它讓系統(tǒng)具備了更接近人類理解方式的通用智能特征。

當然，這條路也充滿挑戰(zhàn)。最大的問題是模態(tài)對齊與記憶一致性，不同模態(tài)的信息往往存在時空錯配和語義差異，我們需要設計更高維的對齊機制和動態(tài)權重策略，來保證系統(tǒng)在融合時不丟失細節(jié)、不過度壓縮。其次是效率與算力成本，多模態(tài)記憶的讀寫和檢索非常龐大，我們正在通過稀疏化存儲、事件觸發(fā)更新、以及記憶圖分層管理等手段去優(yōu)化。最后是推理一致性與可解釋性，在多模態(tài)融合后，如何追溯模型的記憶來源、保證不同模態(tài)間推理鏈條的邏輯透明，這將是未來一段時間我們重點攻關的方向。

總體來說，我認為多模態(tài)記憶是記憶增強的必然演化方向。而MemOS的目標正是希望成為連接多模態(tài)智能的記憶操作系統(tǒng)，讓模型不僅能“看懂”“聽懂”“讀懂”，更能“記得對、想得通、推得準”。同時，我們最近發(fā)布了平臺化的API系統(tǒng)，能夠讓開發(fā)者們更加快速高效的使用記憶增強框架，歡迎感興趣的同學搜索MemOS并試用API。