Gradient 團隊近期開展了一項研究,這源於一個很現實的問題:隨着大模型和多智能體系統(Multi-Agent System, MAS)的發展,系統在長時間運行過程中會不斷產生大量交互記錄和歷史信息。舉個例子,當一個智能體與環境互動、與其他智能體協作時,它每天都在「積累記憶」。這些記憶本來是很寶貴的,但如果管理不好,就會像人類的「碎片化記憶」一樣,越堆越亂,甚至產生噪聲,導致系統效率變低、推理準確率下降和成本增加。

傳統做法主要依賴兩種手段:第一是向量檢索,通過相似度找「相關記憶」;第二是分層存儲,以分級方式管理信息。這些方法在初期確實有效,但在複雜、長期、多任務場景里,往往會遇到三個問題:
- 噪聲累積:有價值和沒價值的信息混在一起,檢索時「好記憶」被「壞記憶」淹沒。
- 存儲失控:記憶庫無限膨脹,推理時上下文越來越長,導致算力、金錢成本和響應時延上升。
- 跨領域泛化不足:一個任務域的經驗,難以穩健遷移到另一個任務域。
為此,Gradient 團隊提出了 SEDM(可擴展自進化分佈式記憶框架),希望讓「記憶」從被動倉庫變成可以主動進化、自我優化、可審計的核心部件。
Gradient 團隊的核心貢獻,是把「記憶」設計成了一個可驗證、自進化的分佈式系統。具體來說,SEDM有三個創新點:
可驗證寫入(Verifiable Write Admission)
每一條候選記憶在進入系統之前,都會經歷一次可復現的「實驗驗證」。Gradient 團隊將其封裝進自包含執行上下文(Self-Contained Execution Context, SCEC),該上下文支持環境無關的回放與離線驗證,並記錄哈希、版本與指紋信息,形成可審計的證據鏈。隨後進行A/B對照實驗:使用這條記憶與不使用時的差異,綜合評估其對準確率、延遲(響應時延)和Token開銷的影響。只有綜合評分為正的「高質量經驗」才能寫入記憶庫並獲得初始權重。
自調度記憶控制器(Self-Scheduling Controller)
SEDM不會讓記憶庫無限擴張,而是設計了一個自我調度的機制。它會根據經驗的「實用性權重」和語義相似度,來動態決定哪些記憶應該被調用,哪些應該逐漸淘汰或合併。比如,多次證明無效的記憶會被自動「衰減」,而經常有幫助的經驗會被提升權重,甚至抽象成更通用的知識。
跨領域知識擴散(Cross-Domain Knowledge Diffusion)
SEDM不僅能在單一任務中發揮作用,還能把一個任務里學到的知識,抽象成通用形式(從specific到general),再遷移到另一個任務里。比如,Gradient 團隊觀察到,從事實驗證(FEVER)中蒸餾的知識可以顯著幫助多跳推理(HotpotQA)。
整體來看,SEDM讓記憶從被動存儲變成主動演化的系統組件:在提升推理準確率的同時,有效控制Token開銷與響應時延,增強了系統的可持續性。
Gradient 團隊的論文在送審過程中,幾位審稿人都給出了積極的反饋。有人評價說:
- 「這項工作把『記憶』從傳統的靜態倉庫,轉化為一個可驗證、可進化的組件,這是一種全新的思路。」
- 「SEDM提出的AB驗證機制,提供了可審計的證據鏈,避免了黑箱操作,這是非常有價值的。」
- 「跨任務遷移的實驗結果令人印象深刻,說明SEDM有潛力成為長期多智能體系統的基礎設施。」
Gradient 團隊收到這些審稿意見之後,感受到學界對這類研究方向的認可,也更堅定了Gradient 團隊繼續探索智能體系統記憶演化的信心。
從3到5年的視角,SEDM的應用可以從三個方向落地:
人工智能助手
面向個人與企業的智能助手,長期陪伴型助手需要穩健的長期記憶管理,SEDM可在不犧牲效率的前提下,保留用戶偏好與關鍵知識點,降低上下文冗餘與響應時延。
長上下文專業任務領域助手
企業級知識庫問答、代碼協作與演進式Copilot、臨床與科研輔助決策(Clinical/Research Decision Support)。在這些對長上下文和持續推理敏感的場景中,SEDM通過自調度與可驗證寫入篩選關鍵記憶,控制上下文窗口和時延,提升準確性與可解釋性。
科研和知識管理
科研工作者每天都會接觸海量論文和實驗數據。SEDM可以作為「科研記憶庫」,自動篩選高價值知識、避免重複勞動,並將已驗證的知識以通用片段形式遷移到新領域,加速跨學科探索。
Gradient 團隊當初研究記憶自進化這個方向,在調研測試了一些現有的工作時,發現隨着任務的不斷執行,系統的「記憶庫」膨脹得特別快,並且存在大量冗餘又瑣碎的細節。因此團隊里的成員haoran就提出,為什麼不能讓記憶庫像人類一樣,學會根據記憶的重要性做出取捨。這推動了Gradient 團隊實現可驗證寫入和自調度記憶控制器。此後,Gradient 團隊更像是在旁觀——不告訴AI記什麼,而是用證據和規則看它自己學會「記與忘」。
另外,Gradient 團隊成員跨越多個國家和時區,常常是凌晨一點還在開會討論實驗結果。雖然辛苦,但大家因為共同的熱情而堅持,這也讓Bill Shi覺得非常難忘。
接下來Gradient 團隊有三方面計劃:
更大規模的實測:
目前SEDM主要在公開數據集上做驗證,Gradient 團隊希望將它推廣到更複雜的真實場景,比如企業級知識庫管理、大規模代碼開發項目助手等,測試它在大規模應用下的穩定性。
結合推理與規劃:
Gradient 團隊認為記憶不僅是「信息倉庫」,還應該能參與到推理和規劃中。未來Gradient 團隊計劃把SEDM和強化學習、推理模型結合起來,讓記憶在決策過程中發揮更主動的作用。
開放生態建設:
Gradient 團隊也計劃逐步開源SEDM的框架,邀請更多研究者和開發者參與進來,共同推動這個方向的發展。
Bill Shi想補充的一點是,SEDM不僅僅是一個技術成果,更是一種理念的體現:人工智能系統需要「可持續性」。在AI快速發展的今天,Gradient 團隊常常追求更大的模型、更強的算力,但如果沒有好的機制去管理知識和記憶,系統就會不可避免地陷入低效甚至崩潰。SEDM正是Gradient 團隊在探索「如何讓AI長期高效工作」的一種嘗試。
Gradient 團隊相信,未來的AI一定是「有記憶、有演化能力」的,而SEDM只是這個方向上的第一步。
本研究由Gradient 團隊共同完成。核心架構與系統實現、實驗設計與結果複核、數據處理與工具鏈建設均由haoran,jiacong和zhangke等團隊成員協同推進。