Gradient 团队近期开展了一项研究,这源于一个很现实的问题:随着大模型和多智能体系统(Multi-Agent System, MAS)的发展,系统在长时间运行过程中会不断产生大量交互记录和历史信息。举个例子,当一个智能体与环境互动、与其他智能体协作时,它每天都在“积累记忆”。这些记忆本来是很宝贵的,但如果管理不好,就会像人类的“碎片化记忆”一样,越堆越乱,甚至产生噪声,导致系统效率变低、推理准确率下降和成本增加。
传统做法主要依赖两种手段:第一是向量检索,通过相似度找“相关记忆”;第二是分层存储,以分级方式管理信息。这些方法在初期确实有效,但在复杂、长期、多任务场景里,往往会遇到三个问题:
- 噪声累积:有价值和没价值的信息混在一起,检索时“好记忆”被“坏记忆”淹没。
- 存储失控:记忆库无限膨胀,推理时上下文越来越长,导致算力、金钱成本和响应时延上升。
- 跨领域泛化不足:一个任务域的经验,难以稳健迁移到另一个任务域。
为此,Gradient 团队提出了 SEDM(可扩展自进化分布式记忆框架),希望让“记忆”从被动仓库变成可以主动进化、自我优化、可审计的核心部件。
Gradient 团队的核心贡献,是把“记忆”设计成了一个可验证、自进化的分布式系统。具体来说,SEDM有三个创新点:
可验证写入(Verifiable Write Admission)
每一条候选记忆在进入系统之前,都会经历一次可复现的“实验验证”。Gradient 团队将其封装进自包含执行上下文(Self-Contained Execution Context, SCEC),该上下文支持环境无关的回放与离线验证,并记录哈希、版本与指纹信息,形成可审计的证据链。随后进行A/B对照实验:使用这条记忆与不使用时的差异,综合评估其对准确率、延迟(响应时延)和Token开销的影响。只有综合评分为正的“高质量经验”才能写入记忆库并获得初始权重。
自调度记忆控制器(Self-Scheduling Controller)
SEDM不会让记忆库无限扩张,而是设计了一个自我调度的机制。它会根据经验的“实用性权重”和语义相似度,来动态决定哪些记忆应该被调用,哪些应该逐渐淘汰或合并。比如,多次证明无效的记忆会被自动“衰减”,而经常有帮助的经验会被提升权重,甚至抽象成更通用的知识。
跨领域知识扩散(Cross-Domain Knowledge Diffusion)
SEDM不仅能在单一任务中发挥作用,还能把一个任务里学到的知识,抽象成通用形式(从specific到general),再迁移到另一个任务里。比如,Gradient 团队观察到,从事实验证(FEVER)中蒸馏的知识可以显著帮助多跳推理(HotpotQA)。
整体来看,SEDM让记忆从被动存储变成主动演化的系统组件:在提升推理准确率的同时,有效控制Token开销与响应时延,增强了系统的可持续性。
Gradient 团队的论文在送审过程中,几位审稿人都给出了积极的反馈。有人评价说:
- “这项工作把‘记忆’从传统的静态仓库,转化为一个可验证、可进化的组件,这是一种全新的思路。”
- “SEDM提出的AB验证机制,提供了可审计的证据链,避免了黑箱操作,这是非常有价值的。”
- “跨任务迁移的实验结果令人印象深刻,说明SEDM有潜力成为长期多智能体系统的基础设施。”
Gradient 团队收到这些审稿意见之后,感受到学界对这类研究方向的认可,也更坚定了Gradient 团队继续探索智能体系统记忆演化的信心。
从3到5年的视角,SEDM的应用可以从三个方向落地:
人工智能助手
面向个人与企业的智能助手,长期陪伴型助手需要稳健的长期记忆管理,SEDM可在不牺牲效率的前提下,保留用户偏好与关键知识点,降低上下文冗余与响应时延。
长上下文专业任务领域助手
企业级知识库问答、代码协作与演进式Copilot、临床与科研辅助决策(Clinical/Research Decision Support)。在这些对长上下文和持续推理敏感的场景中,SEDM通过自调度与可验证写入筛选关键记忆,控制上下文窗口和时延,提升准确性与可解释性。
科研和知识管理
科研工作者每天都会接触海量论文和实验数据。SEDM可以作为“科研记忆库”,自动筛选高价值知识、避免重复劳动,并将已验证的知识以通用片段形式迁移到新领域,加速跨学科探索。
Gradient 团队当初研究记忆自进化这个方向,在调研测试了一些现有的工作时,发现随着任务的不断执行,系统的“记忆库”膨胀得特别快,并且存在大量冗余又琐碎的细节。因此团队里的成员haoran就提出,为什么不能让记忆库像人类一样,学会根据记忆的重要性做出取舍。这推动了Gradient 团队实现可验证写入和自调度记忆控制器。此后,Gradient 团队更像是在旁观——不告诉AI记什么,而是用证据和规则看它自己学会“记与忘”。
另外,Gradient 团队成员跨越多个国家和时区,常常是凌晨一点还在开会讨论实验结果。虽然辛苦,但大家因为共同的热情而坚持,这也让Bill Shi觉得非常难忘。
接下来Gradient 团队有三方面计划:
更大规模的实测:
目前SEDM主要在公开数据集上做验证,Gradient 团队希望将它推广到更复杂的真实场景,比如企业级知识库管理、大规模代码开发项目助手等,测试它在大规模应用下的稳定性。
结合推理与规划:
Gradient 团队认为记忆不仅是“信息仓库”,还应该能参与到推理和规划中。未来Gradient 团队计划把SEDM和强化学习、推理模型结合起来,让记忆在决策过程中发挥更主动的作用。
开放生态建设:
Gradient 团队也计划逐步开源SEDM的框架,邀请更多研究者和开发者参与进来,共同推动这个方向的发展。
Bill Shi想补充的一点是,SEDM不仅仅是一个技术成果,更是一种理念的体现:人工智能系统需要“可持续性”。在AI快速发展的今天,Gradient 团队常常追求更大的模型、更强的算力,但如果没有好的机制去管理知识和记忆,系统就会不可避免地陷入低效甚至崩溃。SEDM正是Gradient 团队在探索“如何让AI长期高效工作”的一种尝试。
Gradient 团队相信,未来的AI一定是“有记忆、有演化能力”的,而SEDM只是这个方向上的第一步。
本研究由Gradient 团队共同完成。核心架构与系统实现、实验设计与结果复核、数据处理与工具链建设均由haoran,jiacong和zhangke等团队成员协同推进。