[Dagstuhl 2025] 模块化存储：解锁持续学习智能体的关键钥匙

TL;DR

在 2025 年 10 月举行的 Dagstuhl 研讨会后，多位 AI 顶尖学者联合发布了这篇立场论文。文章指出，要实现真正像人一样具备自适应能力的 AI 智能体，必须摒弃“单体模型”更新的旧路，转向模块化存储（Modular Memory）。其核心逻辑是将上下文学习 (ICL) 带来的“快消化”知识积累与权重学习 (IWL) 的“结构化”参数巩固深度融合。

痛点深挖：为何目前的 AI 还是“金鱼脑”？

当前的 Foundation Models 虽然在静态评测中超越了人类，但在实际应用中却像一个复读机。

1. IWL 的顽疾：如果频繁为了新任务微调模型权重，轻则发生灾难性遗忘（Forgetting），重则导致模型塌陷（Loss of Plasticity），难以维持原有能力。
2. ICL 的瓶颈：单纯依靠长文本窗口（Long Context）虽然能“现学现卖”，但随着上下文增长，计算成本激增且推理精度会莫名下滑（Lost in the Middle）。

作者认为，现有的 CL 研究太纠结于“怎么改权重”，而忽略了“怎么用存储”。

核心方法论：解耦学习的三个层次

本文提出的框架（见下图）借鉴了认知心理学和计算机架构的精髓，将系统分为三个核心组件：

• 核心模型 (Core Model)：负责通用感知和推理，像人类的大脑皮层。它不频繁更新，只在“休眠”或空闲期进行低频的参数巩固。
• 工作记忆 (Working Memory)：即当前的 Prompt 和临时推理链，容量小、时效短。
• 长期记忆 (Long-term Memory)：存储过去所有的经验、事实和个性化点滴。它通过向量检索（Retrieval）或关联查找与核心模型交互，实现“即取即用”。

双重运作模式

• 外部 regime（环境驱动）：模型在与人交互时，从长期记忆检索相关片段注入工作记忆，通过 ICL 进行实时调整，不改模型权重，主打一个“快”。
• 内部 regime（自我巩固）：模型在闲暇时把长期记忆里的精华提取出来，通过蒸馏（Distillation）等手段将其变成模型权重的一部分（IWL），主打一个“稳”。

实验洞察：哪种存储形式最划算？

作者对不同的存储表示形式（Representations）进行了深度剖析（见下表）：

• Slot-based (插槽式)：如 KV Cache、原始文本。优点是增删改查特简单，不影响其他知识；缺点是容量随时间无限膨胀。
• Neural Memory (神经网络式)：如分布式权重存储。优点是空间利用率极高；缺点是容易互相干扰，想“点对点”忘掉某个敏感信息很难。

深度洞察：这场持续学习范式的革命

这篇论文最深刻的见解在于：持续学习不应该只是训练过程，更应该是推理过程。

1. 幻觉的终结：当智能体被强制要求从显式存储中提取证据时，回复的可靠性大幅提升。
2. 个性化的终极方案：每个用户拥有独立的长期记忆模块，而共享同一个 Core Model，这完美解决了隐私与大模型成本的矛盾。
3. 自主演进：智能体需要学会“自主决定该记住什么、该忘掉什么”，这要求未来的模型必须具备元认知（Metacognition）能力。

局限性与展望

尽管模块化架构诱人，但在如何实现“高效的长期记忆压缩”以及“多模态信息的对齐存储”方面仍有巨大挑战。作者最后呼吁，持续学习社区不应只埋头刷基准榜单，而应更多关注如何像构建计算机硬件那样，为大模型设计一整套层次化的存储层叠结构。

Takeaway：未来的 LLM 专家将不仅仅是算法工程师，更需要成为一名出色的“存储管理架构师”。