为何长时记忆测试会遗漏对近期事实的偏向
大多数时序知识图谱推理模型在设计时都优先考虑近期历史，而长期记忆评估往往无法察觉这种做法对较旧但仍相关的事实性能造成的损害。在2023年的一项研究中，研究人员发现，依赖递归嵌入学习（一种随时间更新表示的方法）的模型往往聚焦于近期事实而忽略较早的事实，导致知识传播不精确[3]。类似地，2024年提出的一个名为DyMemR的模型，其设计初衷正是因为许多现有模型只考虑固定的时间范围，从而丢失了有用的历史信息[1]。如果你的评估只测试近期记忆，就完全无法发现这种偏差。
其后果是，智能体或许能在涉及上周事件的测试中表现出色，但当被问及数月前仍具相关性的事情时却可能失败。这些论文表明，记忆应当是动态的——如同人类记忆一样，具有容量限制和重复效应——而非简单的近期过滤器[1]。一项良好的长期记忆评估应包含需要从不同时间深度检索事实的问题，而不仅仅是最近几次会话中的内容。
噪音问题：更多历史未必更好
另一个盲点是，长记忆评估往往假设历史信息越多越好，但在实际应用中，过多的历史反而会引入噪音和无效事实。DyMemR论文明确指出，使用全部历史事实会引入噪音，从而损害推理能力[1]。他们的解决方案是采用一个记忆池，选择性保留可能有用的信息，模拟人类记忆中的遗忘与重复机制。如果你的评估不测试智能体能否过滤掉无关或矛盾的信息，就无法揭示这一失败模式。
2023年提出的MTDM模型采用了不同的方法：它不再使用全部历史信息，而是直接利用与缺失知识最相关的事实，从而提高了预测的准确性和效率[3]。这表明，长期记忆评估应包含时间上接近但语义上无关的干扰事实或事件，以检验智能体能否忽略它们。如果没有此类测试，智能体可能看似记忆良好，实则只是不加区分地记住了一切。
最困难的部分：时间与因果动态
即便模型能够处理长上下文，它们在理解事件之间的时间与因果关系方面仍存在困难——而这一差距往往是标准的长记忆基准测试所未能触及的。在2024年的一项研究中，研究者引入了LoCoMo数据集，该数据集包含超长期对话（平均多达32个会话、600轮对话和16K个词元），结果发现大语言模型在理解对话中的长期时间与因果动态方面存在挑战[2]。即便使用长上下文大语言模型或检索增强生成（RAG），其表现仍显著落后于人类水平[2]。
这是一个关键的洞见：模型或许能正确回忆单个事实，却无法在时间上将其串联，或理解因果关系。对于智能体记忆而言，这意味着评估应包含诸如事件摘要或需要跨多个时间点推理的问题等任务，而不仅仅是单一事实的检索。LoCoMo基准测试包含了这类任务，但许多现有评估并未涵盖，因此它们忽略了这一根本性局限。
关于这些来源
本回答基于5项同行评审研究——发表于2023年至2026年，其中3项为2024年或之后发表，1项发表于Q1期刊，合计被引用51次——这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文的数据库中检索到的35篇文献。
本文引用的文献
基于动态记忆增强的时间知识图谱推理
提出DyMemR，一种具有类人记忆池（容量、遗忘、重复）的时序知识图谱推理模型，用于选择性保留有用的历史事实，从而解决使用全部历史带来的噪声问题以及固定时间范围导致的信息丢失问题。
评估LLM智能体的超长期对话记忆能力
我们引入了LoCoMo，这是一个包含超长期对话的数据集（最多32个会话、600轮对话，平均16K词元），并发现大语言模型在处理长程时间与因果动态方面存在困难，即便使用长上下文或RAG技术，其表现仍落后于人类水平。
记忆触发的时间知识图谱推理
提出的MTDM是一种记忆触发的决策网络，它利用较早的历史事实构建初始表征，并借助近期事实进行更新，同时直接采用最相关的事实来提升预测的准确性和效率，从而缓解不精确知识的传播。
用于时序知识图谱推理的自适应路径记忆网络
提出了DaeMon，一种自适应路径记忆网络，无需依赖实体表示即可建模时间路径信息，这对于处理现实世界时序知识图谱中庞大且不断增长的实体数量尤为有用，在MRR上相较现有最优方法取得了最高4.8%的绝对提升。
用于知识追踪的时间图记忆网络
提出了一种用于知识追踪的深度时序图记忆网络，该网络联合建模关系动态与时间动态，并引入了一种通过时间衰减约束来表示遗忘行为的通用技术，在多个基准数据集上展现了优越性能。