MemPilot 如何按需编排多模态记忆整理？

预建记忆无法预知后续查询

多数智能体记忆系统在还不知道会被问什么之前就把记忆建好了。论文认为这种与查询无关的构建方式既浪费又有损：它把预处理算力花在没有任何查询需要的细节上，同时丢掉了后来才显得关键的细节。

近期工作把自适应移到运行时，但论文指出三点局限。运行时控制结构僵化，依赖手工设计的操作、固定流水线、预算档位或启发式规则。权衡优化不完整，往往只针对 token 用量或金钱成本，而面向用户的延迟很少被当作显式目标。多数方法还假定固定的处理后端，忽略了整理质量、成本和延迟在不同模型与模态之间的巨大差异。

MemPilot 的设计原则由此直接推出：保留一个与查询无关的记忆库以便低成本访问，同时保留原始交互历史，使运行时仍能做出针对具体查询的决定。

策略在检索与整理之间做选择

推理时，一条多步 LLM 策略通过反复在两类动作之间选择来构建编排轨迹。Retrieve 调用从与查询无关的记忆库中取出证据，不产生外部模型成本，但它前后的编排器生成仍计入成本。Curate 调用则把针对具体查询的原始多模态历史处理委派给外部模型。

每次 Curate 决定同时控制四件事：请求多少证据、给出什么整理指令、路由到哪个模型、是否包含图像。正是这一组合让策略能以比固定流水线更细的粒度分配运行时算力，也是论文把贡献定位为编排而非单一新记忆操作的原因。

外部模型池按设计就是异构的，涵盖纯文本 LLM 与视觉语言模型，它们在质量、价格和延迟上各不相同。策略模型本身是 Qwen3-4B-Instruct-2507，嵌入使用 Qwen3-Embedding-0.6B；每次检索最多返回五条，每轮最多并行执行两次工具调用。

三个目标分别优化后再合并

MemPilot 把答案质量、金钱成本和延迟当作相互竞争的目标，而不是折成一个标量。成本按每百万 token 的美元价格从编排器与外部模型价格估算，若 API 返回精确成本则采用该值。延迟使用确定性的仿射代理而非实测墙钟时间，因为真实请求延迟会随网络状况和瞬时服务负载波动；该代理把固定的每次调用开销与每输入 token、每输出 token、每张图像的分项相加，系数由重复的非流式请求校准得到。

有两个训练细节对理解结果很重要。目标级优势解耦在聚合之前分别估计每个目标的优势，使某个目标不会在策略更新中压过其他目标。基于前缀的边际效用估计在多步 rollout 中提供更细的信用分配，因为单条轨迹包含多个决策，各自的贡献否则很难分离。

格式门控也塑造了奖励：轨迹必须恰好包含一个非空的最终答案块、成对且可解析的动作标签，以及有效的模型或记忆标识符。格式无效的轨迹获得固定奖励 −1，并被排除在成本与延迟比较之外，因此畸形轨迹不会显得便宜。由于所评估任务需要记忆证据，不调用 Retrieve 或 Curate 就作答同样无效。

去掉委派带来的质量损失最大

消融实验以 Qwen3-VL-4B-Instruct 作为答案模型，在五个基准上取平均。完整的 MemPilot 配置平均 Judge 得分为 37.40，成本为每样本 1.1e-2 美元。

去掉 LLM/VLM 委派使平均 Judge 得分从 37.40 降到 14.58，是单项降幅最大的。去掉边际效用估计得到 14.82，去掉检索—指令解耦得到 15.35。去掉目标级优势解耦损害较小但仍然明显，降至 21.94。每个消融变体的推理成本都更低，但伴随的质量损失足够大，因此论文把完整设计解读为更好的质量—成本权衡，而不只是消耗了更多算力。

分基准表格显示同样的排序。完整配置在全部五个基准上 Judge 得分最高，且相同组件在域内与分布外基准上都造成最大降幅。

偏好扫描给出更宽的前沿

由于策略是在不同优化偏好下训练的，扫描这些偏好得到的是前沿而非单一工作点。论文报告，这些扫描在五个多模态智能体记忆基准上给出了比现有兼顾权衡的基线更宽的“性能—成本—延迟”前沿。

运行时分配图显示策略如何随偏好变化花费算力。在 Mem-Gallery 上，转向更便宜的设置会把策略步数从 2.16 降到 1.00，把 Curate 动作占比从 51.4% 降到 0%，把证据条数从 3.93 降到 3.00，把图像访问从 19.5% 降到 0%。WorldMemArena-Lifelong、H2HMem、MemEye 和 MemLens 呈现同样模式：更便宜更快的设置意味着更少步数、更少 Curate 调用、更少证据且不使用图像。

模型选择也随偏好变化。报告给出的分布把路由调用分到 70B 以下 LLM、70B 及以上 LLM、70B 以下 VLM、70B 及以上 VLM 以及专有 VLM，因此前沿既反映做了多少工作，也反映由哪个后端来做。

记忆库选择决定所处成本区间

MemPilot 并不绑定于某一种与查询无关的记忆构建方式。把默认记忆库换成 SimpleMem 或 A-MEM 后，无需重新训练仍能保持清晰的性能—成本前沿，论文报告运行时编排行为在三种记忆库上都得以保持。

这些记忆库处于不同的成本区间。默认记忆库通常给出更省成本的工作点。A-MEM 总体成本更高，但往往能达到更高的性能上限，在 WorldMemArena、MemEye 和 MemLens 上尤其如此。SimpleMem 通常介于两者之间，在 Mem-Gallery 和 H2HMem 上仍具竞争力。

这对理解前沿很重要：上游记忆表示决定曲线落在哪里，而运行时编排决定随着算力增加系统沿曲线走多远。

这些结论适用到哪里，到哪里为止

证据覆盖五个多模态智能体记忆基准，其中 MemLens 和 MemEye 被标为分布外评估。质量由各基准自己的评分方式衡量：Mem-Gallery 和 H2HMem 使用 0 到 1 的五级评分标准，WorldMemArena 给 Correct 记 1、给 Hallucination 或 Omission 记 0，MemEye 量化为 {0, 0.5, 1}，MemLens 使用按类型区分的二元评分标准。评判模型的 token 用量被保留用于审计，但不计入系统的成本、延迟和调用指标。

资源数字各有各的分母。每题成本除以唯一的数据集—对话对数量，延迟按问题取平均，调用次数只统计实际尝试的路由外部 LLM 调用，排除本地策略生成、仅检索操作、评判模型请求、可选的解耦答案生成以及离线记忆构建。因此成本数字和延迟数字回答的是不同问题，不应互相替代。

延迟数字是代理估计而非实测墙钟延迟，成本数字除非 API 返回精确值否则也是基于 token 的估计。两者都是针对这些实验所用工作区间校准的，因此可迁移的结果是前沿形状，而不是任何单个成本或延迟数值。

偏好设置才是真正的控制面

最具决策价值的结果不是某个单一分数，而是偏好与分配之间的关系。在全部五个基准上，收紧成本或延迟偏好都会可预测地减少策略步数、Curate 动作、证据条数和图像访问，论文报告由此得到的前沿比兼顾权衡的基线更宽。

这使偏好设置成为实际的控制面。读者若要把 MemPilot 与固定流水线比较，应在相同成本或延迟预算下比较前沿位置，而不是在未指定预算的情况下比较头条质量。而且由于记忆库分析显示默认记忆库、SimpleMem 和 A-MEM 在无需重新训练的情况下处于不同成本区间，可达前沿取决于已经采用的上游记忆表示。

消融排序给出了复现或扩展该设计时的优先级：对异构模型的委派最重要，其次是边际效用估计和检索—指令解耦，目标级优势解耦带来的增益较小但稳定。

本文引用的文献