记忆需要保留哪些信息
论文要回答的是：具身助手应当从过去的观测中保留什么，才能回答它事先无法预料的空问问题。研究场景是记录日常活动的长时第一视角视频：助手观察一个人在不同场景间移动、操作物体、重访地点，但无法控制这个人看向哪里、做什么。
研究围绕四个设计选择展开：哪些物体会进入记忆，物体位置的变化如何记录，除三维坐标之外还保留什么，以及随着场景增多，早先的观测如何被检索出来。作者认为，如果只把与手部交互有关的物体纳入记忆，就会漏掉那些仍然可见、之后仍可能相关的物体；而只保存一个位置，也无法保留物体的内容物或它的移动历史。
论文提出的记忆系统 Ledger 离线构建，输入是采样后的第一视角录像，并使用给定或估计的相机位姿。开放词汇检测器找出物体，系统把同一物体在不同时间的观测关联起来，无论佩戴者是否触碰过该物体，物体离开视野后记录仍然保留。每条记录包含带时间戳的位置、静止段，以及一段简短描述，记录容器里装了什么、物体放在哪个表面等细节。
静止段把噪声位置变成可靠移动记录
区分静止物体与移动物体的机制是静止段。系统把每个物体带时间戳的三维观测归入若干段，同一段内的观测都靠近同一个静止位置；只有当后续多次观测都支持位移时，才新建一段，也就是记录一次移动。这条持续性规则是论文对定位噪声的回应：没有它，估计坐标的抖动就会让助手把静止物体误判为移动物体。
存下的记录随后以文本形式被读取。回答问题时，系统先定位问题提到的物体，检索它们的记录，再由语言模型仅依据这些记录作答，不接触图像或原始视频。这一设计让记忆可以反复使用：每条录像只需构建一次记忆，之后可多次读取，而不必在每个问题出现时重新读取画面。
准确率提升取决于比较的基准
在 HD-EPIC 三维感知与物体运动两类共 2,400 个问题上，加入该记忆把 GPT-5.4 的原型平均准确率从 29.7% 提升到 42.6%。在 UCS-Bench 上，回答模型会看到 48 帧画面，加入 Ledger 后准确率为 46.3%，而加入 DirectMe 的图结构时为 42.9%。在 Ego4D VQ3D 上，查询使用物体名称而非图像裁剪，在系统返回预测的那些查询中，返回位置的中位误差为 0.99 米。
这些数字回答的是不同问题，不能合并。HD-EPIC 的数字是纯文本记忆对比只看问题和选项的基线；UCS-Bench 的数字是在画面之上叠加记忆；VQ3D 的数字是在系统确实返回预测这一条件下的定位误差。论文自己的成本核算显示了取舍：在 UCS-Bench 上，读取 48 帧每题约消耗 9.6k 输入 token，而读取记录约 2.0k；只用画面得分为 44.4%，只用记录为 38.5%。记录以约五分之一的作答成本替代画面，又以很小的一部分成本补充画面。
持续性、描述与检索各司其职
消融实验把各组成部分分开考察。在参考配置与某一实验组都回答的较大问题集上，去掉事件行损失 2.2 分，去掉物体描述损失 1.8 分，其他移除带来的变化都在噪声范围内。在所有实验组都回答的问题上，任何单项移除都没有让总体得分变化超过 1.3 分，但分类别变化可达 13 分，例如在没有三维几何的情况下评估自我中心位置。作者由此认为，持续性和上下文描述的贡献大于坐标精化。
检索方式会影响一种表示看起来有多大优势。在 2,777 个配对问题上交叉两种记录与两种读取器：把 ReMEmbR 的说明文字换到 Ledger 的单次读取器上，准确率下降 5.0 分；Ledger 的记录用自己的读取器比 ReMEmbR 参考低 1.2 分，用 ReMEmbR 的智能体读取则高 0.8 分。把空间问题交给 Ledger 的读取器、其余问题交给 ReMEmbR 的智能体，在 3,357 个问题上达到 42.0%。论文的解读是：不同记忆之间的比较取决于读取器，更昂贵的迭代搜索并不能改善每一项任务。
场景切换同时破坏构建与检索
在 100 条拼接流上的研究暴露了检索和构建两方面的失败，每条流都连接多个场景；与单场景流相比，按场景分别构建记忆能部分挽回跨场景切换损失的性能。在录像长度达到 75 分钟之前，记忆仍保持其增益。延迟问题是在流末尾重新询问早先时刻的问题，扣除盲基线后，这类问题让各记忆损失 3 到 4 分；单次读取器在此更弱，因为它的时间加分偏向问题附近看到的内容，而对延迟问题来说，问题附近就是流的末尾。
适用范围有具体条件。HD-EPIC 使用标定位姿，UCS-Bench 的大多数记忆缺少米制尺度，VQ3D 用名称而非裁剪查询。记忆构建是离线的，因此按问题时间过滤记录并不能证明存在因果性的在线记忆；构建也尚未扩展到物体最密集的一小时录像。计数和连续静止区间仍未解决，而且在 HD-EPIC 上，近期的画面读取器优于仅用记忆作答，尽管把记忆加入画面能改善它们。
记忆在何处体现价值
论文中最具决策意义的区分，是替代画面还是补充画面。预算紧张时，读取存储记录更便宜：在 UCS-Bench 上，一次调用约 2.0k 输入 token，而 48 帧约需 9.6k，准确率分别为 38.5% 和 44.4%。当画面已经在被读取时，加入记录只需再花 0.9k token，约为画面预算的十分之一，并在画面基础上再挽回 1.9 分，达到 46.3%。
第二个区分在问题类型之间。把未被触碰的物体纳入记忆，才能回答固定设施类问题；持续性和描述带来的增益大于坐标精化，而缺失事件证据和身份碎片化则限制了交互与计数类问题。作者自己的建议由此而来：评估应同时衡量可作答的证据与定位，并说明检索预算和场景边界，因为一种记忆的表面优势可能来自它被读取的方式，而不只来自它存储的内容。
本文引用的文献
Never Look Back: Understanding Persistence in 3D Object Memory from Egocentric Videos
Ledger 是一种从第一视角视频离线构建的持久三维物体记忆，它把 HD-EPIC 准确率从 29.7% 提升到 42.6%，把 UCS-Bench 准确率从 33.8% 提升到 38.5%，并在返回预测的查询上以 0.99 米的中位误差定位 Ego4D 物体。