物体图针对图像和关节信号漏掉的交互失败
论文从一个实际缺口出发。学习得到的机器人策略只保证在训练演示所诱导的分布内工作，因此监控器必须在运行时标出偏离，而且从未见过失败样本。现有监控器分为两类：一类比较原始图像或学习到的视觉特征，另一类比较轨迹或关节信号。前者会对背景、光照和杂乱物体的无害变化作出反应；后者只能确认动作本身是否熟悉，无法判断机器人是否正在接触错误的物体。
作者认为，一大类操作失败既不属于视觉问题，也不属于运动学问题：抓错物品、违反任务顺序，或把物体放到与其他物体错误的空间关系上。这些错误可能产生正常的运动轨迹，只在像素层面留下细微变化。他们的做法是把失败检测重新定义为监控物体交互如何演变，用一张图来表示：节点编码物体状态，边编码物体两两之间随时间变化的空间关系。在这一框架下，视觉检测器作用于节点外观，运动学监控器跟踪沿轨迹的运动，而图补充了检测交互层面错误所需的关系结构。
两种评分以不同方式读取同一张图
在这一表示之上，论文研究了两种互补的失败评分。轨迹投影与相关性（TPC）是非参数方法：它用正交点到折线的距离，把每个被跟踪物体的轨迹与一组正常专家轨迹比较；另外把物体运动的成对皮尔逊相关结构与专家相关矩阵比较。最终评分是投影项与关系惩罚项之和，因此可以只用投影、只用相关性，或两者都用。
GnnT 是学习式的替代方案。两层边感知图注意力网络编码帧内几何关系，四层 Transformer 编码器在 20 帧的观测窗口上建模时间依赖，共享 MLP 回归每个物体在未来 15 步内的位置。其假设是：正常操作遵循可预测的物理和交互规律，因此失败会违反学到的时空先验，表现为预测误差的尖峰。两种评分都用由正常轨迹构建的共形带进行校准，且没有任何演示同时用于拟合检测器和校准阈值。
TPC 在平均 AUPR 和 MCC 上领先且种子间波动小
核心比较发生在两种评分与基于图像的检测器之间。两种物体中心评分都优于基于图像的失败检测器，尤其在语义和交互层面的失败上。TPC 在两个数据集的平均值上都取得了最好的 AUPR 和 MCC，且跨种子波动小；讨论部分补充说它无需训练，推理成本最低。GnnT 只在持续动态的传送带任务上接近 TPC，作者认为这正是学习到的动力学可能值得其额外复杂度的场景。
评估覆盖一个公开基准和一个新采集的语义复杂操作任务数据集，共六个任务、十个随机种子。指标以种子间的均值加减标准差报告，因此“低波动”指的是种子之间的稳定性，而不是在未见过的任务族上的表现。
投影与相关性在不同任务中作用不同
TPC 的消融实验把几何线索与关系线索分开。在垃圾分类任务上，仅用正交投影就取得了最好的 TPR、AUPR 和 MCC，说明该任务的失败主要是偏离正常轨迹。在摆桌任务上，仅用相关性取得了最高的 TPR（94.9%），说明许多失败来自物体之间协调错误，即使局部运动看起来合理。两者结合在摆桌任务上取得了最好的 TNR（97.1%）、AUPR（96.3%）和 MCC（88.8%），比仅用相关性高 7.5 个百分点，比仅用投影高 10.6 个百分点，同时 TPR 为 92.3%，而仅用相关性为 94.9%。
在垃圾分类任务上，组合评分转向保守的工作点：TNR 最高（96.8%），但 TPR 明显更低（47.7%），MCC 为 55.1%，而仅用投影为 61.0%。由于它的 AUPR 与仅用投影接近（65.8% 对 67.7%），作者认为排序能力基本保留，灵敏度下降主要反映决策阈值，而不是判别能力丧失。实际含义是：在更简单、以空间精度为主的任务中，关系项带来的额外信息有限，不应假定它总能带来帮助。
去掉物体间的边对关系型任务伤害最大
对 GnnT 而言，去掉边模型会降低两个任务上的表现，但下降幅度取决于关系复杂度。在摆桌任务上，与阈值无关的指标和平衡指标损失严重：AUPR 下降 20.7 个百分点，MCC 下降 11.2 个百分点，TNR 上多出 5.6 个百分点的误报，说明没有显式交互，模型无法可靠区分无害变化和关系型失败。在垃圾分类任务上，影响集中在灵敏度：TPR 下降 8.1 个百分点，MCC 下降 4.1 个百分点，而 TNR 和 AUPR 基本持平。
去掉边还让预测在种子间更不稳定，例如垃圾分类任务上 TNR 的标准差为 8.3，而完整模型为 3.5；作者将其解释为关系结构起到了正则化作用。时空消融也指向同一方向：朴素的 MLP 基线在两个任务上 AUPR 和 MCC 都最低，它在摆桌任务上的高 TPR（88.7%）伴随很低的 TNR（46.2%），意味着它把许多正常片段标为失败。完整的 GnnT 在两个任务上 MCC 最高，在摆桌任务上 AUPR 最高。
图的质量取决于上游跟踪流程
由于图由被跟踪的物体构建，检测器会继承跟踪器的错误。流程首先用视觉语言模型做开放词汇检测并给出初始边界框；在 341 个片段上，基础 Qwen 模型的正确检测率为 92.4%，其中漏检物体 5.3%、身份混淆 1.8%、定位不准 0.6%。当未找到预期数量的物体时重新提示的标准化循环把总体成功率提高到 94.4%，并把漏检率降低了 2.1%。
用真实边界框初始化时，跟踪本身更可靠：SAM2 在各数据集上平均 98.3% 完美跟踪、0.2% 恢复、1.0% 丢失、0.6% 融合。尽管如此，作者仍把严重遮挡、漏检和身份切换列为会降低图质量并传导到异常检测器的因素。该表示还假设物体是离散的，因此高度可变形材料、流体以及没有清晰物体分解的领域不在其范围内；只建模物体质心也意味着无法捕捉朝向和细粒度姿态方面的失败。
本文引用的文献
Robot-WATCHDOG : failure detection through object-centric graph representation
TPC 是一种免训练的物体中心评分，结合轨迹投影和物体间相关性，在两个数据集上都取得了最好的平均 AUPR 和 MCC，且种子间波动小；两种物体中心评分都优于基于图像的检测器，尤其在语义和交互层面的失败上。