将机器人策略以物理时间为条件能否提升动态与多感官任务表现?

Chronos Policy 用时间感知 RoPE 编码观测与动作时间戳,提升机器人在时序变化下的鲁棒性。

直接答案

在这篇论文的测试中,答案是肯定的。Chronos Policy 让扩散 Transformer 以观测被采集的时刻和动作应执行的时刻为条件,并通过时间感知旋转位置编码把物理时间输入注意力。在时序扰动下,它提升了动态任务和多感官任务的成功率;在六个准静态任务上,它保持了标称性能,同时也在这些任务上提升了鲁棒性。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

序列位置只是经过时间的替代量

多数模仿学习策略把演示转换成固定频率的观测—动作序列,于是 token 在序列中的位置就代替了实际经过了多少物理时间。这种做法只有在位置与时间的关系保持不变时才成立。论文给出的动机场景是机器人从传送带上抓取物体:两幅图像之间相同的位移,可能对应完全不同的物体速度,取决于这两幅图像相隔 20 ms 还是 200 ms;而合适的抓取动作还取决于预测动作实际会在何时执行。

真实系统在每个环节都会出现时序变化:传感器以不同频率采样、延迟不同,推理需要时间,控制器也可能以不同频率执行。论文不把这种变化当作需要纠正的外部失配,而是把它作为策略输入的一部分。它把策略写成观测、观测采集时刻和期望动作执行时刻的函数,因此相对时间就编码了观测间隔、测量数据的陈旧程度以及请求的执行时间表。

时间感知 RoPE 把内容与时间分开

核心设计问题是时间信息应以何种方式进入 Transformer。论文把其中一种方案称为 AddTime:把时间戳编码成正弦和余弦特征,经过共享 MLP 后,把得到的嵌入直接加到每个 token 上,这就把 token 表示什么和它出现在何时混在了一起。Chronos Policy 则保持 token 内容不变,只把物理时间用作注意力中的位置编码:观测 token 使用采集时刻,带噪动作 token 使用查询到的执行时刻,作为旋转坐标。

由于旋转注意力依赖坐标之间的差值,注意力便取决于 token 之间经过的时间,而不是序列索引。具体实现中,它用 0.1 秒到 2 秒之间对数间隔的周期,旋转 16 组查询—键坐标对;时间戳以秒为单位,相对于策略请求时刻测量。作者认为,这让注意力可以直接表示观测与观测、观测与动作、动作与动作之间的时序关系。

随机化时序拓宽训练中的调度分布

训练时,论文对采样哪些观测以及动作块从何时开始做时间随机化。各任务从 100 Hz 的原始数据集中,为不同传感器流独立采样 12.5 至 33.33 Hz 的观测频率和 0 至 50 ms 的传输延迟;在 Pivoting 任务中,力/力矩以 1 至 100 Hz 采样,延迟为 0 至 100 ms。一半动作块从零延迟开始,其余采样最多 100 ms 的起始延迟。这让策略接触到更广泛的感知与执行调度,也能从异步、多频率的数据中学习,而不必把所有测量强行对齐到固定时间网格。

消融实验显示,这两个组成部分相互依赖。在 Conveyor 上,仅做时间随机化就把 Diffusion Policy 在五个扰动条件下的平均成功率从 6.3% 提高到 26.9%。在 Pivoting 上情况相反,扰动条件平均值从 48.4% 降到 21.6%,因为没有时间戳时,策略无法判断采样得到的历史对应的是哪些物理时间间隔。一旦物理时间被显式给出,随机化就稳定地带来帮助:扰动条件平均值在 Conveyor 上从 48.8% 升到 63.1%,在 Pivoting 上从 33.3% 升到 55.3%。

时序变化时动态任务获益最大

在动态 Conveyor 任务中,策略必须考虑物体运动以及感知到执行之间的时间。相比 Diffusion Policy,Chronos Policy 把标称成功率从 73.1% 提高到 82.0%。随着部署时序改变,差距进一步扩大:在中等观测变化下,Diffusion Policy 降到 15.6%,Chronos Policy 仍保持 77.6%;在最长 200 ms 的推理延迟下,Diffusion Policy 跌到 1.8%,Chronos Policy 达到 76.4%。在观测与推理同时扰动的组合条件下,Chronos Policy 仍保持 32.7% 的成功率,而 Diffusion Policy 完全失败。

多感官 Pivoting 任务呈现出不同模式。在轻度时序变化下,两种策略表现相近;随着失配加剧,显式时间的优势才变大:在最长 200 ms 的推理延迟下,成功率从 51.3% 提高到 60.2%;在组合条件下,从 19.6% 提高到 38.4%。作者用任务结构解释这一差异:Pivoting 不需要持续预测移动目标的未来位置,因此时间戳主要在视觉、本体感觉和力/力矩测量的相对时刻变化到序列位置不再能指示采集时间时才起作用。

扰动条件下 RoPE 优于加性时间戳

比较这两种时间表示,可以单独考察物理时间以何种方式进入 Transformer,因为 AddTime 与 RoPE 共享相同的时间戳、token 布局、扩散条件和时间随机化。在 Conveyor 上,AddTime 的标称表现略高,为 85.8% 对 82.0%,但 RoPE 在每个扰动条件下都更好,差距最大的是宽幅感知变化(45.6% 对 24.0%)和组合扰动(32.7% 对 7.8%)。在 Pivoting 上,RoPE 在每个条件下的平均成功率都更高,包括宽幅感知变化下的 48.0% 对 23.6%,以及组合扰动下的 38.4% 对 16.7%。

作者推测,这来自内容与时间更简单的分离,以及成对经过时间直接调制注意力,而不是从加性 token 特征中推断。这是解释而非实测机制,但与消融结果一致:两个变体只在同一批物理时间戳的表示方式上不同。

准静态任务保持标称性能

一个自然的担忧是,加入时间信息可能损害时序不那么关键的任务。在六个标准准静态操作任务上,Chronos Policy 与 Diffusion Policy 在标称时序下表现相当,说明显式时间建模没有牺牲这些任务的准确率。优势出现在部署时序与训练不同的时候:在五个扰动条件上取平均,成功率从 Diffusion Policy 的 59.7% 提高到 Chronos Policy 的 73.4%,其中宽幅感知变化和组合扰动下增益最大。

真实世界评估指向同一方向。在 Dynamic Cup、Peg Insertion 和 Pivoting 三个任务上,Chronos Policy 在所有评估条件中都取得了最高任务得分,包括观测扰动、推理延迟及其组合。对比对象包括采用 Real-Time Chunking 的 Diffusion Policy,后者在若干设置下提升了对推理延迟的鲁棒性,但没有显式考虑观测时序的变化,因此其收益没有稳定延伸到感知扰动。作者认为,这两种方法处理的是时序失配中互补的方面。

显式时间最关键的场景

论文的证据支持一个有条件的优先级,而不是笼统的全面升级。显式时间在部署调度偏离训练时收益最大:最大增益出现在宽幅感知变化以及观测与推理组合扰动下,而标称性能保持相当。在设计内部,时间感知 RoPE 比加性时间戳嵌入更稳健;时间随机化只有在时间戳让采样到的调度变得可解释之后才有用。

适用范围受所测任务和条件限制:两个仿真操作任务、六个标准准静态任务和三个真实世界任务,动作预测时域均为 16 步、频率为 20 Hz。作者把把 Chronos 策略扩展到固定动作频率之外、支持可变控制频率和时间缩放列为未来工作,因此当前结果并未确立这些情形下的行为。对于正在判断是否应把时序作为显式策略输入的读者,这篇论文最清晰的信号是:收益集中在观测到动作的时序或跨传感器时序确实发生变化的场景。

本文引用的文献

1

Chronos Policy: Learning Robot Policies on Physical Time

通过时间感知 RoPE 让扩散 Transformer 以观测采集时刻和期望动作执行时刻为条件,在时序扰动下提升了动态任务和多感官任务的成功率,同时在准静态任务上保持了标称性能。