一种从不查询受害者策略的攻击
以往针对世界动作模型的攻击大多针对受害者的动作或预测未来进行优化,这意味着攻击者需要访问目标模型的输出。TAPDreamer 去掉了这一要求。它只针对一个公开视觉编码器优化补丁,使用从单一源任务中抽取的六帧演示图像,随后把补丁的像素、面积和位置冻结,用于其余全部评估。
优化目标刻意与具体接口无关:最大化编码器干净最终潜变量与打补丁后最终潜变量之间的全局 L1 距离,对 J 帧源图像取平均,并按该潜变量中标量元素总数归一化。论文报告 J = 6,进行 500 次 Adam 梯度上升更新,学习率为 0.02,像素在 [-1, 1] 内均匀初始化,每次更新后投影回该区间。由于搜索过程从不接触动作头、奖励或模拟器推演,同一个补丁可以在同一基准内跨任务、跨不同动作架构原样部署。
6.5% 的覆盖面积究竟带来什么
在 LIBERO 上,外部视角与腕部视角构成 224x448 的画布,主补丁占据外部视角左上角 81x81 的区域,覆盖输入的 6.54%。RoboTwin 上对应的覆盖率为 6.59%。这些数字就是约 6.5% 这一说法的来源,它们之所以重要,是因为对照基线是一个在位置和面积上都与对抗补丁匹配的随机补丁。
正是这个匹配基线把该结果与普通遮挡区分开来。在 FastWAM 上,干净成功率在 LIBERO 上为 97.65%,在 RoboTwin 上为 90.86%。随机补丁分别保留 81.45% 和 79.20%,也就是说单纯的局部像素替换就损失了 16.20 和 11.66 个百分点。TAPDreamer 把两者都降到 0.00%。81.45% 与 0.00% 之间的差距,才是可归因于优化而非遮挡图像一部分的那部分效果。
角落补丁如何影响整个潜变量
论文的核心机制主张是补丁的影响并不局限在局部。VAE 编码器的瓶颈层包含一个 14x28 网格上的空间自注意力,作者测量了落在补丁足迹(即补丁区域在该特征网格上的投影)之外的表示变化平方占比。对 TAPDreamer 而言,这一比例从注意力输入处不足 1%,上升到注意力输出处约 71%,再到最终潜变量中的 79%。同样大小的随机补丁则把变化基本留在足迹之内。
把注意力输出分解为 H = U + AVW_O 后,论文分离出三项:值的变化、注意力权重的变化,以及两者的联合变化。联合项是 TAPDreamer 中测得的最大分量,而在随机补丁中很小,作者将其解读为权重与值的协同变化,而非仅仅是对补丁投入了更多注意力。恢复实验支持这一解读:在保留打补丁残差分支的同时,把注意力分支、权重或值重置为干净版本,会大幅削弱潜变量和动作变化,并抑制足迹之外的扰动。同样的干预对随机补丁几乎没有影响。
一个源模板即可描述留出场景
跨任务迁移不仅需要单次观测内的空间扩散,还要求场景变化时响应能够重复出现。论文对来自 12 个源任务状态的观测中的补丁诱导潜变量变化取平均,形成一个固定模板,然后与 36 个留出状态上的变化比较,统计仅限落在投影补丁足迹之外的潜变量位置。
源模板与留出变化的余弦相似度中位数为 0.981,相对 L1 残差中位数为 0.206。同一批观测的干净表示跨任务余弦相似度为 0.371,说明这一共享方向是补丁诱导变化特有的,而非场景本身的属性。幅度同样得以保留:使用每个留出状态测得的残差,反三角不等式分解下界与观测到的 L1 位移之比中位数为 0.833,范围为 0.732 至 0.918。足迹之外最终潜变量变化能量中约 95.3% 落在一个共享空间分量上,该分量方向的跨任务余弦相似度约为 0.997。
迁移在不同动作架构上依然成立
核心数字来自 FastWAM,但论文也报告了同一基准内向其他配置的迁移。同样的补丁把两个 DreamWAM 配置的成功率降到 2.1% 和 0.8%,把 Motus 降到 10.0%。每个模型配置都保留自己的动作生成流程和预处理,跨模型迁移发生在同一基准内,而非跨基准。
这些数字与 FastWAM 结果的分母不同,应当分开解读:2.1%、0.8% 和 10.0% 不能直接与 40 项 LIBERO 和 50 项 RoboTwin 任务上的 0.00% 相比。它们所确立的是,一个仅针对公开编码器优化、从未查询过这些策略中任何一个的补丁,仍能削弱它从未针对其优化过的架构。
结论适用到哪里为止
全部报告的评估都是 LIBERO 和 RoboTwin 上的闭环仿真,攻击通过修改模型输入图像实现。论文没有报告真实机器人试验,而且在标准攻击评估中补丁在整个试验过程中始终可见,因此这些结果描述的是持续、无遮挡的局部扰动,而非短暂或间歇性的扰动。优化所用图像来自公开的 LeRobot 演示,按源任务标识符筛选,从六个回合中各选一帧,时间索引分别为 5、20、40、60、15 和 35。
防御讨论明确是前瞻性的。作者建议削弱来自可疑图像区域的键和值,或训练编码器在局部受扰动区域之外保持表示,但指出这些方法对自适应攻击的有效性以及对干净任务性能的影响仍有待评估。这些提议源自论文测得的注意力介导扩散;它们并非本文验证过的防御。
为什么编码器层面的防御是优先项
论文自身的定位是:仅保护下游动作生成并不足够。支持这一优先级的证据来自两项测量的组合:一个仅针对公开编码器优化的补丁,在没有任何目标策略查询的情况下迁移到 FastWAM、两个 DreamWAM 配置和 Motus;机制分析把损害定位在从局部区域到整个潜变量的注意力介导扩散上。如果脆弱性存在于共享视觉表示中,而非任何单一动作头中,那么只针对某一个策略或某一个动作接口的防御,仍会让同一条通道保持敞开。
对于权衡投入方向的读者,论文中最具决策价值的区分是匹配随机补丁与优化补丁之间的对比:LIBERO 上 81.45% 对 0.00%,RoboTwin 上 79.20% 对 0.00%。正是这一差距,而非 0.00% 本身,把优化的持续局部扰动与普通遮挡区分开来,也是任何世界动作模型防御评估都应当被要求弥合的对比。
本文引用的文献
TAPDreamer: Transferable Adversarial Patches for World Action Models
一个仅针对公开视觉编码器、用来自单一源任务的六帧图像优化、且不查询任何目标策略的冻结补丁,把 FastWAM 的闭环成功率从 40 项 LIBERO 任务上的 97.65% 降到 0.00%,从 50 项 RoboTwin 任务上的 90.86% 降到 0.00%,而匹配的随机补丁仍保留 81.45% 和 79.20%。
