噪声空间学习能高效适配视觉-语言-动作模型吗?

噪声空间学习冻结流匹配VLA,只训练一个按上下文生成噪声分布的轻量模块来完成适配。

直接答案

能,但存在明确的取舍。噪声空间学习(NSL)保持预训练的流匹配视觉-语言-动作模型冻结,只训练一个轻量的噪声演员模块,由它输出一个以上下文为条件的分布,用来决定启动动作生成时所用的噪声。在 LIBERO、RoboTwin 和四个真实机器人任务上,NSL 各变体以较低的梯度更新成本达到了与生成器适配和残差适配相当的性能,但冻结的生成器和噪声演员的表达能力限制了适配能达到的上限。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

NSL 改变的是适配发生的位置

流匹配 VLA 生成动作块的方式,是把标准高斯噪声在视觉观测和语言条件下变换为动作。对这种模型做全参数微调代价高昂,而且在任务数据狭窄时可能扰动模型已有的广泛操作先验。NSL 走另一条路:VLA 主干及其噪声到动作的映射保持固定,由一个小型噪声演员学习在给定上下文下应当提供哪种噪声。

论文把这种做法定位为一个接口,而不是单一算法。由于演员只负责选择噪声上的分布,同一个接口可以承载不同的学习算法;作者用 PPO、SAC 和 AWR 分别实例化。因此论文中的比较不只是 NSL 与微调之争,还包括哪种优化器适合哪种资源条件。

适配发生的位置决定了 NSL 能做什么、不能做什么。它可以重新加权冻结生成器已经能够表达的行为,并且从构造上保留了预训练的噪声到动作映射。它无法产生生成器解码不出的动作模式,作者把这一点列为核心容量限制。

噪声重加权带有信息代价

理论部分追问的是:给定一定量的噪声改变,能换来多少行为改变。作者用适配后的噪声分布与参考噪声先验之间的 KL 散度来衡量适配代价,单位为 nat,并将其分解为行为项,加上在给定已执行动作时内部噪声后验偏移的项。

关键结果是一条最小信息提升结论:对于确定性生成器,任何相对于基础动作边缘分布绝对连续的目标动作分布,都可以由某个噪声分布产生,而最省的那种噪声分布,其代价恰好等于目标动作分布与基础动作边缘分布之间的 KL 散度。换言之,在论文的假设下,使用不受限噪声分布的 NSL 达到了生成器适配和残差适配共享的同一行为信息下界。

这一相等关系是关于下界的陈述,并不表示三种接口的实际表现完全相同。作者明确指出,要与另一种接口形成严格区分,需要该接口自身下界存在正差距。他们还说明该构造依赖确定性生成器:若解码器是随机的,动作边缘分布的绝对连续性并不充分,并给出了一个目标分布无法通过噪声重加权达到的反例。

AWR、SAC 与 PPO 适合不同预算

实证部分在交互、计算和执行约束下比较 NSL-AWR、NSL-SAC 和 NSL-PPO。报告出的规律是按预算分工,而不是单一赢家。NSL-AWR 能快速利用观测到的成功经验,在采集和更新预算有限时表现良好,且对训练组件不太敏感。NSL-SAC 更受益于额外的数据和更新,在预算更大时于仿真中取得更高的成功率。NSL-PPO 同样有竞争力,能从更多 rollout 中获益,但额外更新带来的平均提升有限。

论文自己的建议也遵循这一分工:根据可用的交互和计算预算选择优化器。这是有条件的建议,不是排名。读者在比较方法时,应先确认所报告的结果变化的是哪一条预算轴,再判断某个算法是否普遍更好。

有一个实现细节影响 NSL-AWR 的行为。它的演员更新经过成功过滤:如果回放中没有成功样本,就跳过这次成功过滤的演员更新。作者还提醒,过滤和裁剪会改变未裁剪的 Gibbs 最优解,因此仅用成功样本的行为克隆、标准 AWR 和他们的过滤变体不应混为一谈。

真实机器人上的提升伴随人工介入

真实机器人协议包含四个操作任务,每个任务各有一个单独微调的 π0.5 基础策略,由被比较的方法共享。观测由主视角图像、腕部相机图像、任务指令和一个七维本体感知向量组成;策略预测 50 步的动作块,执行前 10 步后重新规划。每种方法在每个任务上评估 40 次尝试,报告的平均值对四个任务等权。

在线适配在轨迹采集与模型更新之间交替。Action-AWR、RLT 和自主 NSL-AWR 使用机器人自行采集的经验,不使用人类纠正示范;DAgger 使用人类轨迹;UniSteer 和带人类引导的 NSL-AWR 则结合模型数据与人类数据。对于人类引导变体,作者在冻结的 VLA 下通过不动点反演恢复与人类动作块对应的噪声,再把这些上下文—噪声对与机器人采集样本合并使用。

论文的总结是:NSL-AWR 适合以小批量采集进行在线学习,而人类纠正能进一步提升复杂操作任务上的表现。这一区分很重要:自主 NSL-AWR 与人类引导 NSL-AWR 的结果建立在不同数据来源上,关于其中一方的结论不应直接套用到另一方。

限制噪声幅度不等于保证动作安全

一次真实机器人摆珠任务的 SAC 诊断说明了为什么噪声空间控制不是安全机制。该段训练采集了 32 条机器人轨迹、2,789 条回放转移,在记录的 1,870 次梯度更新中,部分确定性噪声坐标逼近幅度上限:最后一个 minibatch 的最大绝对输出为 4.96,上限为 5,而平均绝对输出从 0.60 升到 1.04。

评论家分歧在演员提议的噪声上也大于回放噪声。在最后 200 次更新中,双 Q 网络的平均绝对分歧为 0.916 对 0.151,约为 6.1 倍;演员提议的对数平均 Q 值比回放高出 4.43。该实验过程中发生了非预期的桌面接触。

作者由此得出两点结论。第一,仅限制噪声幅度并不能保证解码出的动作可靠。第二,这些诊断促使他们在机器人数据有限时,把演员更新锚定在观测到的成功噪声样本上。理论部分也强化了这一边界:熵正则不含均值惩罚,无法控制相对于预训练先验的均值漂移;论文中也没有任何不等式把噪声矩转化为碰撞、力或关节限位的保证。

冻结的生成器决定适配上限

NSL 的适配能力受限于冻结的生成器以及噪声演员的表达能力。论文直接指出了这一点,并把更丰富的噪声参数化和有选择的生成器更新列为未来方向。论文还把向新任务和新机器人本体的泛化、已有技能的保持,以及复杂接触交互中的执行可靠性列为开放问题。

一个相关的细节涉及恒定噪声策略。作者指出,单个与上下文无关的噪声向量是控制接口的一个特例,但它相对于连续高斯先验是奇异的,KL 散度为无穷大,因此落在有限信息命题之外。他们还补充说,高斯先验可以在数学上具有完整支撑,却对有用区域分配可忽略的概率,这意味着可达性、高概率覆盖和有限预算下的可学习性是三种不同的性质。

这些是理论覆盖范围的边界,而不是 NSL 在实践中失败的证据。它们界定了效率论证成立的条件。

按预算选变体,而非按排名

论文最具决策价值的输出是一套情景划分。在采集和更新预算有限时,NSL-AWR 是作者描述为能快速利用已观测成功、且对训练组件不太敏感的变体。在仿真中数据和更新预算更大时,NSL-SAC 取得更高的成功率。NSL-PPO 能从更多 rollout 中获益,但额外更新带来的平均收益有限。

这一划分应附带两个条件。NSL-SAC 更高的成功率是在仿真、更大预算下报告的,并非真实机器人任务。而人类引导的 NSL-AWR 结果依赖人类纠正数据,因此描述的是与自主在线适配不同的运行条件。

把理论与实验合起来看,支持的是一项范围有限的判断:冻结 VLA 并学习一个以上下文为条件的噪声分布,是一种低梯度更新成本的流匹配 VLA 适配方式,在生成器可达范围内与生成器适配和残差适配相当。选择哪种 NSL 变体,应依据当前的约束瓶颈——交互预算、更新预算,还是人类纠正的可获得性——而不是一个总体排名。

本文引用的文献

1

Noise Space Learning for VLA Adaptation

NSL 保持流匹配 VLA 冻结,训练一个以上下文为条件的噪声演员,以较低的梯度更新成本达到与生成器适配和残差适配相当的性能,其中 AWR、SAC 和 PPO 分别适合不同的交互与计算预算。