NSL 改变的是适配发生的位置
流匹配 VLA 生成动作块的方式,是把标准高斯噪声在视觉观测和语言条件下变换为动作。对这种模型做全参数微调代价高昂,而且在任务数据狭窄时可能扰动模型已有的广泛操作先验。NSL 走另一条路:VLA 主干及其噪声到动作的映射保持固定,由一个小型噪声演员学习在给定上下文下应当提供哪种噪声。
论文把这种做法定位为一个接口,而不是单一算法。由于演员只负责选择噪声上的分布,同一个接口可以承载不同的学习算法;作者用 PPO、SAC 和 AWR 分别实例化。因此论文中的比较不只是 NSL 与微调之争,还包括哪种优化器适合哪种资源条件。
适配发生的位置决定了 NSL 能做什么、不能做什么。它可以重新加权冻结生成器已经能够表达的行为,并且从构造上保留了预训练的噪声到动作映射。它无法产生生成器解码不出的动作模式,作者把这一点列为核心容量限制。
噪声重加权带有信息代价
理论部分追问的是:给定一定量的噪声改变,能换来多少行为改变。作者用适配后的噪声分布与参考噪声先验之间的 KL 散度来衡量适配代价,单位为 nat,并将其分解为行为项,加上在给定已执行动作时内部噪声后验偏移的项。
关键结果是一条最小信息提升结论:对于确定性生成器,任何相对于基础动作边缘分布绝对连续的目标动作分布,都可以由某个噪声分布产生,而最省的那种噪声分布,其代价恰好等于目标动作分布与基础动作边缘分布之间的 KL 散度。换言之,在论文的假设下,使用不受限噪声分布的 NSL 达到了生成器适配和残差适配共享的同一行为信息下界。
这一相等关系是关于下界的陈述,并不表示三种接口的实际表现完全相同。作者明确指出,要与另一种接口形成严格区分,需要该接口自身下界存在正差距。他们还说明该构造依赖确定性生成器:若解码器是随机的,动作边缘分布的绝对连续性并不充分,并给出了一个目标分布无法通过噪声重加权达到的反例。
AWR、SAC 与 PPO 适合不同预算
实证部分在交互、计算和执行约束下比较 NSL-AWR、NSL-SAC 和 NSL-PPO。报告出的规律是按预算分工,而不是单一赢家。NSL-AWR 能快速利用观测到的成功经验,在采集和更新预算有限时表现良好,且对训练组件不太敏感。NSL-SAC 更受益于额外的数据和更新,在预算更大时于仿真中取得更高的成功率。NSL-PPO 同样有竞争力,能从更多 rollout 中获益,但额外更新带来的平均提升有限。
论文自己的建议也遵循这一分工:根据可用的交互和计算预算选择优化器。这是有条件的建议,不是排名。读者在比较方法时,应先确认所报告的结果变化的是哪一条预算轴,再判断某个算法是否普遍更好。
有一个实现细节影响 NSL-AWR 的行为。它的演员更新经过成功过滤:如果回放中没有成功样本,就跳过这次成功过滤的演员更新。作者还提醒,过滤和裁剪会改变未裁剪的 Gibbs 最优解,因此仅用成功样本的行为克隆、标准 AWR 和他们的过滤变体不应混为一谈。
真实机器人上的提升伴随人工介入
真实机器人协议包含四个操作任务,每个任务各有一个单独微调的 π0.5 基础策略,由被比较的方法共享。观测由主视角图像、腕部相机图像、任务指令和一个七维本体感知向量组成;策略预测 50 步的动作块,执行前 10 步后重新规划。每种方法在每个任务上评估 40 次尝试,报告的平均值对四个任务等权。
在线适配在轨迹采集与模型更新之间交替。Action-AWR、RLT 和自主 NSL-AWR 使用机器人自行采集的经验,不使用人类纠正示范;DAgger 使用人类轨迹;UniSteer 和带人类引导的 NSL-AWR 则结合模型数据与人类数据。对于人类引导变体,作者在冻结的 VLA 下通过不动点反演恢复与人类动作块对应的噪声,再把这些上下文—噪声对与机器人采集样本合并使用。
论文的总结是:NSL-AWR 适合以小批量采集进行在线学习,而人类纠正能进一步提升复杂操作任务上的表现。这一区分很重要:自主 NSL-AWR 与人类引导 NSL-AWR 的结果建立在不同数据来源上,关于其中一方的结论不应直接套用到另一方。
限制噪声幅度不等于保证动作安全
一次真实机器人摆珠任务的 SAC 诊断说明了为什么噪声空间控制不是安全机制。该段训练采集了 32 条机器人轨迹、2,789 条回放转移,在记录的 1,870 次梯度更新中,部分确定性噪声坐标逼近幅度上限:最后一个 minibatch 的最大绝对输出为 4.96,上限为 5,而平均绝对输出从 0.60 升到 1.04。
评论家分歧在演员提议的噪声上也大于回放噪声。在最后 200 次更新中,双 Q 网络的平均绝对分歧为 0.916 对 0.151,约为 6.1 倍;演员提议的对数平均 Q 值比回放高出 4.43。该实验过程中发生了非预期的桌面接触。
作者由此得出两点结论。第一,仅限制噪声幅度并不能保证解码出的动作可靠。第二,这些诊断促使他们在机器人数据有限时,把演员更新锚定在观测到的成功噪声样本上。理论部分也强化了这一边界:熵正则不含均值惩罚,无法控制相对于预训练先验的均值漂移;论文中也没有任何不等式把噪声矩转化为碰撞、力或关节限位的保证。
冻结的生成器决定适配上限
NSL 的适配能力受限于冻结的生成器以及噪声演员的表达能力。论文直接指出了这一点,并把更丰富的噪声参数化和有选择的生成器更新列为未来方向。论文还把向新任务和新机器人本体的泛化、已有技能的保持,以及复杂接触交互中的执行可靠性列为开放问题。
一个相关的细节涉及恒定噪声策略。作者指出,单个与上下文无关的噪声向量是控制接口的一个特例,但它相对于连续高斯先验是奇异的,KL 散度为无穷大,因此落在有限信息命题之外。他们还补充说,高斯先验可以在数学上具有完整支撑,却对有用区域分配可忽略的概率,这意味着可达性、高概率覆盖和有限预算下的可学习性是三种不同的性质。
这些是理论覆盖范围的边界,而不是 NSL 在实践中失败的证据。它们界定了效率论证成立的条件。
按预算选变体,而非按排名
论文最具决策价值的输出是一套情景划分。在采集和更新预算有限时,NSL-AWR 是作者描述为能快速利用已观测成功、且对训练组件不太敏感的变体。在仿真中数据和更新预算更大时,NSL-SAC 取得更高的成功率。NSL-PPO 能从更多 rollout 中获益,但额外更新带来的平均收益有限。
这一划分应附带两个条件。NSL-SAC 更高的成功率是在仿真、更大预算下报告的,并非真实机器人任务。而人类引导的 NSL-AWR 结果依赖人类纠正数据,因此描述的是与自主在线适配不同的运行条件。
把理论与实验合起来看,支持的是一项范围有限的判断:冻结 VLA 并学习一个以上下文为条件的噪声分布,是一种低梯度更新成本的流匹配 VLA 适配方式,在生成器可达范围内与生成器适配和残差适配相当。选择哪种 NSL 变体,应依据当前的约束瓶颈——交互预算、更新预算,还是人类纠正的可获得性——而不是一个总体排名。
本文引用的文献
Noise Space Learning for VLA Adaptation
NSL 保持流匹配 VLA 冻结,训练一个以上下文为条件的噪声演员,以较低的梯度更新成本达到与生成器适配和残差适配相当的性能,其中 AWR、SAC 和 PPO 分别适合不同的交互与计算预算。
