VLA 策略能适应任意相机数量与未见位姿吗？

固定相机配置让 VLA 策略变脆弱

视觉-语言-动作模型把视觉观察、语言指令和本体状态转换为机器人动作。在传统的单视角或多视角 VLA 中，视觉输入是一组固定的图像：视角数量和每个相机的位姿在训练时就被写进了策略输入。论文认为，增加一个相机或移动一个相机都会改变视觉 token 的分布，因此当新平台、新工作空间或新任务迫使相机布局改变时，策略性能恰好会下降。

论文的动机图给出了具体代价：同一个任务从某个视角看成功率为 48%，换一个视角为 51%；另一组比较中则是 67% 对 60%，取决于使用哪个视角。这些数字用于说明视角敏感性，并非受控基准，但它们点明了设计目标：单一策略应当在部署时相机配置变化的情况下仍然有效。

场景 token 把相机与动作学习解耦

VersaCamVLA 把问题拆成两个阶段。第一阶段，场景编码器接收任意非空的带位姿 RGB 视图集合，输出固定数量的可学习场景 token。每个视图被切分为 RGB 图块，并与编码相机几何的 Plücker 射线嵌入拼接；随后所有视图的 token 与场景 token 一起经过 Transformer 编码器联合处理。由于场景 token 是一组固定数量的 token，通过自注意力读取长度可变的源序列，其大小不取决于可用相机的数量。

监督信号来自目标视角预测。一个仅在第一阶段使用的解码器用目标相机的射线查询场景 token，并在这些目标视角重建 RGB、语义和边缘信号。仿真中的语义目标来自模拟器的分割传感器，真实帧的语义目标来自在真实机器人数据上微调的 SAM3 分割器；边缘目标由 Canny 检测器提取。这迫使 token 携带视角一致的空间信息，从而支持在编码器未见过的位姿上做预测。

第二阶段丢弃解码器，冻结场景编码器，并用一个轻量空间编码器把 3×32×32 的 3072 个场景 token 压缩为 3×8×8、共 192 个 token 的表示。这些紧凑 token 作为补充视觉条件进入预训练的 π0.5 VLA，而基础策略保持标准的输入输出形式。部署时不需要显式 3D 重建或新视角渲染。

腕部相机运动提供免费的位姿多样性

学习相机可配置接口需要训练数据覆盖足够多样的相机位置，而桌面场景中的静态相机在这方面分布稀疏。腕部增强位姿采样（WAPS）利用了一个事实：随着机器人运动，腕部相机会扫过丰富得多的位姿分布。对每个训练帧，源集合从两类相机中独立抽取：静态视角随机取 1 到全部可用数量之间的整数个，每个腕部视角以 0.5 的概率被纳入。目标集合始终是全部相机池，因此无论编码器收到什么，解码器都被训练去渲染每一个可用视角。

这在同一组场景 token 上产生两种互补的监督信号：对源视角的自重建通过隐空间瓶颈保留视觉细节，对留出视角的跨视角预测则迫使 token 支持编码器输入中不存在的位姿。在 RoboTwin 2.0 上，每个场景提供八个可用视角，WAPS 在每一帧重新采样源子集。

多信号监督优于仅用 RGB 目标

RoboTwin 2.0 DR 上的逐任务消融实验单独考察了监督信号的选择。仅用 RGB 目标时，所列任务的平均成功率为 20.94%；使用结合 RGB、语义和边缘目标的完整多信号目标后，平均值升至 29.50%。各任务变化并不均匀——Open Microwave 从 12% 升到 54%，Stack Blocks Three 从 26% 升到 35%，而 Blocks Ranking Size 在单个任务上从 6% 变为 9%，方向相反——因此总体增益比任何单行结果更可靠。

第二组消融比较空间编码器的压缩方式。池化在 RoboTwin 2.0 Clean 上平均为 50.13%，卷积压缩平均为 55.63%。论文的设计使用卷积操作完成通道投影、局部聚合、空间下采样和输出投影，与该比较结果一致。这两组消融回答的是不同问题——场景 token 被监督去包含什么，以及它们如何被压缩后送入策略——不应合并为关于方法的单一论断。

相机数量与未见位姿下保持稳健

核心主张是比较性的：在 RoboTwin、LIBERO 和真实机器人平台上，VersaCamVLA 一致优于此前的 VLA 方法和直接多视角基线，并在相机数量变化、相机位姿偏离训练分布时保持稳健性能。直接多视角的替代做法是把额外相机的 token 追加到策略输入中，它提升了覆盖范围，但仍把策略绑定到动作学习时使用的相机数量和视角布局，且 token 长度随输入视角数量增长。

评估时对每个相机做位姿扰动：在以工作空间为中心的球面上采样其位姿，方位角偏移在 −90° 到 90° 之间均匀抽取，径向缩放从 0.8 到 1.2 重新调整相机到工作空间的距离，俯仰角从 25° 到 75°，然后重新朝向工作空间中心。配置在每次试验中重新采样，并在 π0.5 与 VersaCamVLA 之间共享，因此比较是匹配的。分层评估把方位角偏移的绝对值限制在指定区间内，其余采样设置保持不变。

延迟是另一个维度。在单块 NVIDIA 4090、批大小为 1 的条件下测量，随着输入视角增加，VersaCamVLA 的延迟增幅小于图中标注的三视角 π0.5 参考。这是关于随相机数量扩展的陈述，而非固定配置下的绝对速度。

该接口的适用范围止于何处

该方法假设相机内参和外参已标定，并聚焦于手动放置相机的桌面双臂场景。它不进行自主视角选择，作者将未标定相机、在线优化相机配置的主动感知以及移动工作空间列为未来工作。他们补充说，安全关键部署还需要针对相机配置大幅变化下的任务特定失败做进一步验证。

这些条件影响结果的解读方式。稳健性主张针对的是已标定、桌面场景下相机数量变化和位姿扰动的情形，而不是任意未标定图像，也不是策略自行选择视角。读者若将其与几何感知方法比较，还应注意取舍：VersaCamVLA 在部署时避免了显式 3D 重建，也避免了额外的多视角演示，但仍需要标定好的几何信息作为输入。

在匹配扰动下比较相机可配置策略

这篇论文对决策最有价值的特征不是某个成功数字，而是评估设计：相机配置在每次试验中重新采样，并在基线与所提方法之间共享，扰动范围也明确给出。这使得比较检验的是接口本身，而不是碰巧有利的相机布局。在权衡相机可配置策略与直接多视角基线时，需要问的是基线是否接受了相同的位姿扰动和相同的相机数量，因为固定元组策略在其训练布局上评估，回答的是另一个问题。

第二个重点是区分两个阶段的贡献。场景 token 接口使输入大小与相机数量无关；WAPS 在其训练期间提供位姿多样性；多信号监督塑造 token 的内容。消融实验分别支持这三点，其中仅 RGB 与多信号的差距（RoboTwin 2.0 DR 上平均 20.94% 到 29.50%）是报告中最大的单项设计效应。读者若判断该方法是否适合新平台，应先确认是否有标定的外参、工作空间是否为桌面场景，因为这是论文自己划定的边界。

本文引用的文献