无标签噪声分配能保留多模态机器人动作吗？

数据均衡时扩散策略仍会坍缩

扩散策略通过反复去噪一个噪声样本来生成动作。不同的初始噪声原则上可以产生不同轨迹，因此人们曾预期它能复现多模态动作分布。论文发现这一预期常常落空。在 Push-T 中，T 形物体初始朝向与目标相差 180 度，顺时针和逆时针推动都有效；从同一个固定观测采样十次，原始策略产生的十条轨迹全部属于同一模态。

这种坍缩在应当能阻止它的控制条件下依然存在。作者在 10 个独立训练种子上重复实验，并通过把每个演示与其镜像配对来强制每个批次内完全对称，但 10 个原始策略仍全部坍缩到单一动作模态，且所选模态随种子变化。全部七个受测任务都出现同样模式，涵盖低维状态、RGB 和点云观测，以及仿真和两个真实世界人形任务。

这不只是行为多样性减少。如果部署时障碍物、工作空间边界、物体配置或执行约束发生变化，策略保留的模态可能变得不可行，而训练中见过的另一种模态仍然有效。此时，即使策略在训练中见过可行策略，也可能失败。

独立配对让去噪路径相互混合

论文的解释集中在训练如何把动作与噪声配对。原始扩散训练为每个动作块独立采样一个噪声。作者认为，这种无结构配对增加了扩散路径之间的混合与交叉，使相似的噪声输入可能对应来自不同模态的冲突动作目标。去噪器于是学到平均化响应，压制了模态特有行为。

机器人规划中问题更严重，因为动作空间稠密且低维，论文称这会显著增加上述混合与交叉。为检验该机制，作者沿连接两个动作模态质心的方向改变噪声输入，测量预测的干净动作变化多少，并将这一量称为模态响应范围。范围大表示去噪器能区分与不同模态相关的输入；范围小表示这些差异被压制。

在两个模态开始分离的噪声水平上，解析去噪器的响应范围为 4.29，而训练后的原始去噪器只有 0.24，相当于解析响应的 5.6%。这一被压平的响应是论文的证据，说明原始去噪器基本无法感知把样本导向不同模态所需的噪声差异。

匈牙利匹配把动作耦合到不同噪声区域

Immiscible Diffusion Policy 只改变配对步骤。对每个小批次，它采样与动作块批次同样大小的噪声池，用批次统计量对动作块做向量化和标准化，再用匈牙利匹配把每个动作块分配给使批次级平方距离最小的噪声样本。匹配后的噪声随后进入标准前向扩散过程和通常的噪声预测损失。

由于匹配只是重排批次中已经采样的噪声，批次级噪声边缘分布不变；改变的是动作与噪声之间的显式耦合。该方法不需要额外演示，也不需要额外梯度更新，策略架构、损失形式、噪声调度和测试时采样过程都保持不变。因此它是训练时插件，而不是新的策略设计。

分配过程不使用模态标签，但利用了机器人动作的聚类结构：同一模态的动作块通常比不同模态的动作块彼此更接近。最小化动作与噪声的距离，就把邻近动作块与噪声空间中连贯的区域关联起来，使初始噪声能携带对应模态的信息。在 Push-T 上，论文可视化显示原始策略两个模态的噪声样本大幅重叠，而分配后的噪声呈现出更清晰的模态相关组织。

去噪器恢复对模态方向的敏感度

暴露原始策略失败的同一模态响应测量也追踪了修复效果。在模态分离的噪声水平上，Immiscible Diffusion Policy 的响应范围达到 1.93，原始策略为 0.24。这约为解析去噪器响应的 45%，而原始策略仅为 5.6%。在两个模态中点附近，其响应约为原始策略的 8.3 倍。

作者报告这些改进在全部 10 个训练种子上一致。结合噪声空间可视化，这些结果支持论文提出的机制：独立配对混合了不同模态的去噪路径，使学到的策略对初始噪声不敏感；而分配组织噪声空间，保持不同的噪声到动作路径。这是作者的机制解释，由响应范围测量支持，但并非仅凭这些测量就能证明。

被压制的模态在 rollout 分布中回归

主要结果以评估 rollout 落入各动作模态的比例来衡量。在三个仿真双模态任务中，原始策略几乎完全集中在一个模态：主导模态占比在 Push-T 达到 97.60%，Stack Blocks 为 96.67%，Place Bread 为 95.56%，非主导模态仅剩 2.40%、3.33% 和 4.44%。主导模态按每个训练种子单独确定。

Immiscible Diffusion Policy 把非主导模态占比从 Push-T 的 2.40% 提高到 35.00%，从 Stack Blocks 的 3.33% 提高到 20.00%，从 Place Bread 的 4.44% 提高到 33.33%。在这三个任务上，非主导模态平均占比提高 26.05 个百分点，相对原始策略为 8.68 倍；摘要将范围概括为 6.0 倍至 14.6 倍。在两个真实世界人形任务上，分布从原始策略的单一手部模态变为左右手 1:1 均衡。

四模态任务呈现相同方向。Place Shoe 的分布从 37.8%、37.8%、24.4%、0.0% 变为 24.9%、29.7%、29.4%、16.0%。Rotate QR Code 从 57.8%、35.6%、6.7%、0.0% 变为 44.4%、17.8%、26.7%、11.1%。两个任务中，该方法都找回了原始 rollout 完全缺失的模态。

任务成功率大体保持，恢复模态付出代价

在两个仿真双模态任务上，任务性能大致不变。Push-T 覆盖率仅从 95.16% 变为 95.39%，Stack Blocks 成功率保持 96.67%，Place Bread 成功率从 100.00% 变为 97.78%。在真实世界任务上，左右手 1:1 均衡伴随成功率变化：Fruit-to-Plate 从 75% 降至 60%，Can-to-Bin 从 100% 降至 90%。

四模态任务降幅更大：Place Shoe 从 100.00% 降至 93.33%，Rotate QR Code 从 86.67% 降至 73.33%。论文按模态分析，将这一下降主要归因于新恢复的模态，而非整体执行退化。原始策略在两个任务中都没有产生 M(4) 的 rollout；恢复后的 M(4) 在 Place Shoe 的条件成功率为 85.71%，但在 Rotate QR Code 仅为 40.00%，说明恢复的行为仍在学习中。在两种方法都会生成的另外三个模态上，成功率大体相当。

作者将此视为限制：恢复的模态在恢复期间可能成功率偏低，如何在所有保留模态上实现同等高质量的规划，留待未来工作。

分配启动时机影响模态均衡

一个实际选择是何时从原始训练切换到基于分配的训练。论文在 Push-T 上的消融比较了第 0、50、100 个 epoch 启动分配。第 0 个 epoch 启动获得相近的模态均衡，但在相同训练预算下覆盖率降低 5.13 个百分点，说明短暂的原始训练预热有助于任务习得，且不牺牲模态保留。延迟到第 100 个 epoch 保持了覆盖率，但主导模态占比增加 12.31 个百分点。

作者用跨任务共享的准则来操作这一原则：在任务指标首次达到至少 60% 的评估检查点启动分配，前提是每个已演示模态仍具有非零的经验 rollout 频率。由于任务指标归一化到 [0,1]，这一刻意不饱和的阈值要求策略已明显脱离初始低性能阶段，同时为分配留出训练时间。模态存在条件确保分配在模态支持丢失前开始，共享规则则避免逐任务调参启动 epoch。

优先保留模态，而非统一质量

论文最具决策相关性的比较，是动作模态覆盖与每个模态质量之间的取舍。Immiscible Diffusion Policy 持续把 rollout 频率转向被压制的模态，并找回原始策略从未产生的模态；在双模态任务上性能大致不变，在四模态任务上总体略有下降。条件结果定位了代价：恢复的 M(4) 模态最弱，在 Rotate QR Code 中成功率为 40.00%。

对判断该插件是否适合部署的读者，关键区分在于风险来自丢失备选模态，还是来自每个模态都要执行良好。如果部署时首选模态不可行会让坍缩策略没有退路，论文证据支持采用分配，因为它在不改架构和推理的情况下恢复模态。如果每个保留模态都必须达到高成功率，新恢复模态的低条件成功率就是约束，论文把弥补这一差距留给未来工作。

本文引用的文献