什么样的动作分词器适合视觉-语言-动作模型？

重建保真度不是合适的衡量标准

动作分词把一段连续的机器人动作块转换成一小串离散 token，让视觉-语言模型能像输出词语一样输出它们。以往的分词器大多按重建原始动作信号的忠实程度来比较，按这个标准，向量量化（VQ）分词器本应胜出，但在下游机器人任务中，它们常常输给更简单的分箱或字节对编码方案。论文把这一落差归因于目标错位：保真度并不能说明这串 token 是否容易被 VLA 主干网络学习和预测。

因此，作者改为通过 VLA 自身的训练动态来评估分词器。他们微调 SmolVLM2 模型去预测动作 token，不加入任何机器人专用结构，并在 500、1k、5k、10k 和 20k 步记录成功率，使早期训练速度与最终准确率都能被看到。这样一来，分词器成为被研究的变量，而不是固定的预处理细节。

相邻动作块的重叠率影响早期学习

论文的核心可测属性是重叠率（OR）。对两个相邻动作块，各自编码为 n 个 token，OR 是两个 token 序列在对应位置上取值相同的期望比例，计算方式为 1 减去汉明距离再除以 n。它衡量的是位置上的 token 一致性，而不是 token 集合的重叠，并对相邻动作块对取平均。

为单独考察 OR，作者构建了 OR 分别为 26%、40% 和 70% 的三个分词器变体，固定 token 预算 n = 16、词表大小 S = 2048、动作时域、块步长和下游 VLA，只改变一个对比损失，该损失把相似动作聚到同一编码上。三个变体都用满了全部码本条目，因此这一效应不是码本坍缩造成的。训练 500 步后的成功率从 26% OR 时的 8.2% 升到 40% 时的 12.4%，再到 70% 时的 33.4%。高重叠变体牺牲了一部分重建精度——L1 误差从 0.020 变为 0.029 和 0.028——换来更稳定的标签，以及更好的早期和收敛后策略成功率。

作者将此解读为：相邻动作块之间一致的 token 减轻了 VLA 的预测负担。论文明确指出，OR 是在“相邻动作相似”这一假设下对可观测一致性的度量，并不是对熵的数值估计。

塑造 ActionCodec 的四项原则

设计建议综合了四项要求。第一，最大化相邻动作块之间的时间重叠。第二，尽量减少词表冗余，避免把 token 容量花在近乎重复的编码上。第三，改善 token 与多模态上下文之间的对齐，使 token 携带与模型所见内容和所执行任务相关的信息。第四，降低结构上的 token 耦合，使一个 token 不过度依赖此前已输出的 token。

最后一点容易被误读。在论文中，“独立 token”指的是只用交叉注意力的 Perceiver 编码器，其中所有潜在查询都关注同一个输入动作。论文既没有施加也没有声称统计独立；其目标是保留共享的动作结构，同时限制对先前输出的依赖。前缀误差实验在受测结构上支持这一选择，作者并未把它当作普遍要求。

信息论的框架提供的是记账方式，而不是证明。把互信息与 token 熵和词表大小联系起来的容量上界是一个表示能力上界，而不是策略最优值。作者说明，他们的建议是由受控实验支持的实证指导，且相关属性可能同时变化。

ActionCodec 在 LIBERO 上如何胜过其他分词器

在直接对比中，所有分词器都接入同一个 SmolVLM2-2.2B 主干，在所有 LIBERO 任务套件上做自回归微调，并按官方协议评估。平均成功率为：分箱 53.4%，原始字符串动作 49.6%，VQ-VLA 的分词器 60.5%，MiniVLA 的 82.6%，FAST 90.6%，2.2B 参数的 ActionCodec 95.5%。更小的 ActionCodec 模型在 256M 参数时达到 92.3%，500M 参数时达到 92.5%，因此这一提升并非纯粹来自规模。

分箱和字符串基线使用了缩短的时域 T = 8，因为对 7 自由度的 LIBERO 任务，20 Hz 下一秒钟的窗口需要每块约 140 个 token。FAST 还需要一步修复：它的字节对解码要求特定序列长度，而自回归模型经常违反这一要求，作者因此对无效输出做零填充或截断。没有这一调整，用 FAST 训练的模型在大部分训练过程中成功率可忽略不计。这些是实现条件，限定了比较的含义，而不是中性的默认设置。

论文还报告了一张从零训练的基线表，其中 ActionCodec-BAR 平均达到 97.4%，高于 pi-0.5 的 93.3% 和 VLA-0 的 94.7%，且都无机器人预训练。这些数字属于在 LIBERO 上从零训练的模型，与同一张表中预训练的行属于不同设定，不应混为一谈。

结构变体在延迟与准确率之间取舍

三个解码变体检验 VLA 应在多大程度上依赖自己先前输出的 token。并行解码从可学习的起始 token 出发，在一次前向传播中预测全部 n 个动作 token 并取 argmax；它的成功率与朴素自回归相当，同时把推理缩减为一次前向传播，作者将其归因于分词器的低耦合。知识隔离接入一个独立的流匹配动作专家，并切断回传到 VLM 的梯度；它的得分略低于朴素自回归，但高于同样设置下使用 FAST 的结果。块式自回归解码让同一 RVQ 层级内的 token 互相可见，同时只关注更早的层级，取得了最好的结果 97.4%。

残差向量量化（RVQ）后训练是另一项独立改进。作者冻结已训练 VQ 分词器的编码器和第一个码本，加入残差深度 L = 3，只用重建和 RVQ 目标训练，再把改进后的解码器复制回去。由于第一个码本被冻结，输出的 token 保持不变，因此重建保真度提高，而 VLA 看到的 token 化方式不变。只有 ActionCodec-BAR 使用完整的 RVQ 分词器，其他模型使用 VQ 分词器加后训练解码器。

证据覆盖到哪里为止

LIBERO 的主要结果来自无机器人预训练的微调，消融研究大多在 LIBERO-Goal 套件上进行，分词器则在 LIBERO、BridgeData 和 DROID 上预训练。另一项研究用 Qwen3.5-2B 在覆盖 14 种本体的 15K 小时机器人数据上预训练 ActionCodec，并报告下游微调和零样本迁移结果，但作者称这一覆盖只是有限的基准集合，广泛的真实环境泛化仍留待未来工作。

对打算采用该方法的人，还有两点限制值得注意。Perceiver 主干是为灵活的设计分析而选，并未针对最终性能优化。训练依赖两个对比辅助损失，它们引入额外超参数，使调参更复杂。论文自己的定位是：这些原则是一份路线图，优化后的结构和改进的视觉-语言对齐仍待探索。

分词器设计应关注什么

对决策有意义的比较，不是哪个分词器重建动作最好，而是哪个能让 VLA 学得最快、最可靠。在这篇论文中，在固定 16 个 token 预算和 2048 条词表下，把重叠率从 26% 提高到 70%，使早期成功率从 8.2% 增至 33.4%，达到三倍，同时重建误差略有变差；而完整的 ActionCodec 设计在同样的 2.2B 主干下把 LIBERO 平均成功率提升到 95.5%，FAST 为 90.6%。如果要为自回归 VLA 选择分词器，这些是应优先测量的量。

第二个启示关于耦合。由于 ActionCodec 的 token 很少依赖先前 token，并行解码在一次前向传播下就达到了与自回归相当的成功率，而利用 RVQ 残差结构的块式变体把平均值推到 97.4%。因此，论文确立的优先事项是：针对下游 VLA 的训练曲线来调节重叠率、词表冗余、多模态对齐和 token 耦合，并把重建保真度当作需要满足的约束，而不是要最大化的目标。

本文引用的文献