[CVPR 2024] Structural Action Transformer: 突破异构机器人灵巧操作的“结构”屏障

TL;DR

在机器人学术界，实现像人类一样的灵巧操作（Dexterous Manipulation）一直是终极目标。传统的模仿学习往往被禁锢在“固定动作维度”的桎梏中，换一个机器人就得重练模型。本文提出的 SAT (Structural Action Transformer) 换了个思路：它不再把动作看作一串时间快照，而是看作一组关节的生命轨迹。这种“结构中心”的视角让模型能够直接跨形态学习，用更小的参数量实现了更高的操作精度。

1. 痛点：为什么“时间中心”的表示限制了机器人的进化？

目前主流的动作块（Action Chunking）方法（如 Diffusion Policy）通常将动作表示为 $(T,D_a)$，即 $T$ 个时间步，每步是一个 $D_a$ 维的向量。

这种方法存在两个致命缺陷：

1. 异构性灾难：如果你训练了一个 7 自由度的机械臂模型，它完全无法理解 24 自由度的灵巧手。因为 $D_a$ 是固定的，模型无法处理输入维度的变化。
2. 物理直觉缺失：模型把所有关节的数值堆叠在一起，强迫 Transformer 去学习这些数值之间复杂的隐式关联，这在处理高自由度（High-DoF）系统时效率极低。

图 1：左侧为传统的“时间中心”视图，右侧为本文提出的“结构中心”视图。

2. 核心贡献：将动作重构为“关节轨迹序列”

SAT 的天才之处在于将动作矩阵转置为 $(D_a,T)$。在 Transformer 看来，$D_a$（关节数量）变成了序列长度，而 $T$（时间轴）变成了特征维度。

2.1 体现式关节码本 (Embodied Joint Codebook)

既然是把关节当作“单词”序列，如何让模型知道哪个单词代表“大拇指”，哪个代表“食指”？作者引入了一个三元组编码：

• Embodiment ID: 区分不同的机器人型号（如 ShadowHand vs. XHand）。
• Functional Category: 定义功能，如 CMC、MCP 关节（参考人体解剖算法）。
• Rotation Axis: 定义运动轴（如弯曲或外展）。

这种设计允许模型在不同机器人之间找到功能相似性。即使两个机器人的外观不同，只要它们的关节功能相似，码本生成的 Embedding 就会接近，从而实现技能迁移。

2.2 3D 点云与 Flow Matching

为了应对复杂的空间关系，SAT 摒弃了 2D 图像，采用层次化的 3D 点云 Tokenizer（基于 FPS 和 PointNet）。模型使用 Flow Matching 目标函数进行训练。相比传统的 Diffusion，Flow Matching 在推理时通常只需要极少的步数（如 1-NFE）即可获得高质量的动作轨迹。

图 2：SAT 整体架构，包含点云 Tokenizer、关节码本和基于 DiT 的速度场预测。

3. 实验战绩：以小博大的“高效能”

实验结果令人印象深刻。在包含 Adroit 和 Bi-DexHands 在内的 11 个任务测试中，SAT 的表现全面超越了包括 UniAct 和 3D Diffusion Policy 在内的强力基线。

• 参数量极致压缩：SAT 仅有 19.36M 参数，约是 UniAct (1053M) 的 1/50，参数效率惊人。
• 跨域迁移能力：在消融实验中（见表 4/5），作者发现移除“功能分类（Functional Category）”会导致模型彻底崩溃，证明了这种基于功能的结构表征是跨形态学习的灵魂。

注：SAT 在保持轻量化的同时，在双手机器人任务中展现了显著的优势。

4. 深度洞察与总结

SAT 实际上是把机器人动作预测变成了一个“结构对齐”问题。

通过将时间维度压缩进特征空间（Temporal Compression），它捕捉了动作的运动原语（Motion Primitives）；而通过在关节维度进行自注意力（Self-Attention），它捕捉了灵巧手关节间的协同运动规律。

局限性与展望

尽管 SAT 表现出色，但在极端遮挡的情况下（如双手动手操作时一只手挡住另一只），单视角点云仍显乏力。未来的方向可能包括：

1. 多视角融合：集成更多感官输入。
2. 强化学习结合：将这种结构化先验作为 RL 的动作空间，提升高维探索效率。

结论：SAT 证明了机器人学不应只堆砌模型规模，对物理结构的深刻理解与表征创新，往往能带来更本质的突破。