[ICLR 2025] CaP-X: 摆脱人类预设，让机器人代码智能体实现“自我进化”

TL;DR

传统的机器人控制往往需要在“手工编写复杂逻辑”与“黑盒端到端学习”之间二选一。CaP-X 提出了第三条道路：利用 Coding Agents 生成 executable code。本文通过 CaP-Agent0 证明，即使只给模型最基础的控制原语，通过多轮交互、视觉差异反馈（VDM）和自动技能合成，LLM 也能在从未见过的任务中展现出专家级的鲁棒性。

背景定位：由于“过度脚手架”导致的繁荣假象

早期的 Code-as-Policy 研究通常为模型提供高度抽象的函数（例如 pick_and_place(A, B)）。这种做法实际上是将最难的感知关联和几何推理交给了人类工程师。CaP-X 的作者敏锐地指出：这种“脚手架”限制了智能体的表达力，且模型在失去这些高级原语后性能会断崖式下降。

核心方法论：CaP-Agent0 的三大支柱

为了让 Coding Agents 像程序员一样思考和调试，CaP-Agent0 构建了以下闭环：

1. 视觉差异模块 (VDM) - 跨模态的桥梁

作者发现，直接把原始 RGB 图片塞给 LLM（M2 模式）反而会降低性能。模型往往看不懂复杂的物理布局。VDM 扮演了“眼睛”的角色，它将视觉观察转化为文本：

• 初始状态描述：识别场景物体及物理属性。
• 差异反馈：每一轮代码执行后，告诉模型“刚才动了什么，离目标还差多远”。

2. 自动合成技能库 (Skill Library)

模型在执行低层原语（如调用 IK 解算器、处理点云）时经常重复造轮子。CaP-Agent0 会通过成功案例自动提取通用的实用函数（如旋转矩阵转换、Top-down 抓取过滤），形成持久的工具包。

3. 并行推理与集成 (Parallel Reasoning)

通过对不同温度系数和不同模型（Gemini, GPT, Claude）进行并行采样，系统会综合多个“候选方案”，由集成智能体输出最终代码，极大程度上降低了单次生成的随机失败风险。

实验与结果：超越单纯模仿

在 Robosuite 和 LIBERO 等基准测试中，CaP-Agent0 在没有任何训练数据的情况下，表现出了极强的泛化能力。

• 零冲泛化：面对指令扰动（如改变物体描述），传统 VLA（视觉-语言-动作）模型由于训练集分布问题大面积失效，而 CaP-Agent0 依旧稳健。
• 常识推理：在“尽可能堆高”的任务中，它能自动意识到应该“方块在下，圆球在上”，这体现了 VLM 背后的物理直觉。

强化学习：CaP-RL

论文还展示了 CaP-RL，利用 GRPO 算法在仿真环境（S1 级别）中对代码模型进行后训练。通过这种方式，模型学会了避开“步骤跳跃（Step Skipping）”等逻辑坑点，显著提升了生成代码的成功率，并能零样本迁移到真机。

深度洞察与总结

CaP-X 的价值在于它重新定义了机器人动作生成的范式：代码不仅仅是指令，它是一种包含逻辑、几何与异常处理的中间层表示。

局限性：尽管编程智能体擅长长程规划（Long-horizon tasks），但在应对需要高频视觉伺服（Visual Servoing）的接触密集型任务（如插入细孔）时，代码的延迟和离散性仍是瓶颈。

未来展望：未来可能会出现“CaP + VLA”的混合架构——LLM 写核心逻辑，端到端模型负责极短时间内的精细闭环控制。这就是 embodied AI 的下一站。

Takeaway: CaP-X 框架及其核心组件 CaP-Agent0 证明了，通过结构化的“代码生成 + 环境反馈”，我们可以用更少的机器人数据实现更高智能的动作控制。