[arXiv 2024] Act–Observe–Rewrite: 机器人操纵策略的“代码级”即时自我演化

TL;DR

在机器人领域，如果模型表现不好，通常的做法是收集更多数据重新训练。但 Act–Observe–Rewrite (AOR) 框架提出了一种暴力且优雅的新范式：如果机器人失败了，让 LLM 看看失败动作的视频帧，分析代码哪里写错了，然后直接重写整个 Python 控制器。无需梯度下降，无需示教，仅靠“反思”和“改 Bug”，机器人就能学会复杂的堆叠任务。

背景定位：从“选方案”到“写程序”

当前的具身智能研究主要分为两大派系：

1. 端到端模型 (VLA)：如 RT-2, OpenVLA。它们博学但难以针对特定部署环境进行微调（Debugging 成本极高）。
2. 规划派 (SayCan, Voyager)：LLM 负责把任务拆解成技能序列。但如果底层“技能库”本身有 Bug（比如视觉定位偏了 2 厘米），规划得再好也没用。

AOR 站在了一个独特的坐标点上：它认为代码才是最好的策略表示。代码既能被 LLM 理解和修改，又具有严密的物理计算能力。

核心动机：为什么非要重写代码？

作者发现，机器人操纵中的很多失败是系统性的。例如，坐标系转换公式里的一个正负号写反了，或者颜色的 HSV 阈值设置不对。在这种情况下，无论你如何微调神经网络权重或尝试不同的技能组合，都无法从根本上解决问题。

AOR 的核心 Insight 是：让 LLM 像程序员一样 Debug。它能通过视觉帧发现“我的夹爪总是落在物体右侧 5 厘米”，进而推断出“视觉投影公式可能有误”，最后直接修改代码里的数学公式。

Methodology：AOR 框架详解

双时间尺度循环 (Two-timescale Loop)

• 快循环 (Fast Loop)：在情节内部，Python 控制器以确定性的高频率运行，保证实时性。
• 慢循环 (Slow Loop)：在情节结束后，多模态 LLM 介入。它读取历史记忆（情节结果、传感器日志、关键帧图像）和当前代码，进行三步思考：
  1. 主导失败模式是什么？
  2. 根源在视觉、控制逻辑还是参数？
  3. 最有效的单一修改是什么？

图 1：AOR 的双尺度循环。绿色框内的 Policy（包括视觉流水线和控制器）是 LLM 迭代重写的单元。

安全与稳定性机制

让 LLM 乱改代码是很危险的。AOR 引入了三个护栏：

• 编译沙箱：新代码必须先通过编译和初始化验证，否则回滚到上一版。
• 动作限制 (Action Clamping)：限制笛卡尔位移和夹爪的最大输出。
• 局部重写策略：引导 LLM 只针对故障点修改，避免推倒重来。

实验与结果：超越“调参”的进化

作者在 robosuite 环境中验证了 Lift, PickPlaceCan 和 Stack。

惊人的调试案例

在最难的 Stack (堆叠) 任务中，初始代码定位偏差高达 5-8cm。LLM 在迭代 6 次后，通过对比视觉图像和代码，给出了令人惊叹的诊断：

“控制器调整没有改善精度，说明这是视觉流水线的系统性偏差。robosuite 使用 OpenGL 规范（行 0 在底部），而标准反投影公式假设行 0 在顶部。y 坐标没有翻转导致了镜像偏差。”

一旦这个代码级的数学错误被纠正，定位误差瞬间降至 2cm 以内，成功率飙升。

表 1：Stack 任务的演化过程。可以看到 v7-v10 对视觉公式的修正对成功率起了决定性作用。

性能对比

深度洞察与总结

1. 代码作为“可解释的桥梁”

AOR 证明了代码是多模态 LLM 与物理世界连接的最佳媒介之一。相比于黑盒的神经权重，代码允许针对系统性缺陷进行“外科手术式”的修复。

2. 局限性分析

尽管表现出色，AOR 也暴露了 LLM 搜索的局部最优问题。在 Stack 任务最后的 9% 失败中，智能体已经准确发现了“夹爪触碰到了下层方块”这一原因，但它未能探索出更精妙的放置策略（如改变进入角度），而是一直在现有的策略框架内打转。

3. 未来展望

AOR 开启了一个有趣的方向：机器人可能不再需要笨重的预训练阶段，而是带着一张“白纸”般的通用代码模板进入环境，通过 10-20 次的自我纠错，迅速长成特定场景下的“专家控制器”。这种零演示、纯反思的学习方式，极大地降低了机器人部署的门槛。