如何用动态实验现象在实验室中对灵巧操作进行基准测试？

基准围绕实验流程而非物体搬运

AutoBio+ 是一个面向生物实验室灵巧操作的仿真基准与框架。它的 14 项任务按四类能力划分：功能性工具使用、精细操作、语言条件视觉定位和仪器操作。这样分类的意义在于，策略不能只抓起物体再挪走：它要用移液枪或镊子完成其预期功能，把指尖对准管盖，找到指令中指定的孔位，或者扳动仪器上的控制件。

这套任务覆盖 4 种机器人形态，因此同一基准涵盖不同的手和机械臂，而不只是单一夹爪。任务随机化按任务分别设定：例如，Attach Pipette Tip 中的枪头槽位从 6×4 的枪头盒网格中采样，Aspirate with Pipette 中的冻存管槽位从 5×12 的管架网格中采样，各形态的机器人重置范围以弧度给出。这些细节决定了不同试验中什么算作同一项任务。

火焰、蒸汽和气泡改变相机所见

这篇论文的独特补充是一组可控的动态实验现象：火焰、蒸汽和气泡。它们由一个粒子系统渲染，每个粒子带有位置、颜色、不透明度和尺寸，并通过漂移项加小幅随机扰动来更新，而不是做完整的物理仿真。作者称这种设计优先保证感知上的逼真，同时保持轻量和可并行。

每种现象都对应一项实验流程。火焰由向上运动的粒子构成，其颜色受本生灯两个旋环的旋转位置调制，因此外观会随灯的调节而变化。蒸汽被建模为带有随机漂移和扩散的膨胀粒子云，气泡则是沿涡旋状轨迹上升的粒子。因此，该基准测试的是策略在流程中不断演变的观测下的表现，而不只是静态场景。

真实实验室背景位于仿真物体之后

为了让场景看起来像真实实验室，同时不放弃物理交互，AutoBio+ 采用混合渲染管线。可交互的前景物体仍由仿真器渲染，背景则来自用轻量空间扫描仪采集的 6 个真实实验室场景重建出的 3D Gaussian 泼溅资产。最终图像把仿真器的物体级前景掩码与 Gaussian 渲染的背景合成在一起。

这是一种有意的折中：作者表示，它保留了物理上可控的仿真物体，同时加入逼真的视觉环境，而不是完全替换仿真器渲染器。代价经过了测量。在来自两个相机、分辨率 640×480 的 339 帧基准上，纯 MuJoCo Warp 渲染耗时 13.95 秒，加入 Gaussian 的渲染耗时 15.57 秒，而此前 AutoBio 使用的 Blender 渲染耗时 1092.02 秒。作者报告这比 AutoBio 快约 70.14 倍，比纯 MuJoCo Warp 多出约 11.61% 的开销。

并行仿真让大规模评估可行

AutoBio+ 构建在 mjlab 之上，并增加了并行仿真框架。其核心组件是并行有限状态机（PFSM），作者用它生成演示，并结合批量渲染与解耦的轨迹回放，实现与模型无关的闭环策略评估。通俗地说，许多仿真环境同时运行，录制的轨迹可以回放，而不必把评估绑定到某一种策略实现上。

渲染管线支持在 GPU 上批量渲染 Gaussian，粒子效果按粒子独立更新，因此不需要全局同步。论文还扩展了可交互纹理：由于 Warp 不支持在运行时任意更改纹理，作者在场景描述中预定义一组纹理，并在仿真中按索引切换。这些都是以吞吐量为目标的工程选择，也正是它们让该基准既能用于数据生成，又能用于反复比较策略。

没有策略能解完整套任务，差距因任务而异

主要评估比较了四种策略——Diffusion Policy、π0.5、GR00T-N1.7 和 Fast-W AM——在从 14 项任务中选出的 12 项代表性任务上的表现，这些任务按四类能力分层，并覆盖全部 4 种形态。所有模型都在相同的任务专用数据集上训练，并使用相同的域随机化和任务专用终止条件评估。结果是 3 个随机种子、每个种子 100 次 rollout、共 300 次 rollout 的平均成功率与标准误；除 Operate Mixer Panel 使用进度奖励外，所有任务都使用二值奖励。

差距很大。在 Close Thermal Cycler Lid 上，成功率从 π0.5 的 5.3% 到 Fast-W AM 的 99.7%；在 Close Centrifuge Lid 上，GR00T-N1.7 达到 100%，Diffusion Policy 为 30.0%。在 Ignite Bunsen Burner 上，π0.5 达到 77.7%，Fast-W AM 为 23.3%。另一端，Tighten Tube Cap 有三种策略为 0.0%，π0.5 为 0.7%，若干语言条件定位任务则停留在个位数低位。作者将此解读为暴露了各自的强项与弱项，而不是给出单一排名。

接触密集操作与语言定位仍是瓶颈

论文的讨论区分了两类失败模式。第一，语言条件视觉定位任务整体成功率偏低且波动很大，该类别中没有任务被可靠解决；某些模型在个别任务上甚至为 0%。这些任务要求把语言指定的目标——例如按行和列给出的管槽——定位到当前观测中。作者指出，Fast-W AM 在这里并未稳定超过视觉-语言-动作基线，并认为限制可能出在语言条件前端，而不是预测未来视觉状态的能力。

第二，接触密集操作是突出的失败模式。策略在操作镊子、拧紧管盖、安装枪头、装载离心机和转移试管上表现较差，而在关闭离心机盖、打开热循环仪盖等非抓取式交互上表现较好。作者还观察到，灵巧手预训练对相对简单或容差较大的交互有帮助——GR00T-N1.7 在 Close Centrifuge Lid 上的 100% 就是他们的例子——但并不能延续到需要精确对齐和持续手指调整的任务上。

Gaussian 背景提升少样本真机得分

真实世界验证使用一台配备 XHand 的 UR5e 机械臂和两个 RealSense 相机：腕部安装的 D405 和提供第三人称视角的 D435。每个训练集包含 10 条真机演示和 90 条仿真演示，两种条件只在仿真视觉背景上不同：Gaussian 泼溅背景对比标准 mjlab 背景。评估在同一真机任务上使用渐进式评分：抓住试管得 3 分，成功抬起得 5 分，开始插入得 8 分，完全插入管架得 10 分。试管被放在管架的十个位置，每个位置测试两次，因此每种条件有 20 次试验。

Gaussian 背景条件达到 66% 的归一化平均分，而没有 Gaussian 背景时为 17%。作者把这个差距解读为证据，说明逼真的背景外观在少样本情形下尤其重要，因为 10 条真机演示本身无法覆盖任务的视觉变化。这是在同一个真机任务上比较两种渲染条件，而不是宣称仿真数据可以替代真实数据的普遍结论。

范围限制在于任务覆盖与场景保真度

作者陈述了两项限制。任务与资产可扩展性：AutoBio+ 尚未提供评估生物实验室自动化全貌的框架，未来工作可以用生成式方法合成资产和任务，以减少人工投入。渲染与动态场景保真度：Gaussian 背景合成加粒子系统可能无法完全复现高保真液体行为或全部场景交互，作者指出 4D Gaussian 表示或动态神经场是可能的方向。

这些限制限定了结果的解读方式。动态现象是与场景物理解耦的视觉效果，因此它们测试的是外观演变下的感知，而不是液体或火焰的物理。策略比较覆盖 14 项任务中的 12 项，因此报告的强项与弱项描述的是这一分层选择，而不是整套任务中的每一项。

定位与接触控制比单纯世界建模更关键

这篇论文中最具决策意义的分界在任务类型之间，而不是策略之间。当任务主要需要操作仪器或进行非抓取式交互时，一些策略已经达到高成功率——Close Centrifuge Lid 上 100%，Close Thermal Cycler Lid 上 99.7%。当任务需要定位语言指定的目标，或需要精确的接触密集手指协调时，各策略的成功率普遍跌到个位数。

对于正在决定下一步构建或测量什么的读者，这一分界给出了优先级：基准自身的证据表明，剩余差距集中在语言条件目标识别和接触感知的精细控制上，而不是预测未来视觉状态的能力。Gaussian 背景的结果又增加了一个更窄的阈值：在只有 10 条真机演示的少样本设置下，仅仿真背景的选择就把真机得分从 17% 提高到 66%，因此当仿真数据与真实数据混合时，背景保真度是一个值得控制的变量。

本文引用的文献