瓶颈在于策略能看到什么
这篇论文的出发点是一个具体诊断，而不是提出新策略。前沿多模态基础模型已经能根据图像和指令直接生成机器人动作，但在精细操作上仍然薄弱，例如插入、堆叠，或把物体放到狭窄结构上。作者认为，限制因素往往不是策略能力，而是空间可观测性，也就是固定的物理相机是否真的揭示了决定成败的空间关系，例如插头是否与插座对齐，或孔是否位于 peg 正上方。
这一区分很重要，因为它改变了解决思路。如果问题出在能力，答案就是训练或微调；如果问题出在可观测性，答案可以放在模型之外：在测试时改变模型看到的内容，同时不动策略和物理传感配置。SpatialHarness 建立在后一个前提上，实验也通过固定策略来检验它。
与执行过程保持对齐的仿真场景
SpatialHarness 是一个测试时具身支架（embodied harness）：它是一层软件，包裹冻结的策略，并组织策略观察什么、如何行动。它的核心资产是一个与真实世界执行保持同步的在线仿真场景。任务开始前，支架根据每个物体的多张图像和标注构建物体 CAD 模型，再通过比较渲染轮廓与深度、初始真实观测中的分割掩码与观测深度，确定物体的初始位姿。模型还会编写约束程序，例如 Hanoi 的 peg 必须位于水平支撑面上方，用这些程序检查或调整候选位姿。
真正的难点是在接触过程中保持场景对齐，这也是论文提出交互感知同步的原因。每个物体被归入三种模式之一。静态物体保持位姿，若可移动则通过视觉重新对齐。被夹持物体的位姿由物理引擎根据测得的关节和夹爪运动预测，再经过视觉验证和物体—夹爪几何检查；任一项检查失败，就用腕部相机估计替换预测。过渡模式覆盖抓取和释放：支架不只修正交互后的位姿，而是保存交互前状态，对其施加扰动生成多个假设，从每个假设重放同一段测得的机器人运动，再选出与真实执行和腕部相机观测最一致的整体状态。
视角按任务选定后保持固定
第二个组件决定策略实际看到什么。模型在多步推理提示的引导下，先从任务指令推导任务完成时物体必须满足的空间约束。如果这些约束涉及整个物体的相对位置和朝向，模型选择两个全局虚拟视角；如果涉及局部结构如何相互嵌合，则选择一个局部视角和一个全局视角。随后模型渲染候选视角，检查相关部件是否同时可见、关键空间关系能否被清晰判断，以及该视角是否揭示了当前真实观测难以分辨的信息。不合适的视角会经过小幅调整并重新渲染。
执行过程中，虚拟视角保持固定，支架持续从不断更新的在线仿真场景渲染。策略会收到这些补充虚拟视角，以及结构化空间信息，包括物体 6-DoF 位姿和渲染可靠性估计，并与任务指令、真实观测和机器人状态一起输入。论文对同一个底层模型区分了两种角色：在推理约束和配置视角时它是 model，在通过工具调用生成动作时它是 policy。
四项真实机器人任务成功率均上升
评估使用 Franka Research 3 机械臂和四项真实机器人任务，覆盖精确几何对齐、物体相对放置和铰接物体交互：积木堆叠、插头插入、Tower of Hanoi，以及打开抽屉后放置积木。每项任务和每种方法各进行 15 次试验，操作策略和控制协议保持不变。平均成功率从 18.33% 升至 83.33%，提升 65.00 个百分点。
各项任务的起点不同，值得分开看。在 Tower of Hanoi 和抽屉任务上，基线在全部 15 次试验中均失败，而 SpatialHarness 分别成功 15 次和 10 次。作者将此归因于原始观测无法清晰显示孔与 peg 的偏移，或夹爪与把手的接触关系，因此新增视角提供了关键对齐和抓取步骤所需的信息。插头插入对精度要求最高，需要同时在位置和朝向上对齐；基线在该任务上已有部分成功，成功率为 26.67%，SpatialHarness 将其提升到 66.67%，提高 40.00 个百分点。积木堆叠从 46.67% 升至 100%。后两项结果表明，即使真实相机已能支持偶尔成功，新增视角仍能通过让细微错位变得可见来提供帮助。
成功率更高，策略查询并未增加
另一项指标回答的是：这些提升是否只是更频繁地询问策略换来的。答案是否定的。四项任务成功率均上升，而对操作策略的查询次数要么下降，要么基本不变。积木堆叠和 Tower of Hanoi 的策略查询次数分别减少约 30% 和 21%，两项任务成功率都达到 100%。插头插入提升 40.00 个百分点，查询次数仍减少约 7%。抽屉任务的查询次数与基线相当，成功率则从 0% 升至 66.67%。
作者将此解释为：辅助虚拟渲染减少了因空间可观测性有限而导致的无效果尝试和反复调整，从而降低了策略查询开销。这是作者的解释，而不是直接测量的机制；但两项指标同时变化的方向构成了关键比较：支架并不是靠增加策略调用次数来换取成功。
刚性物体、额外延迟与前沿模型
研究范围有三方面限制，决定了结果能推广多远。研究只覆盖刚性和铰接物体，未涉及可变形物体操作；物体几何变化会给场景表示和同步带来新的挑战。交互感知同步还会带来时间开销，尤其是在抓取和释放过渡期间，需要进行假设重放、交互一致性过滤和轮廓匹配，这限制了系统响应速度。此外，支架依赖强大的多模态基础模型进行空间推理和动作生成，它在更小模型上的有效性尚未验证。
最后一点与核心数字并非无关。所有报告的提升都来自同一个冻结的 GPT-6 Astra 策略和同一套真实相机配置，因此结果支持的是“该策略的精细操作能力已经存在，只是可观测性不足”这一判断，而不是“任何策略都会同等受益”的普遍结论。
先检查可观测性，再考虑重训
这篇论文最有用的优先级是诊断性的。当强大的多模态策略在精细操作上失败时，这里的证据提示：先检查决定成败的空间关系是否可见，再假设策略缺乏相应能力。数据中最清晰的信号是任务之间的分化：基线从未成功的任务（Tower of Hanoi、抽屉）中，新增视角把 0% 变成 100% 和 66.67%；基线已有部分成功的任务（插头插入、积木堆叠）中，新增视角仍带来 40.00 和 53.33 个百分点的提升。两种模式指向同一方向，而策略查询次数同时下降，也反驳了提升来自更多尝试的说法。
这项研究隐含的实用判断标准，是真实相机在接触附近能分辨什么，而不是任务难度本身。SpatialHarness 针对的是遮挡或视角隐藏了决定成败的几何关系的情形，它无需策略微调或新增物理相机就能提供这些信息，代价是维护同步仿真、承担过渡阶段的额外延迟，并依赖前沿模型。
本文引用的文献
SpatialHarness: Test-Time Spatial Scaffolding for Fine Robotic Manipulation
在同一个冻结的 GPT-6 Astra 策略和真实相机配置下，SpatialHarness 将四项精细操作任务的平均真实机器人成功率从 18.33% 提升到 83.33%（每项任务和每种方法各 15 次试验），其中插头插入从 26.67% 提升到 66.67%，Tower of Hanoi 从 0% 提升到 100%。