单张图像能否通过检索构建可直接用于任务的仿真资产？

什么才算物理有效的资产

仿真器无法使用一个只是看起来像柜子的网格。日常物体是铰接的：柜门绕铰链旋转，抽屉沿滑轨平移，储物箱在框架内滑动。要复现这种行为，仿真器需要由关节连接的多个刚体，并配有在接触下保持稳定的碰撞几何与物理参数。

AffordCraft 的通过标准由此而来。只有当方法导出了结构化资产、且该资产随后在仿真中通过物理检验，输入才算通过；没有结构化导出的输入计为失败，因此没有任何输入被悄悄从分母中剔除。所以这个核心比率是固定评测集全部输入中的通过数，而不是在产生导出的那部分输入中的通过数。

这一区分很重要，因为导出与物理有效性是两道独立的关卡。在论文的对比表中，PhysX-Anything 为 97.85% 的输入导出了结构化资产，但按交付状态通过物理检验的只有 44.55%；PhysX-Omni 导出率为 98.05%，通过率为 36.50%。高导出率并不意味着资产可用。

检索把重建变成匹配问题

论文的前提是铰接结构高度重复。同一个抽屉在书桌和文件柜中可能沿同一根轴滑动。如果一个机构被建模并经过一次物理验证，它就能在众多物体间复用，从而不必为每张照片重新恢复部件与关节。

因此 AffordCraft 把单视图重建当作在已知机构上的受限匹配问题。给定一张 RGB 图像和一条任务指令，它定位物体以及任务作用的部件，判断所需运动（例如绕铰链旋转），按类别和视觉相似度检索库中条目，再由一个多模态模型检查哪些条目能在正确部件上提供该运动，若都不行则弃权。随后它缩放并放置所选条目，不改变其部件或关节，只有通过物理检验才接受结果。

输出是功能替代品，而不是复制品。作者指出，只要柜门的铰链位置符合任务要求，另一种颜色的柜子同样可用。他们还认为，共享同一机构但外观不同的资产能为策略训练带来外观多样性，而单一精确复制品做不到这一点。

比生成方法可靠多少

在由 Open Images 经质量筛选的子集抽取、覆盖 31 个类别的 2000 张 RGB 照片单物体基准上，AffordCraft 对 1703 个输入通过物理检验，即 85.15%。论文给出该核心比率的 Wilson 95% 区间为 83.52–86.64%。

在同一批照片上比较的五个生成方法最多通过 45%。论文表格列出的原生通过率为：PhysX-Anything 44.55%、PhysX-Omni 36.50%、PAct 23.70%，而 PartCrafter 与 TRELLIS.2 原生通过为零，它们只在加入碰撞几何与质量属性的通用适配之后才被计分。

成本进一步拉开差距。在中位数上，生成方法每个有效资产所需的 GPU 时间是 AffordCraft 的 10 到 78 倍。AffordCraft 自身每个输入的中位时间为 56.60 秒，每次通过需 53.1 GPU 分钟，峰值内存 0.8 GiB；这些数据在 32 个输入的计时子集上测得，每个工作进程配一块 RTX 5090，且库的碰撞几何只构建一次。

论文还报告了两个非生成基线，但它们在更小的 200 输入集上运行：Articulate-Anything 适配后通过 35.00%，GPT-6 Astra 智能体原生通过 34.50%，每个输入中位耗时 1423.0 秒、模型调用花费 2.90 美元。由于这两个只在 200 个输入而非 2000 个输入上运行，它们的比率不与主对比合并。

构建在哪些类别上失败

没有资产的 297 个输入按终止原因拆分：230 个未被定位，64 个耗尽候选预算，3 个以无效自动框或非物体回复结束。在 5874 次候选尝试中，1703 次被选中，2573 次没有导出，1093 次被语义拒绝，435 次未通过物理检验，70 次经修复后仍未产生导出。

失败集中在特定类别。Window 在 263 个输入中失败 106 个，Chair 在 153 个中失败 42 个，Table 在 264 个中失败 33 个，Bottle 在 159 个中失败 32 个。另一端，Door 通过 145 个中的 120 个，StorageFurniture 通过 140 个中的 137 个。若干小类别通过率为 100%，包括 Mouse 59/59、Kettle 23/23、Coffee maker 19/19、Printer 19/19、Trash can 17/17、Microwave 5/5、Remote 5/5、Dishwasher 1/1 和 Scissors 1/1，不过论文指出小类别的区间很宽。

在 5874 次候选尝试中有 179 次应用了保持结构的修复，其中 60 次通过使用了修复后的资产。论文还记录了源库的一个局限：打印机和水壶被驱动的关节行程只有毫米级，因此它们的两个状态重合，而瓶子是刚性条目，没有关节。

杂乱图像与库规模增长

在 50 张包含 237 个标注物体的杂乱 COCO 图像上，流程先检测物体，标注只用于计分。经自动检测后，237 个标注物体中有 162 个通过同一物理检验。论文指出，杂乱图像中的物体是逐个评测的，没有评估场景深度、支撑关系或布局。

库规模是另一个杠杆。把库从 141 条扩展到 11372 条不需要改动方法。在五个库上，类别覆盖率从 46% 升到 100%，所选条目带有请求标签的比例从 18% 升到 51%。论文报告说，覆盖率只在新类别加入时上升，而 top-1 一致率在每一步都上升。

这两个数字回答的是不同问题。覆盖率问的是某个类别是否在库中有代表；top-1 一致率问的是所选条目是否带有请求的标签。论文指出，两者比较的都是标签，而不是所选资产是否具备任务所需的正确部件与运动。

哪些组件会改变结论

单因素研究是冻结方法在同一批登记的 200 个输入、同一道关卡上的独立实验，冻结方法在研究内部作为每一行的配对参照重新运行。该参照通过 200 个中的 169 个，而同一批输入上的实验重计通过 200 个中的 167 个；论文把它们作为两次独立运行分别报告。

在两项安装相关因素所针对的 548 个 Window、Door 和 Storage-Furniture 输入上，移除安装证据完全不改变任何判定。冻结方法在这些输入中通过 411 个。把分解级联限制到 level 0 只损失三扇门，其余没有变化，作者把这归因于级联所针对的细边框。

论文明确指出，消融中的小差异不足以确立可靠改进。在目标辅助的开发协议下（该协议随图像提供登记的目标区域和类别标签），早期配置显示尺度处理影响更大：适配排名最高的候选通过 685 个，校准尺度估计通过 1043 个，在没有任何仿真器反馈前就提交三个尺度假设通过 1172 个。在五个候选池上仅做选择通过 887 个，加入铰接适配器的保持结构修复后，在 558 个铰接无效的案例中恢复 316 个，达到 1203 个。论文指出，两种协议提出的是不同问题，其比率从不合并。

构建出的资产能支撑什么

论文用构建出的资产搭建操作任务，既有单物体场景，也有组合场景。在脚本演示上训练的策略能在训练中未见过的初始状态下完成这两类任务。在十个场景中，脚本教师完成了 320 个回合中的 273 个。

策略设置很具体。骨干网络是 OpenVLA-OFT，使用 LIBERO-Spatial 检查点，冻结且从不微调；未训练条件使用同一动作头在初始化时的状态。动作头是一个 512 单元的 GRU，输入为来自两张 320×240 图像的 8192 维特征，外加 9 个本体感受关节位置，动作块为 8 个未来目标、执行其中 4 个，控制频率 10 Hz、物理频率 60 Hz，用 AdamW 训练 24000 步，批大小 16。

论文自身的局限是：操作任务使用开发期间见过的一组固定资产，因此对未见资产的泛化以及向真实机器人的迁移仍有待检验。论文还指出，单物体评测衡量的是指令中已给出物体类别时的构建，而不是开放词汇识别。

这里真正决定实用性的是什么

这篇论文中最具决策意义的分野不是抽象意义上的生成与检索之争，而是每种方法在单位算力下换来什么。AffordCraft 在 2000 张照片上达到 85.15% 的通过率，每个输入中位耗时 56.60 秒、每次通过 53.1 GPU 分钟；相比之下，生成方法最多通过 45%，且在中位数上每个有效资产所需 GPU 时间是它的 10 到 78 倍。对于正在决定如何填充仿真器的读者，论文的证据指向：库是可复用的资产，而每张图像的成本正是被摊销的对象。

第二个分野是库规模与选择质量。从 141 条扩展到 11372 条，类别覆盖率从 46% 升到 100%，但 top-1 一致率只从 18% 升到 51%，论文谨慎指出这些比较的是标签，而不是所选资产是否具备正确的部件与运动。更大的库消除了覆盖率的借口，却没有解决选择问题。

第三个分野是类别。Door 通过 145 个中的 120 个、StorageFurniture 通过 140 个中的 137 个，与 Window 通过 263 个中的 157 个、Chair 通过 153 个中的 111 个表现差异很大；而在 297 个缺失资产中，有 230 个是未定位失败，指向的是定位而非物理关卡。因此论文自己给出的优先级正是它明确陈述的那一条：结构在库中只建模和检验一次，并被每一次查询复用，这正是为什么随着库增长，每张图像的成本与每张图像的失败率才是值得关注的量。

本文引用的文献