USDCraft 如何用程序化建模为机器人仿真构建铰接式 3D 资产？

网格分割为何在真实扫描上失效

基于网格的方法通过把静态网格切分为功能部件，并估计支配其运动的关节轴和连接关系，来恢复铰接物体。论文指出这种做法在部署时有两个问题。表面不完整和部件粘连会破坏部件分割，而仅靠切分无法恢复缺失的几何或功能开口。另一方面，依赖任务特定训练使方法难以泛化到分布外物体，尤其是当这些物体的类别或机构在训练数据中很少出现时。

智能体方法不要求完整网格，而是用可执行程序从零构建物体，借助 LLM 对日常物体的知识覆盖多种类别。但如果没有对真实物体几何的测量，生成的尺寸和部件位置可能与目标实例不符，这种几何差异会限制学到的操作策略向真实物体迁移。论文提出的挑战是：让可靠的源几何同时指导程序构建和修改，同时保留重建缺失几何、分离粘连部件的灵活性。

把网格转成 LLM 可读的公制描述

预训练 LLM 擅长处理文本，却无法直接读取网格。渲染视图会丢失公制尺度并隐藏内部结构，而原始顶点或点列表又超出实际可用的上下文预算。源几何分析把源网格转成一份紧凑的公制描述，供智能体读取和查询，它结合了全局轴向几何编码与按需的网格检查。

轴向编码在共享的公制坐标系中，用规则网格对源网格的表面支撑进行采样。包含采样源表面的网格单元集合被序列化为沿竖直轴排列的有序轴向切片图，并附带边界、凸起、开口和已观测内部构件的局部公制摘要。该集合之外的每个单元都标记为未知，而不是空或实心。这一区分对不完整网格很重要：扫描中的孔洞不意味着自由空间，闭合壳体的内部也不意味着实心材料，因此智能体可以依据图像和物体功能来补全这些区域。自动检测到的特征作为测量锚点，其功能含义留给智能体判断。

网格检查按需补充这一有限分辨率的概览。在参考图像和当前部件规划的引导下，智能体从选定视角渲染源物体，并查询选定区域内的局部边界、点分布和表面朝向。两类证据合在一起，使 LLM 无需针对 3D 网格理解进行训练，也能推理尺寸、部件位置和内部结构。

资产为何用程序而非网格表示

USDCraft 把每个资产表示为可执行程序，因为程序会暴露后续反馈需要修改的量。部件、关节和物理属性都由显式参数定义，因此检查中发现的偏差可以通过局部修改解决，而不必重新生成整个资产。程序还能引入源数据从未观测到的部件和连接，这是对给定表面做分割做不到的。

创作工具包把参数化实体建模与 CadQuery 结合，用于尺寸可控的机械部件；把符号距离场建模与解析基元结合，用于有机形状和平滑过渡。外观在同一程序中用基于物理的材质、纹理和贴花编写。物理属性直接写成 PhysX 参数，即 Isaac Sim 所用物理引擎 NVIDIA PhysX 使用的量。程序用引擎自身的术语设置质量、接触摩擦、关节限位、关节摩擦和驱动，省去了以通用形式预测物理属性时所需的换算步骤。这些数值遵循从 Isaac Sim 测试结果中提炼的创作指南，该指南还让手动操作的机构保持被动，并沿正常使用序列检查铰接间隙。无法从证据中测量的属性被视为建模假设。编译程序会推导碰撞几何并导出 USD 资产，该资产载入 Isaac Sim 后具有合理的物理行为，无需手动调整。

区分遗漏的源表面与未知空间

源几何分析指导初始构建，但编写程序时引入的错误也必须被发现和纠正。迭代几何复核用与源证据相同的表示来表达这种反馈。在每次修改步骤中，当前候选资产会以其参考构型重新编码到源网格上。比较源单元集合与候选单元集合，会得到一个覆盖率，以及两个差异集合：候选遗漏的、包含已观测源表面的单元，以及候选有表面但源数据未知的单元。

论文对这两个集合区别对待。遗漏的源表面是存在错误的直接证据，作为修正信号。未知区域中的候选表面可能是错误，但也可能是必要的补全，例如内壁、图像支持的部件，或不完整扫描中缺失的连接，因此智能体依据图像和物体功能来判断，而不是对两者一律惩罚。

仅凭覆盖率无法判断部件是位置放错还是形状不对，而这两种情况需要不同的修改。为做更细的比较，从六个轴对齐方向得到的第一表面图可测量面偏移、轮廓差异以及开口和凸起的位置。智能体还可以选定一个源区域和一个候选部件，沿选定观察方向比较两者的第一表面深度，无需真实的部件分割。中位偏移量衡量沿观察方向的前后位移，去除该偏移后残差的第 90 百分位数衡量形状差异。在概览中的把手上，中位偏移仅 0.64 mm，而轮廓差异为 3.41 mm，因此需要修改的是它的轮廓而非位置；反之，大偏移配小轮廓差异则说明部件放错了位置。每次修改后，智能体重新编译程序并复核受影响的几何。

视觉反馈补上表面比较的盲区

几何诊断比较的是表面，无法判断资产看起来和用起来是否像目标物体。视觉反馈填补这一空白：它用材质和逐部件颜色渲染候选资产，视角由智能体选择，关节构型可为默认或指定构型。智能体把这些图像与参考图像或请求描述对比，找出缺失部件、不合理的装配、错误外观，以及只在部件运动时才出现的间隙问题，并据此修改程序。在生成任务中没有源网格可用，视觉反馈就是检查候选资产的主要手段。

同一套程序表示也支持从文本或图像生成，每个编译后的资产都带有碰撞几何、质量、接触参数和关节限位，可直接用于 Isaac Sim。论文报告在两个基准上取得领先的铰接恢复结果，并验证了 USDCraft 在真实到仿真再到真实的机器人操作中的有效性。

几何锚定比骨干模型选择更关键

论文的讨论部分指出，这种几何锚定在几何和铰接上优于基于分割的方法和仅用图像的程序化方法，并且这种锚定比骨干模型的选择更重要。报告中的比较以各骨干在成本和质量上的巨大差异支持了后一说法。在生成比较中，使用 Sol 的 USDCraft 质量分为 0.9704，耗时 16.5 分钟；使用 Claude 的 USDCraft 为 4.5115，耗时 101.1 分钟；使用 Gemini 的 USDCraft 为 0.8643，耗时 80.5 分钟。Mini Workflow 基线使用 Sol 得 0.6878，耗时 18.9 分钟；使用 Astra 得 0.4619，耗时 5.7 分钟。

这些是生成比较的分数，由 Sol/high 匿名评估取平均，质量分为 5 分制，时间为分钟；它们不是铰接恢复基准上的数字。实际解读是：同一套几何锚定流程在不同骨干上都能产出可用资产，只是成本差异很大；而未做几何锚定的 Mini Workflow 即使运行更快，质量也明显低于 USDCraft。

迁移策略在哪些情况下成立

在操作研究中，机器人是 UR7e 机械臂，配 Robotiq 2F-85 夹爪和单个外部相机。策略观察 RGB 图像并输出绝对末端执行器位姿，机器人、桌面和相机经过标定以对齐仿真与真实工作空间。对每个支持所需交互的方法–任务组合，cuMotion 完全在仿真中自动采集 200 条演示，每个设置单独训练一个 Diffusion Policy，训练 80 个 epoch、批大小 128，然后直接部署到真实机器人上，不使用真实世界训练数据，也不做微调。每个训练好的策略在 20 次仿真试验和 20 次真实试验中评估，物体位置和机器人初始构型随机化。成功标准分别是：抽屉打开至少 5 cm、烤面包机拨杆下压至少 4 cm、或烤面包机旋钮旋转超过 5 度；因危险接触而中止的 rollout 计为失败。

基线的准备方式因方法而异，这限制了比较的含义。USDCraft 和 Mini Workflow 获得图像和网格证据，Particulate 只获得网格，Articraft 获得图像，其生成资产用真实扫描尺寸缩放。Particulate 能恢复烤面包机拨杆关节，但无法支持抽屉打开或烤面包机开关，因此这两个设置不采集演示，其条目因资产重建失败记为 0 成功。Particulate 重建的物体无法稳定站立，因此在 Isaac Sim 中被固定，报告的拨杆按压 50% 仿真成功率是在这种固定基座条件下得到的。已执行的 Mini Workflow–Astra 抽屉 rollout 在危险接触规则下报告为 0% 真实世界成功率。

尺寸保持的重要性不止于被操作物体。烤面包机在按压拨杆时由抽屉支撑，在切换开关时由盒子支撑，因此支撑高度也决定了烤面包机拨杆和开关相对机器人的位置。论文还报告了该表示的覆盖边界：细格栅结构，如球拍线网和购物车铁丝框，仍难以忠实重建，购物车保留了整体外形，但铁丝间距和局部连接与源物体不同。USDCraft 可以标注柔性构件并构建其静止几何，但这并不能确定它们如何弯曲、拉伸或响应接触；对于雨伞，伞骨和撑杆上的刚性关节无法建模伞面张力或刚柔耦合，作者表示这些尚未在 Isaac Sim 中验证。

决定重建资产能否迁移的关键

论文自身的优先级是：让重建资产可用于真实到仿真迁移的，是实测的源几何，而不是 LLM 骨干的选择。这一优先级来自证据中的两项比较：USDCraft 的质量分在 Sol、Astra、Claude 和 Gemini 各骨干上保持较高，尽管耗时差异很大，而未做几何锚定的 Mini Workflow 在同一尺度上明显更低；操作研究只在仿真中训练策略，并在没有真实世界数据或微调的情况下部署到真实机器人，因此迁移效果取决于资产是否匹配物理物体的尺寸和铰接。

因此最重要的情景划分，是源证据能够约束其几何的物体，与源证据无法约束的物体之间的区别。当网格和图像能确定尺寸、部件位置和开口时，复核循环可以把偏差转化为局部程序修改，编译后的资产也能携带 Isaac Sim 所需的物理属性。当物体是细格栅结构或依赖柔性变形时，同一循环对缺失行为没有实测依据，论文把这些情况报告为尚未解决，而非已验证。

本文引用的文献