[CVPR 2026] CRAG：打破拼装与生成的界限，实现 3D 碎片的一体化重构

TL;DR

传统的 3D 拼装（3D Assembly）往往死磕“位姿估计”，即如何通过旋转和平移把一堆碎片凑在一起。然而，当零件缺失或磨损时，这种方法就束手无策了。纽约大学研究团队提出的 CRAG (Coupled ReAssembly and Generation) 给出了一种更接近人类直觉的解法：一边拼，一边想。它通过 Joint Adapter 机制让拼装分支与生成分支实时对话，不仅能把碎片对齐，还能“脑补”出缺失的部分。

背景定位

在 3D 视觉坐标系中，CRAG 属于“生成式拼装”的集大成者。它不仅超越了单纯做回归的一代模型（如 Jigsaw），也比最近的扩散模型拼装（如 GARF）多了一个“全局大脑”。它是首个在统一的 Flow-matching 框架下，实现 SE(3) 位姿估计与潜空间形状生成双向博弈的工作。

痛点深挖：零件丢了怎么办？

在考古修复、骨科医学或工业维修中，我们拿到的碎片往往是不全的。现有方法（如 RPF, GARF）的痛点在于：

1. 几何自闭：它们只移动现有的点，无法创造新几何，遇到缺口就导致整体结构塌陷。
2. 局部歧义：对于平滑的球体或对称的构件，仅靠碎片边缘完全无法判断朝向。

作者敏锐地发现：人类专家在拼图时，脑海中有一个“预期的全貌”。这个全貌（Global Prior）就像指南针，指引碎片的摆放；而摆放好的碎片（Local Evidence）又在不断修正大脑中的蓝图。

核心方法：CRAG 的“混合互感器”架构

CRAG 采用了 Mixture-of-Transformers 架构，并基于 TripoSG 的预训练 VAE 构建了一个“通用语言”空间。

1. 结构化潜空间 (Shared VAE)

CRAG 没有为碎片定制复杂的特征提取器，而是重用了在大规模 3D 形状数据集上预训练的 TripoSG VAE。这意味着碎片被映射到了一个已经具备强大“形状直觉”的潜空间中。

2. 双向反馈机制 (Joint Adapter)

这是 CRAG 的灵魂所在。每一层 Transformer 都会通过一个对称的交叉注意力模块（Joint Adapter）进行沟通：

• 生成 -> 拼装：生成的完整形状特征告诉碎片：“你现在大概在椅子的左后腿位置，请往左旋 30 度。”
• 拼装 -> 生成：真实的碎片细节反馈给生成分支：“注意，这块碎片带有明显的纹理特征，你生成的整体形状必须包含这个结构。”

实验战绩：全场 SOTA

研究团队在语义零件数据集 (PartNeXt) 和随机碎裂数据集 (Breaking Bad) 上进行了严苛测试。

定量分析：大幅领先

在 PartNeXt 设置下，CRAG 的零件准确率（PA）达到了 65.89，而之前最强的 Assembler 仅为 44.18。即使关闭图像输入（CRAG w/o img），其性能依然压制了纯几何基线模型。

消歧义能力：视觉效果惊艳

如图 5 所示，当参考图像因为遮挡或视角问题而模糊不清时，TripoSG 往往会生成崩坏的结构。但 CRAG 引入了拼装零件的约束，利用真实的局部证据强行“校准”生成结果，输出了极其接近 Ground Truth 的完整模型。

深度洞察与局限性

CRAG 的成功在于它打破了“感知”与“生成”的藩篱。然而，主编认为其依然面临几个挑战：

• 薄壁件失效：对于过于单薄的碎片（如薄壳），VAE 的编码精度（基于 TSDF）由于尺寸限制会导致重构困难。
• 对称性陷阱：模型在评价指标（PA/CD）上表现优异，但在处理极致对称（如四个完全一样的桌腿互换位置）时，目前的损失函数尚无法区分这种“语义正确但空间错误”的情况。

总结

CRAG 是一篇极具学术品味的作品。它向我们展示了：与其把拼装当作一个硬性的几何对齐问题，不如把它看作是一场“局部观测”与“全局想象”的博弈。这对未来在非受控环境下的机器人自主维护、虚拟考古重构等领域，具有深远的启发意义。