2D 先验为何限制 3D 拖拽
现有 3D 拖拽方法走两条路线:一是通过 Score Distillation Sampling 优化网格或 3D 高斯等 3D 表示,二是先显式变形几何、再用 2D 扩散模型精修。两条路线都依赖 2D 扩散先验,论文认为这类先验缺乏真正的 3D 感知。它列出的后果包括代价高昂的迭代优化、多视角不一致(如 Janus 问题),以及不自然拉伸和拓扑伪影等几何破坏。
论文的前提是:一致的变形应当在物体本身所在的 3D 潜空间中计算,而不是从 2D 先验中蒸馏出来。这一重新定位决定了后续设计的必要性,因为潜空间编辑必须同时解决两个问题:每块几何移向何处,以及如何让生成模型接受这次移动而不丢失物体身份。
尊重占据状态的位移场
3DRAG 把基于弹性的变形模型扩展到 3D,得到位移场:对靠近某个控制点的源点,位移趋近该控制点的拖拽向量,并向变形边界平滑衰减。存在多个控制点时,每个源点按距离权重分配给最近的控制点。
把点投影到离散体素网格会产生碰撞,因为多个源点可能落到同一个目标体素。若只用朴素的 winner-takes-all 规则,空体素可能压过已占据体素,导致最终网格出现空洞或拓扑撕裂。Occupancy-Aware Winner-Takes-All 策略在权重中加入二值占据指示量,使已占据源点的得分高于 1、未占据源点至多为 1。已占据点因此严格占优,论文报告这样得到的网格拓扑一致性更好、伪影更少。
同一个位移场还把空间划分为四个区域,供后续生成过程使用:接收位移内容的目标区域、没有源映射的修补区域、保持不变的保留区域,以及负责边界融合的过渡区域。
先变形潜表示再重新生成
输入资产被投影到稀疏的 Structured Latent 空间,并沿精确 ODE 轨迹反演,同时缓存最终反演潜表示以及每一层、每一时间步的注意力 Query、Key、Value 令牌。随后按区域组装初始潜表示:目标坐标取变形后的源潜表示,保留区域和过渡区域保留原始潜表示,修补区域填入高斯噪声,让模型生成而非插值。在 SLAT 阶段,一个目标点只有在生成体素中存在、且能映射回已占据源体素时才被保留,否则改划入修补区域。
去噪过程中执行两项干预。对保留区域内的每个空间坐标,把 Query、Key、Value 令牌替换为反演时缓存的对应令牌,从而阻止全局自注意力漂移到未编辑区域。对目标区域,Logits-Level Token Fusion 直接干预 softmax 之前的注意力 logits。论文解释了这样做的原因:TRELLIS 等框架在注意力之前把绝对 3D 位置编码注入潜令牌,坐标与特征因此纠缠在一起,普通注意力下目标令牌对缓存源键的注意力几乎为零,源特征会丢失。
对比实验如何设置
该方法基于 TRELLIS 和 Voxhammer 构建,在单块 NVIDIA H20 GPU 上运行,原生工作在 64 立方的稀疏 SLAT 空间。反演使用 RF-Solver 沿精确轨迹进行,反演与去噪各设 25 步采样,两阶段的文本无分类器引导(CFG)尺度均为 5.0。
基线覆盖基于高斯和基于网格的拖拽编辑方法。3DGS-Drag 和 Drag Your Gaussian 使用官方实现与默认超参数运行,用户定义掩码内的高斯被视为可编辑。ARAP 和 APAP 作用于网格,作者因此把用户指定的点映射到最近的网格顶点作为控制点,并在不可编辑区域选取离控制点最远的顶点作为锚点。评估使用新构建的数据集,包含多样的 3D 资产和复杂的多点拖拽指令。
3DRAG 在对比表中的领先位置
在论文报告的表格中,3DRAG 的 chamfer distance 为 0.008,PSNR 为 31.50,SSIM 为 0.974,LPIPS 为 0.025。次优的 chamfer distance 是 3DGS-Drag 的 0.023,次优的 PSNR 是 Drag Your Gaussian 的 29.37。chamfer distance 和 LPIPS 越低表示几何越接近、感知越相似,PSNR 和 SSIM 越高表示重建越好;这些是不同指标,不能当作一个分数来读。
在分布层面的指标上差距更大。3DRAG 报告 FID 为 21.99、FVD 为 42.32,而这两列最强的基线 APAP 分别为 63.31 和 181.29。它的 GPTEval3D 得分为 1316.46,是表中最高。单次编辑耗时 227.74 秒,远低于 3DGS-Drag 的 752.70 秒和 Drag Your Gaussian 的 1820.93 秒;不过 ARAP 只需 3.32 秒,却在每一项质量指标上都差得多。
论文还报告 3DRAG 的 DAI 为 0.187、MD 为 15.89,均为表中最低,作者分别将其与拖拽精度和未编辑区域保持联系起来。定性对比得出相同结论,展示了在标注可编辑掩码、控制点、目标位置和拖拽方向的输入上,与四个基线的结果对比。
64 立方网格无法分辨的细节
两项限制决定了这些结果能推广到多远。第一,编辑过程中可能出现轻微色偏,作者将其归因于 TRELLIS 的 VAE 无法保证重建时的完美颜色一致性;他们测得相对原始网格的平均 Delta E76 为 8.14,平均 CIEDE2000 为 5.59。第二,拖拽精度受限于稀疏活跃体素网格的分辨率,目前为 64 立方,因此对极薄结构或高度精细细节施加细粒度指令时,变形可能不理想。
这两项限制都来自底层生成模型,而非拖拽公式本身,作者预期随着原生 3D 基础模型在空间分辨率和重建保真度上提升,该方法会自然受益。在此之前,报告的数字描述的是该分辨率下、论文自有数据集上的表现,而非任意几何细节下的表现。
从 2D 先验转向原生潜空间
论文的核心主张是一种优先级而非单一分数:对于基于点的 3D 拖拽编辑,变形应在模型原生的 3D 潜空间中计算,而不是从 2D 先验中蒸馏。支撑这一优先级的证据是:在不使用 SDS 优化、不做迭代点跟踪、单次编辑 227.74 秒的条件下,同时取得表中最低的 chamfer distance 和 LPIPS,以及最低的 FID 和 FVD。
实际判断是:当编辑需要保持视角一致、保住未触碰区域,且逐次优化时间重要时,3DRAG 是更强的选择。需要留意的取舍在尺度:在 64 立方体素分辨率下,薄结构或高度精细的几何最可能出现精度不足,而颜色保真度受限于底层 VAE 的重建误差。
本文引用的文献
3DRAG: 3D-Native Object Drag Editing with Generative Models
3DRAG 在生成模型显式的 3D 潜空间内原生完成拖拽编辑;在论文表格中,它在拖拽精度、几何保真度和未编辑区域保持上优于 3DGS-Drag、Drag Your Gaussian、ARAP 和 APAP,单次编辑耗时 227.74 秒。
