GRAFT：让 3D 人体重建学会“物理自律”，50倍速超越迭代优化

TL;DR

在 3D 视觉领域，让重建的人体完美地“坐”在椅子上而非穿透过去，一直是个计算昂贵的挑战。GRAFT (Geometric Refinement And Fitting Transformer) 创新性地将繁重的几何优化过程转化为轻量级的 Transformer 迭代推理。它不仅能以 0.38s 的极速实现物理上一致的 3D 重建，还能作为一个通用增强插件，瞬间提升其他算法的交互真实感。

背景定位：前馈之速与优化之准的鸿沟

目前的 3D 人体-场景交互（HSI）重建主要分为两派：

1. 优化派 (Optimization-based)：如 PhySIC，通过最小化物理冲突能量函数来调整人体。效果极佳，但每张图处理需 20 秒，无法满足实时需求。
2. 前馈派 (Feed-forward)：如 Human3R、UniSH，直接从图像回归坐标。速度快，但由于缺乏对 3D 空间的显式感知，生成的模型经常“踏空”或“陷进地板”。

GRAFT 的坐标系定位： 它是首个将“几何反馈”闭环引入前馈网络的架构，标志着单目 HSI 重建迈入了“物理感知型前馈”的新阶段。

核心动机：将优化“摊销”为学习

作者的直觉（Insight）非常深刻：既然优化是一个不断根据梯度调整参数的过程，那为什么不训练一个神经网络直接预测这些“交互梯度（Interaction Gradients）”呢？

要实现这一点，模型必须能“看”到人体与场景的物理距离。GRAFT 引入了 Geometric Probes（几何探测器），每迭代一步，模型就像伸出无数根触角去探测周边的点云。

架构详解：HSI Tokenization 与探测器机制

GRAFT 的核心是一个递归 Transformer。它将人体交互状态编码为 24 个紧凑的 HSI Tokens（包括关节、手部和全身）。

1. 几何探测器 (Geometric Probes)

模型通过查询人体表面采样点到场景点云的最近邻距离 ($v_s$) 和表面法线 ($n^{\ast }$)，将物理反馈直接喂给 Transformer。这意味着模型知道自己哪里穿模了，哪里没踩实。

2. 三维-图像融合

通过 Geometry-Aware Cross-Attention，HSI Tokens 会在对应的 2D 图像位置采样特征。这种设计确保了 3D 几何调整不仅符合物理逻辑，也符合图像中的视觉线索。

图 1：GRAFT 的迭代细化流程，展示了从粗糙初始化到几何对齐的演进。

实验与结果：降维打击般的性能提升

在两个权威 HSI 数据集 RICH 和 PROX 上，GRAFT 展现了霸榜级的表现：

• 交互质量：接触 F1 分数相比此前最强前馈模型提升了 113%。
• 运行效率：仅需 0.38s，在保持精度的前提下，速度是优化类方法的 50 倍 以上。
• 通用先验：在“纯几何模式”下，GRAFT 可以直接作为后处理插件挂载到其他模型上。

表 1：定量对比显示 GRAFT 在接触指标（Contact Metrics）上远超同类前馈方法。

定性效果对比

从野外测试（in-the-wild）结果来看，当基线模型在复杂家具面上穿模时，GRAFT 能够通过多次迭代，精确地将肢体“贴合”在支撑面上，展现出极强的鲁棒性。

图 2：与 UniSH 和 Human3R 的视觉对比，注意脚部和身体与物体的接触细节。

深度洞察与总结

GRAFT 的真正价值在于它对“交互流形（Interaction Manifold）”的学习。 传统的深度学习重在“识别”，而 GRAFT 引入了“修正”的逻辑。

局限性： 尽管表现强悍，但 GRAFT 依然依赖于上游的场景重建质量（如深度估计和点云生成的准确度）。如果点云本身存在巨大误差，GRAFT 的“探测器”也会被误导。此外，目前其假设场景为刚性点云，尚无法处理坐在软沙发上产生的形变。

总结： GRAFT 成功的秘诀在于将显式的物理观察（Probes）与隐式的深度学习（Transformer）完美结合。对于追求高性能、高真实感的 3D 数字人与具身智能任务，GRAFT 提供了一个极具吸引力的范式：不要试图一步到位，要在递归微调中寻找物理真理。