什么让重建可控？基于人体先验的形变模型
让4D重建变得可控的最直接方式，是内置一个由人类先验（如3D人脸或身体模型）引导的形变模型。Rig3DGS正是这样做的：它学习将3D高斯从固定的规范空间形变，以匹配目标面部表情和头部姿态，并以3D人脸可变形模型作为引导。这种设计让你能够独立控制面部表情和头部姿态，并生成整个场景的照片级逼真渲染。关键在于，形变并非自由形式，而是锚定在已知结构上，这使得输出可预测且可调节。
同样地，DressRecon将通用人体先验与视频特有的“骨骼包”形变相结合，并通过测试时优化进行学习。这使其能够处理极度宽松的衣物和物体交互，同时仍保持可控的人体模型。将身体和衣物的形变分离到不同的运动层，正是实现控制的关键：你可以调整身体姿态而不影响衣物，反之亦然。这种分层设计在可控性方面是一个强有力的选择。
你能多快迭代？速度本身就是一种控制特性。
可控性不仅关乎你能调整什么，还关乎你能多快看到调整的结果。4D-Fly正是通过大幅加快重建过程来解决这一问题的——它能在约6分钟内从数百帧的单目视频中重建出4D场景，比以往的优化方法快了20倍以上。这一速度的实现，得益于将数据先验直接应用于显式高斯图元，并采用基于锚点的传播策略。对用户而言，这意味着你可以调整参数并几乎实时看到效果，让整个过程感觉更加可控。
相比之下，许多现有方法需要数小时的优化，这使得交互式控制变得不切实际。其代价在于，4D-Fly的速度源于一种流式范式，即随时间向前传播高斯体，这可能无法提供与完整优化同等的精细控制水平。但对于速度至关重要的应用场景而言，这一设计选择堪称颠覆性的突破。
有哪些权衡取舍？最佳情况与典型情况下的证据对比。
证据显示，最佳情况下的可能性与普遍情况之间存在明显差距。例如，Rig3DGS能够从随意拍摄的单目视频中生成高质量、可控的人像，但仅限于面部表情和头部姿态，无法覆盖全身动作。DressRecon可以处理宽松衣物和物体交互，但需要测试时优化，速度可能较慢。4D-Fly速度很快，但其控制精度可能不及那些优化时间更长的方法。
这些论文还强调了单目视频带来的挑战：其本质上约束不足。4D-Fly指出，单目视频存在多视角信息有限的缺陷，这使得重建问题变得不适定。为缓解这一问题，他们采用了数据驱动的先验，但这又增加了复杂性。关键在于，可控性往往以速度或泛化能力为代价，而最佳的设计选择取决于你的具体需求——是优先考虑精细控制、速度，还是处理复杂衣物和交互的能力。
关于这些来源
本回答基于5项同行评审研究——发表于2023年至2025年间，其中3项为2024年或之后发表，合计被引用180次——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的54篇文献。
本文引用的文献
Rig3DGS：从随意拍摄的单目视频创建可控肖像
Rig3DGS利用三维人脸可变形模型引导三维高斯的形变，从而能够从单目视频中控制面部表情和头部姿态，在性能上超越先前方法的同时，速度还快了几个数量级。
DressRecon：基于单目视频的自由形式4D人体重建
DressRecon将通用人体先验与视频特有的“骨骼袋”变形相结合，分离身体与衣物的运动层，从而从单目视频中重建宽松衣物及物体交互，实现了比现有方法更高保真度的重建效果。
4D-Fly：从单目视频快速进行4D重建
4D-Fly通过将数据先验直接应用于显式高斯基元，并采用基于锚点的传播策略，能够在大约6分钟内从数百帧的单目视频中重建4D场景，速度比以往的优化方法快20倍以上。
人类4D：利用Transformer重建与追踪人类
4DHumans采用基于Transformer的网络（HMR 2.0）进行人体网格恢复和3D跟踪，在从单目视频中跟踪人物方面取得了最先进的成果，包括处理多人场景和遮挡情况。
无偏4D：基于神经变形模型的单目4D重建
Ub4D引入了一种基于坐标的隐式神经表示，结合可微体积渲染和动态场景流损失，能够从单目RGB视频中重建大形变并完成遮挡区域的形状补全，从而提升表面重建的准确性和鲁棒性。