Uni MS-PS：突破分辨率极限，实现通用环境下的高精度 3D 重建

TL;DR

光度立体（Photometric Stereo, PS）长久以来受限于严格的实验环境——全黑实验室、垂直平行光、已知光源参数。Uni MS-PS 彻底打破了这一桎梏，它通过一种多尺度 Transformer 架构，在完全未知的环境光和光照条件下，从任意分辨率的图像中恢复精细的 3D 法向量。它不仅在 SOTA 指标上大幅领先，更具备处理 4800 万像素（6000x8000）图像的工业级实力。

1. 痛点深挖：从实验室走向“野外”的障碍

光度立体技术通过同一视角下不同光照方向的图像来推算物体表面的法向量。虽然深度学习已提升了该领域的鲁棒性，但仍面临三大核心挑战：

1. 光标定依赖：大多数高性能模型要求已知光的方向和强度，但在现实场景中，标定极其繁琐。
2. 分辨率瓶颈：高分辨率图像（如文物扫描）往往因显存限制必须缩小尺寸，导致微小几何裂纹、纹理丢失。
3. 泛化性局限：现有训练集（如 PS-Wild）的几何形状和材质多样性极其有限，导致模型在面对金属、半透明或强高光物体时表现拉跨。

2. 核心机制：多尺度 Transformer 与多样化数据

2.1 递归精炼的多尺度流程

作者并未直接在原始分辨率上进行暴力的全局计算。Uni MS-PS 采用了一种递进式策略：

• 初始化阶段：在 32x32 的极低分辨率下估计出大致的几何轮廓。
• 精炼阶段（Refinement）：利用共享权重的网络，将上一尺度的法向图作为输入，结合当前尺度的降采样图像，通过递归的方式将预测分辨率翻倍，直到回归到原始尺寸。这种方式不仅捕捉了全局光影上下文，也保留了局部的几何细节。

图 1：Uni MS-PS 的总体框架。第一尺度独立初始化，后续尺度共享参数进行递归细化。

2.2 Transformer 驱动的特征提取

不同于前作 MS-PS 采用的 CNN，Uni MS-PS 引入了：

• Pyramid Vision Transformer (PVT)：生成多尺度的空间特征。
• Self-Attention Blocks (SAB)：在“光轴”（Light Axis）上操作，即在同一个像素位置跨不同的输入图像进行注意力计算，从而在无需显式标定的情况下学习光照权重。

2.3 工业级训练集

为了解决泛化问题，作者构建了一个庞大的合成数据库：

• 几何多样性：14,000 个精修模型 + 随机生成的平滑几何体。
• 材质多样性：200,000 种真实与合成材质。
• 环境模拟：1,100 张 360° HDR 环境贴图，模拟从室内到户外的真实复杂照明。

3. 实验结果：全方位的 SOTA 压制

3.1 跨数据集性能评估

在多个公认的难题数据集上，Uni MS-PS 展示了统治力。特别是在 DiLiGenT102（包含大量各向异性反射和半透明物体）上，MAE 从 14.96° 显著降低至 13.19°。

表 5：在 DiLiGenT 数据集上的量化对比。Uni MS-PS (UC/Uni) 在无标定条件下甚至接近或超过了某些需标定的方法。

3.2 超高分辨率的处理能力

针对工业级应用，模型引入了基于 Patch 的启发式推理：将图像切分为带有 Overlap 的小块进行处理。这使得在处理 6000x8000 像素的图像时，依然能保持法向图的连续性与细节，如图 4 所示，随着尺度的增加，物体表面的细小划痕逐渐清晰。

图 4：随尺度增加显现的几何细节 recovery。

4. 深度洞察与总结

Uni MS-PS 的成功打破了一个固有观念——即“深度学习光度立体法必须牺牲分辨率来换取全局一致性”。 核心贡献在于：

1. 权重的多尺度共享：减少了模型参数，同时强制模型学习通用的上采样精炼逻辑。
2. Transformer 的引入：SAB 机制本质上是在学习如何“软标定”每一张输入图像的权重，这使得模型在处理非平行光和环境光干扰时表现得异常稳健。

局限性分析： 尽管 Uni MS-PS 已经非常强大，但在处理**高度半透明（如亚克力球）**物体时依然面临物理限制。在这种情况下，光线在物体内部的复杂反射导致模型难以确定光源方位。未来通过引入类似亚克力专用数据集进行微调，可能有望进一步攻克这一 PS 领域的最后壁垒。

总之，Uni MS-PS 为光度立体技术的商业落地（如移动设备快速建模、复杂工业件质检）铺平了道路。