混合注意力如何让前馈式3D模型扩展到多视图

视图增多后全局注意力主导运行时间

VGGT、HunyuanWorld-Mirror 和 Pi3 等前馈式 3D 基础模型只需一次前向传播，就能从无位姿图像预测相机位姿和稠密场景几何，省去了逐场景优化。但它们仍需交替使用帧内注意力和全局注意力，让每张图像利用其他视图的观测，而全局注意力的计算量随输入视图数呈二次增长。作者测量发现，在 512 视图下，全局注意力占 VGGT 端到端运行时间的 88%。

有两种更省算力的算子可选。稀疏注意力保留 token 级的 softmax 交互，但只在选定区域内进行；线性注意力以线性成本聚合全局上下文。若统一套用其中任一种，就忽略了不同预训练阶段对近似的反应可能不同，而这正是论文要回答的问题。

敏感阶段同时也是注意力集中的阶段

作者用两项独立诊断逐一分析了三个预训练骨干网络中的每个全局注意力阶段：对线性转换的敏感度，以及注意力权重的集中程度。三个模型都呈现出反复出现的按深度分布规律。早期阶段把注意力分散到许多 token 上，对线性替换的容忍度出人意料地高。中后段对线性替换更敏感，其注意力高度集中在较少的 token 上。

这种对应关系是论文的核心观察：最需要忠实 softmax 交互的阶段，恰好也是稀疏选择能覆盖大部分相关注意力权重的阶段。作者把它表述为把表面上的权衡转化为一条分配原则，而非已被证明的因果机制。

线性注意力层与分块稀疏注意力层

Zebra3D 按单阶段线性转换误差对全局阶段排序，把指定比例的阶段分配给线性注意力，其余阶段使用分块稀疏注意力。在 xL/yS 简写中，x 是使用线性注意力的层比例，y 是其余层中注意力行的稀疏度；选择器保留的 key 分块比例为 1 减 y。论文报告的运行点包括 0.5L/0.6S、0.5L/0.8S、0.7L/0.6S 和 0.7L/0.8S。

在稀疏阶段，每张图像被划分为 8x8 像素块组成的 tile，每个完整 tile 含 64 个 token。被选中的 tile 保留完整的 softmax 交互，未被选中的 tile 则汇总为均值 key/value 地标，使未选中的上下文不会被直接丢弃。特殊 token 的 key 始终可见，特殊 token 的查询行保留稠密注意力，每个 patch 查询保留自身的 self key。转换过程保留所有兼容的预训练参数，包括输入编码器、QKV 与输出投影、归一化层、位置编码和预测头。

闭式拟合免去从头重训

对每个线性阶段，作者先在 13 个留出的多视图校准场景上运行冻结的稠密模型。教师 softmax 输出与转换后的线性输出在场景、token、头和视图维度上累加，再用 float64 的正则化最小二乘求解拟合一个中心化仿射校正。每个转换阶段只需一次教师前向传播和一次求解，不通过梯度下降更新继承的权重。

可选的转换后训练阶段会加入任务监督，以及输出蒸馏和关系特征蒸馏。完整目标 RelKD 把任务监督与输出损失、特征 L1 损失、token 余弦损失和跨视图关系损失结合起来。RealEstate10K 相机位姿上的消融显示了差别：在 VGGT 0.7L/0.8S 下，仅用真值监督得到 0.777 AUC-30，而 RelKD 达到 0.805。

79% 至 94% 稀疏度下精度接近稠密

在三个骨干网络上，Zebra3D 都在高注意力稀疏度下取得了较强的重建和相机位姿精度，免训练变体与各自的稠密模型保持接近。经过转换后训练，Zebra3D-VGGT 在 94% 平均注意力稀疏度下达到 80.5% RealEstate10K AUC@30，与在相同数据和训练计划上微调的稠密 VGGT 相差 1.1 个百分点以内。

论文的汇总表还把转换后的模型与其他高效方法在重建和位姿指标上做了对比。这些数字比较的是不同运行点，阅读时应连同各自的稀疏度设置一起看，因为更高的线性比例能换来速度，但在更难的数据上代价会增大。

加速比随输入视图数增长

端到端加速比随输入视图数增加而提高，配合打包的 Triton 内核，在 1,024 视图下最高达到 7.1 倍。在 0.7L/0.8S 设置下，论文报告三个骨干网络在 1,024 视图下分别达到 6.2 倍、5.5 倍和 7.1 倍端到端加速。这些内核在线性阶段融合了 Q/K 归一化、位置旋转和通道 softmax 特征映射，在稀疏阶段把 key/value 序列按 tile 主序打包。

在 1,000 帧的 ScanNet-50 上，0.7L/0.6S 配置以 3.54 倍加速取得最低的 Chamfer 距离 0.447，而 0.7L/0.8S 以 5.60 倍加速取得 0.460 的 Chamfer 距离。这些是质量与速度的不同运行点，而非单一排名。

宽基线场景对 0.7L 设置更苛刻

主要基准以视频式采集为主，相邻视图共享较窄的基线，注意力最可能集中在少数相邻帧上。附录测试了 Tanks and Temples、ETH3D 和 DTU，并在 8 到 64 的视图数上取平均。在那里，所有 0.5L 配置的法向一致性都保持在各自稠密骨干网络的 3% 以内，最大差距是 HYWM 0.5L/0.8S 在 Tanks and Temples 上的 2.9%。

0.7L 配置的容忍度更低。Pi3 退化最明显：0.7L/0.8S 在 Tanks and Temples 上损失 0.076 NC1，相对下降 10.4%，在 ETH3D 上损失 0.054，即 6.4%。作者把这一点与他们的层分配分析联系起来：Pi3 的敏感带出现得最晚，因此提高线性比例会最先侵入该区域。他们因此把 0.5L 视为可迁移到宽基线场景的运行点，把 0.7L 视为主要在视频式基准上验证过的速度优先设置。

按基线宽度选择线性比例

论文最有用的区分不是某个加速数字，而是两种运行区间之间的划分。如果目标工作负载接近密集采样的视频轨迹，0.7L 设置带来最大收益，在 1,024 视图下最高 7.1 倍，其精度主要由作者在这些基准上验证。如果视图稀疏或间隔较大，证据指向 0.5L，此时法向一致性在宽基线测试中保持在稠密骨干网络的 3% 以内。

转换本身在设计上成本很低：在 13 个校准场景上做一次闭式仿射拟合，不做梯度更新，并保留预训练参数。因此层分配而非重训才是主要决策变量。作者把输入自适应分配和更广泛的硬件支持列为未来工作，所以按骨干网络固定的层分配表仍是实际的起点。

本文引用的文献