稠密跨视图注意力并非总是可靠证据
前馈式3D基础模型在一次前向传播中从多张图像估计相机参数和稠密场景几何，取代了传统Structure-from-Motion流程中迭代的、针对具体场景的优化。其编码器通过全对全的全局注意力聚合多视图信息。论文认为这一设计有两项代价：计算量随总帧数呈二次增长，使长序列处理越来越昂贵；不受约束的跨视图交互还可能传播不可靠证据。
论文指出的不可靠证据是具体的。视觉相似但几何上不同的结构（称为doppelganger）会在视图之间引发错误关联，被遮挡的视图也可能贡献误导性信息。作者将其类比为COLMAP式流程中的标定视图图：边表示经过几何验证的图像对，不可靠的图像对可在光束法平差前被剔除。由此引出他们的问题：当帧缺失时，3D基础模型能否学到更鲁棒的表示？
MGE屏蔽的是帧间连接而非图像内容
MGE是一个面向使用跨视图注意力的前馈式3D架构的训练框架。它不屏蔽图像内容，而是在全局注意力中随机移除帧间连接，限制几何编码器可用的跨视图信息，模拟稀疏的标定视图图。底层场景几何并未改变：网络仍必须从剩余的跨视图交互中恢复一致的3D结构。
屏蔽在token层面实现。给定查询、键和值矩阵，掩码全局注意力加入由帧级连接矩阵导出的token级掩码：帧对相连处掩码为0，不相连处为负无穷。屏蔽只作用于全局注意力，帧内注意力保持不变，因此每张图像仍能完整建模其帧内空间结构，而跨帧信息交换受到限制。由于每次迭代移除的连接不同，编码器无法依赖特定视图对，每个帧表示必须保留更多几何上有用的上下文。论文称MGE与模型无关，主实验以pi-3为主要实例，并在附录中报告了在VGGT上的额外实验。
教师蒸馏防止掩码学生模型性能退化
直接移除或稀疏化全局交互可能导致性能大幅下降，论文将其归因于预训练表示高度依赖稠密的跨视图连接。MGE用自蒸馏设计应对：冻结的预训练教师模型使用稠密全局注意力，学生模型使用掩码全局注意力，并以教师预测而非稀疏真值标注作为监督。
训练目标结合了几何蒸馏与特征蒸馏。几何损失包含尺度不变的点图损失、表面法线损失、置信度损失和相对相机位姿损失；由于点图只在场景级尺度上确定，学生预测用单一尺度因子对齐到教师伪目标。特征蒸馏在预测头之前对最后一层的寄存器token和图像token加入余弦距离损失。作者指出正是这种中间监督避免了性能退化，并通过消融实验和附录分析验证了这一设计选择。
鲁棒性提升出现在遮挡与相似视图下
论文报告MGE在遮挡和doppelganger视图下性能显著更强，同时在标准基准上保持高水平表现。这是两种不同的评测设置，论文也分别对待：遮挡涉及某个视图缺失或不可靠的视觉证据，而doppelganger视图涉及视觉相似但几何上相距较远、会引发错误跨视图关联的结构。
这一结论是比较性的。作者称MGE在这些困难设置下比此前的最优方法显著更鲁棒、更准确，同时在常规评测中保持顶尖表现。他们给出的机制是：在不同连接模式下训练，抑制了对特定视图对的过度依赖，因此当个别视图关系缺失或不可靠时表示仍保持稳定。这是论文自己对性能提升原因的解释，而非单独测量的因果分解。
更丰富的帧表示让token合并更有效
论文通过锚点引导自适应（AGA）token合并，将鲁棒表示学习与高效长序列推理联系起来。标准token合并通过在全局注意力之前合并相似或冗余的token来降低推理成本，但作者认为token级相似并不必然意味着几何冗余：建筑立面上的窗户等重复结构可能产生相似特征并被合并为一个token，尽管它们对应不同的3D位置，从而抹去空间上不同的几何证据。
AGA改为在帧级别压缩。给定N个输入帧，它均匀采样一个子集作为锚点帧，将其保持在完整token分辨率，并分布在整个输入序列中以提供粗略但完整的覆盖。每个非锚点帧被均值池化为帧描述子，其与锚点帧的最大余弦相似度成为冗余分数。高分帧被更激进地压缩；低分帧提供互补内容，保留更多token。锚点帧的合并比率为零，保持不压缩。被合并的非锚点输出利用记录的合并分配关系恢复到原始token布局，并在不做架构修改的情况下送入后续层和预测头。
AGA在速度与质量上的取舍优于均匀削减
与其他高效推理方法相比，论文报告AGA在实现推理加速的同时持续保持更高的重建质量，在视图有限的设置下尤为明显。论文称这一优势在相邻视图相距较远时尤其突出，此时均匀的token削减可能丢弃几何信息并导致严重的重建退化。
这一比较是在可比计算成本下，AGA与现有token合并方法之间的比较，论文将AGA的优势归因于MGE学到的更丰富、更独立的单帧表示。作者还报告AGA提升了长序列效率，在低纹理和重复场景中尤其明显。合并比率经过校准，使非锚点帧被合并的token总数在最大比率约束下匹配目标预算，这正是该比较属于同等成本比较、而非无代价质量提升的原因。
这些结论的适用范围与边界
本文的证据是实验性和比较性的，并不保证可迁移。MGE被描述为适用于带跨视图注意力的前馈式3D架构的模型无关框架，但主论文的实例是pi-3，VGGT实验放在附录；因此正文报告的鲁棒性和效率数字属于该主要实例及其评测设置。
遮挡和doppelganger的提升是在论文自己的基准上相对此前最优方法测得的，AGA的加速是在可比计算成本下相对其他高效推理方法测得的。论文并未声称屏蔽总是有益，并明确指出直接移除或稀疏化全局交互可能导致性能大幅下降，这正是教师蒸馏监督成为方法组成部分而非可选附加项的原因。报告的性能提升还取决于输入序列的冗余结构：AGA的帧级压缩假设锚点帧提供粗略但完整的覆盖，其优势被描述为在相邻视图相距较远时最为明显。
关键在于正则化连接而非增加视图
本文最具决策价值的结果是：在训练中正则化跨视图连接，而非增加更多视图或更多注意力，才是在保持标准基准表现的同时获得对遮挡和doppelganger视图鲁棒性的原因。论文的框架使这成为一种有意的取舍：训练时接受不完整的跨视图上下文，用教师蒸馏补偿，然后在推理时利用由此得到的单帧独立性。
对比较不同方法的读者而言，论文自身的划分比任何单一数字更重要。如果问题在于视图关系不可靠或存在歧义，MGE针对的是学习到的交互本身，而GLUEMAP、VGGT-Long和Diversity-aware VGGT等方法修改的是推理时哪些视图交互或预测如何组合。如果问题在于长序列成本，AGA的帧级、锚点引导压缩是论文给出的答案，其相对均匀token削减的优势在相邻视图相距较远以及低纹理或重复场景中最大。论文的贡献在于两者的结合：在部分连接下学到的鲁棒性，随后在推理时用作压缩。
本文引用的文献
Less Context, Better Geometry: Masked Geometric Encoder for Robust 3D Foundation Models
MGE在训练时随机丢弃全局注意力中的帧间连接，并从冻结的全上下文教师模型蒸馏，从而在遮挡和doppelganger视图下性能显著更强，同时在标准基准上保持高水平表现；由此得到的更丰富单帧表示还使锚点引导自适应token合并能够实现推理加速，并比其他高效推理方法保持更高的重建质量，在视图有限的设置下尤为明显。