[CVPR 2025] BuildAnyPoint：打破分布壁垒，实现通用 3D 建筑结构化抽象

TL;DR

在 3D 城市建模领域，如何从分布不一（如航空 LiDAR、SfM 或稀疏采样）的“脏”点云中，自动化地提炼出像人工建模一样精简、准确的结构化 Mesh？本文提出的 BuildAnyPoint 框架通过引入 Loca-DiT（松耦合级联扩散 Transformer），成功实现了这一过程的阶跃式提升。它不仅能补全残缺的地物，还能直接输出高质量的低多边形（Low-poly）建筑模型。

背景定位：从“规则驱动”到“生成驱动”

传统的 3D 建筑重建往往依赖于平面检测、几何优化或预定义的建筑语法（Architectural Grammar）。然而，真实场景的采样往往是残酷的：航空 LiDAR 扫描会有大量遮挡，SfM 重建则充斥着噪声。现有的 SOTA 方法（如 Point2Building）在处理这种异构分布时，由于缺乏极强的几何约束，生成的 Mesh 往往会出现“视觉混沌”或拓扑断裂。本文将该任务重新定义为一个条件概率生成问题，利用 3D 生成先验来解决这种高度病态的逆问题。

痛点深挖：为何之前的路走不通？

1. 分布敏感性：多数模型在干净的点云上表现良好，但在真实噪声下会迅速退化。
2. 灵活性与稳健性的权衡：基于语法的模型（如 ArcPro）虽然稳健，但只能生成垂直拉伸的简单体块，无法处理斜屋顶等复杂几何。
3. 模态鸿沟：点云是非结构化的连续信号，而 Mesh 是结构化的离散符号，直接从稀疏点云跳转到 Mesh 序列极其困难。

核心算法：Loca-DiT 的级联艺术

BuildAnyPoint 的核心在于其名为 Loca-DiT 的架构，它通过三个关键的潜空间转换（Latent Transitions）实现了从点到网格的平稳过渡：

1. 几何先验恢复（扩散阶段）

模型首先使用一个分层稀疏 VAE 结合潜扩散模型（Latent Diffusion）。

• 密集潜空间 (Gd)：处理噪声和缺失区域，通过“密化”操作感知空间占用。
• 稀疏潜空间 (Gs)：在精细尺度上细化几何细节，输出均匀、准确的中间点云 $P_{out}$。

2. 结构化解耦生成（Transformer 阶段）

生成的 $P_{out}$ 被转化为一系列 Token，$T_P$，作为 Prompt 输入到一个 Decoder-only 的 Transformer 中。该 Transformer 模仿人类建模师的逻辑，自回归地预测 Mesh 的顶点和面索引。

图 1：BuildAnyPoint 整体架构，展示了从点云编码到扩散补全，再到自回归生成 Mesh 的全流程。

实验与结果：全维度的超越

作者在荷兰海牙和鹿特丹的 50,000 个真实建筑实例上进行了测试，并模拟了极端的 SfM 和稀疏采样场景。

• 几何精度提升：相比于 City3D 和 Point2Building，BuildAnyPoint 在所有场景下的 CD 误差均为最低（见下表）。
• 鲁棒性卓越：在其他方法可能导致崩溃（Failure Rate 高）的极端场景下，BuildAnyPoint 保持了 0% 的失败率。
• 中间产物质量：即使仅作为点云补全工具，其输出的 Uniformity 得分也远超专用模型（如 PoinTr），为高质量 Mesh 生成奠定了基础。

图 2：三种不同分布下的可视化对比。可以看出 BuildAnyPoint 在斜屋顶和复杂结构上的还原度更高。

消融实验的关键发现

作者通过消融实验证明，移除扩散先验（w/o priors）会导致重建精度断崖式下跌（CD 从 0.034 变为 0.107）。这验证了**“好的 Mesh 生成始于好的几何补全”**这一直觉。

深度洞察与总结

BuildAnyPoint 的成功不仅仅是因为采用了 Diffusion 和 Transformer 这些流行组件，更在于其**“分而治之”**的策略：用扩散模型处理物理观测的不确定性（噪声、空洞），用 Transformer 处理几何结构的逻辑相关性（顶点、连结）。

局限性：目前模型对极端复杂的细微结构仍有一定的平滑效应，这受限于现有公开建筑数据集的几何多样性。

展望：随着高质量建筑数据集（如包含地理坐标增强的 embeddings）的增加，这种“级联生成”的模式将有望成为数字孪生城市（Digital Twin）自动化构建的基础设施。

本文由学术技术主编重构。原论文：BuildAnyPoint: 3D Building Structured Abstraction from Diverse Point Clouds.