WisPaper
WisPaper
Scholar Search
Scholar QA
Pricing
TrueCite
[ICML 2025] GeoPT:几何预训练如何“卷出”物理直觉?解锁神经仿真的 Scaling Laws
Summary
Problem
Method
Results
Takeaways

本文提出了 GeoPT,一个基于上升几何预训练(Lifted Geometric Pre-Training)的通用物理仿真预训练模型。该方法通过在海量无标签 3D 几何数据上引入合成动力学(Synthetic Dynamics),使模型能够捕捉几何与动力学的耦合关系,在空气动力学、流体力学及碰撞仿真等多个工业级 Benchmark 上达到 SOTA 性能。

TL;DR

在 AI 仿真领域,标注数据(即高精度数值解析解)的获取成本几乎是“天文数字”。清华、MIT 及 Kaiming He 等学者联合推出的 GeoPT 另辟蹊径:通过在无标签的静态 3D 几何上“人工合成”动力学轨迹,让模型在没看过真实物理标签的情况下,预先学会了流体如何绕过障碍物、应力如何传递。该方法在工业级任务中将训练数据需求降低了高达 60%,并支持模型规模的持续扩展。

1. 痛点:为什么“纯几何”预训练在物理任务中会失效?

传统的自监督学习(如 MAE、SDF 重建)通过遮掩恢复或几何特征预测来学习表示。然而,物理仿真(Physics Simulation)的空间是几何空间的“高维上升”

作者通过实验发现(见下图),如果只做几何预训练,模型学到的特征是各向同性的对称分布;而真实的物理场(如流场)是具有方向性和耦合性的。强行将几何预训练模型用于物理预测,甚至会导致比收敛随机初始化更差的效果——这就是所谓的“几何-物理差(Geometry-Physics Gap)”。

几何与物理表征的差异比较

2. 核心直觉:给几何“注入”灵魂——动态上升

GeoPT 的核心在于 Lifted Geometric Pre-Training

物理直觉的数学表达

物理量 不仅取决于几何 ,更取决于动力学条件 (如流速、攻角)。作者提出将输入空间从 扩展到 ,其中 是随机采样的合成速度场。

其背后的物理含义是:输运方程(Transport Equation)。通过跟踪粒子在几何约束下的运动轨迹,模型被迫学习几何边界如何改变物质流向。

GeoPT 系统架构

  1. 预训练阶段:在 ShapeNet 等百万级无标签几何上,随机播撒粒子速度,预测粒子在未来几个步长的几何特征演化轨迹。
  2. 微调阶段:将任务特定的物理条件(如飞机的 Mach 数、碰撞的角度)映射为对应的速度场“提示(Prompt)”,激活预训练的物理先验。

GeoPT 总体架构设计

3. 实验验证:工业级的战绩

GeoPT 在五个极具挑战性的工业 Benchmark 上进行了验证,包括 DrivAerML 汽车气动、NASA-CRM 飞机气动以及高难度的 Car-Crash 碰撞仿真

核心战果:

  • 数据效率:在船舶水动力(DTCHull)任务中,仅需 40% 的标注数据即可达到全量训练的精度。
  • 扩展性(Scaling):随着参数量从 3M 提升到 15M,GeoPT 的表现持续优化,而传统的 Transolver 在小样本下会出现明显的过拟合。

各物理任务的收敛曲线对比

4. 深度洞察:动力学 Prompt 的魔力

GeoPT 最引人入胜的一点在于它的通用物理接口。通过改变速度场输入 ,模型展现出了惊人的可解释性。

  • 在面对“侧向风”时,模型内部的注意力权重会自动产生偏角。
  • 在“高速流”下,模型的注意力变得更加集中,符合物理上的剧烈波动特性。

这种能力甚至让 GeoPT 能够跨领域迁移到光辐射(Radiosity)仿真中,尽管预训练数据中全是飞机汽车。

物理场预测效果与内部表示可视化

总结与展望

GeoPT 成功将“离线几何数据”转化为了“在线物理直觉”。它告诉我们,物理仿真 foundation model 的关键不在于堆砌更多的 PDE 求解数据,而在于如何通过巧妙的方法(如动力学上升)利用好已有的海量几何资产。

局限性:目前主要针对稳态问题。对于剧烈的非稳态湍流或多相流精细结构,可能需要更复杂的动力学参数化方案。


本文由资深学术技术主编重构。代码已开源:https://github.com/Physics-Scaling/GeoPT

Find Similar Papers

Try Our Examples

  • 查找最近发表的、试图通过生成合成数据或物理一致性约束来缓解神经网络仿真器数据稀缺问题的相关论文。
  • 哪篇论文最早在神经算子领域提出了类似输运方程(Transport Equation)的自监督学习策略,GeoPT 的“上升”操作与其有何理论关联?
  • 有哪些研究将基于 3D 点云或网格的预训练模型(如 Point-BERT 或 Hunyuan3D)成功转型为处理非稳态或多物理场耦合仿真任务的方案?
Contents
[ICML 2025] GeoPT:几何预训练如何“卷出”物理直觉?解锁神经仿真的 Scaling Laws
1. TL;DR
2. 1. 痛点:为什么“纯几何”预训练在物理任务中会失效?
3. 2. 核心直觉:给几何“注入”灵魂——动态上升
3.1. 物理直觉的数学表达
3.2. GeoPT 系统架构
4. 3. 实验验证:工业级的战绩
4.1. 核心战果:
5. 4. 深度洞察:动力学 Prompt 的魔力
6. 总结与展望