Xaurora 把确定性先验变成随机集合模型
大多数大气基础模型是确定性的:给定相同的初始条件,它们返回相同的预报。这限制了它们在不确定性量化、极端天气风险评估和长期预报中的用途,而这些任务都需要大集合。从头训练一个新的随机基础模型还会带来巨大、往往难以承受的计算开销。
论文同时解决这两个问题。它取用一个预训练的确定性先验模型,即 Aurora 基础模型,把它改造成生成式集合预报模型,新模型名为 Xaurora。作者称这一改造在参数和样本上都很高效,并报告确定性基础模型可以被高效地扩展为更强的随机模型。
这一改造不是从零训练一个新模型。Xaurora 从较小的 Aurora 版本 Aurora-S 微调而来,该版本有 1.13 亿参数。论文报告 Xaurora 在全球集合指标上接近当前最优水平,并与较大的 Aurora 版本 Aurora-L(13 亿参数)相当。
去噪随机插值用 SDE 展开替代漂移匹配
生成方法是去噪随机插值(DSI)。随机插值学习两个端点分布之间的连续时间映射。与流匹配或 DDPM 不同,它不对初始分布作高斯假设。把端点设为两个相邻的大气状态,插值就变成一座随机桥,从而实现自回归预报。
插值沿伪时间 τ∈[0,1] 的路径连接状态 xt 与状态 xt+Δt,把两个端点与一个维纳过程项组合起来。训练时这条路径的漂移依赖目标状态 xt+Δt,因此推断时无法获得。神经网络 Bθ 近似该漂移,训练完成后,从 Xt0 = xt 积分 SDE 到终端状态 Xt1 即得到预报样本。按此自回归重复,就得到物理时间上的展开。
论文区分了插值 Itτ 与 SDE 状态 Xtτ:前者由真实端点构建,只能在训练时使用;后者由模型生成,并在推断时反馈给网络。展开训练算法从不使用插值,只基于生成的 SDE 状态训练。用于 SDE 展开的回放缓冲区使 SDE 轨迹的概率训练成为可能。
该设置只建模大气不确定性,分辨率为 0.25°、步长 6 小时
Xaurora 沿用 Aurora 的配置。它使用 0.25° 网格上的 69 个变量,纬度点 721 个、经度点 1440 个。时间步长为 6 小时,历史 ht 是最近两个状态 xt−Δt 与 xt。这里的概率预报指从 p(xt+Δt | ht) 采样并自回归应用,因此每个集合成员都以自己生成的状态为条件。
范围在一个方面被刻意收窄:论文严格聚焦于建模大气不确定性,并有意忽略其他不确定性来源,例如生成初始条件的数据同化过程。因此集合离散度反映的是该模型所表示的大气不确定性,而不是业务预报的全部不确定性。
训练数据来自 ERA5,经由 WeatherBench2 项目降采样到 6 小时分辨率,并缩减了变量和气压层集合。用于类业务评估的初始条件使用 HRES-T0,同样采用其 WeatherBench2 版本。
集合平均多数时效优于 Aurora 基线
全球中期预报技巧在 2022 年上评估。报告的指标是 RMSE(集合模型使用无偏 RMSE)、公平 CRPS(仅集合)和 SSR(仅集合)。各行对应不同变量:Q850 作为中尺度变率的代理,Z500 对应大尺度环流和天气尺度变率。
Xaurora 的集合平均无偏 RMSE 在多数预报时效上优于 Aurora-S 和 Aurora-L,并与业务模型相当。对比集合包括 GenCast-O、Aurora-O、Aurora-O、Aurora-L、Aurora-S、IFS ENS 和 Xaurora。
校准与误差分开报告。所有模型在 15 天时都校准良好,SSR 约为 1。Xaurora 的集合总体欠离散,SSR 低于 1。Z500 在约 3 天之前过离散,SSR 高于 1。这些是不同的诊断量:RMSE 衡量误差,公平 CRPS 衡量集合的概率技巧,SSR 衡量离散度与无偏误差之比。
微调使用 50 万样本、16 块 GPU 训练 42 小时
效率主张建立在具体的训练和推断数字上。Xaurora 在 50 万样本上训练 42 小时,使用 16 块 A100 80GB GPU。作为对比,Aurora-L 使用 380 万训练样本、在 32 块 GPU 上训练 2 周,Aurora-S 使用 380 万样本、训练时间未知。
推断成本按每个预报步报告。Xaurora 生成 6 小时预报需 13.1 秒,24 小时预报需 52.3 秒,使用 10 个积分步和 Heun 求解器,即每个 6 小时步 20 次函数评估。Aurora-L 生成 6 小时需 2.0 秒、24 小时需 8.2 秒,每步 1 次函数评估;Aurora-S 分别为 0.6 秒和 2.4 秒。
论文还报告了一个以 Aurora-L 初始化的未训练 Xaurora 模型,6 小时预报需 54.6 秒,24 小时需 218.2 秒。核心结果是 13 分钟生成有技巧的 15 天预报。相对 Aurora 的参数增量很小:Aurora-S 增加 721,920 个参数,增幅 0.64%;Aurora-L 增加 3,475,456 个,增幅 0.28%。其中大部分来自 Swin Transformer 中秩为 8 的 LoRA 层,而 Swin Transformer 本身完全冻结。
持续存在的噪声底使中尺度变量欠离散
论文自述的主要限制是持续存在的噪声底。分析显示,集合离散度的功率谱密度在某个波数之后变得平坦,对 Q850 和 U500 等中尺度变量尤其低。这条平坦的尾部就是噪声底。中尺度变量在所有波数上都欠离散,而天气尺度变量在较小尺度上过离散,这些尺度在积分 SSR 时占主导。
作者通过评估不同的 Xaurora 检查点来检验这是否是训练不足的产物。噪声底在整个训练过程中基本保持不变,Q850 略有上升。他们得出结论:噪声底是去噪器的内在属性,而不是学到或遗忘的特征,并指出它是否来自 Aurora 先验本身,当前分析无法确定。
从零训练的去噪器严重训练不足,但也产生噪声底,噪声水平略低。使用较大的 Aurora 版本作为先验得到非常相似的结果。论文指出噪声模型是预报谱特性的主要影响因素。
仅推断阶段的噪声干预只能校准部分变量
论文进行了四项仅推断阶段的实验,操纵 SDE 扩散项中使用的随机场,不重新训练,使用同一个 Xaurora 检查点,在 2022 年的 8 个初始条件上生成 10 成员集合,并在 12 小时预报时效上评估。
用标量 λ 缩放噪声方差显示,方差越高通常离散度越高、误差越低或不变。2T 和 Z500 等过离散变量在 λ = 0.5 时校准更好、误差更小,而 Q850 和 U500 等欠离散变量在 λ = 2 时表现更好。但单一 λ 无法修正所有变量,而且去噪器是在单位方差随机场上训练的,方差改变过大可能带来意外影响。
作者补充了更强的限定:方差缩放带来的离散度变化不太可能有实际意义,因为它只改变像素强度,而不是产生动力学上不同的成员,而后者才是集合预报应当提供的。通过采样具有幂律功率谱密度的随机场来改变噪声颜色,会对误差和离散度谱产生一致影响,但最优指数 ν 同样依赖变量。论文得出结论:仅推断阶段的干预只能部分校准预报。
实际收益是廉价集合,而非已解决的校准问题
论文的更广泛影响论证关乎可及性:微调 Xaurora 并生成预报的计算成本相对较低,使计算资源有限的机构(如学术界或国家气象部门)也能获得有技巧的概率天气预报。该方法还被描述为可扩展到更大的模型或输出空间,并有望迁移到天气预报之外的问题。
对于判断这是否会改变自身工作流程的读者,相关的划分依据是变量和尺度,而不是头条技巧。如果用例依赖大尺度环流和天气尺度变率,Xaurora 的集合平均无偏 RMSE 在多数预报时效上优于 Aurora-S 和 Aurora-L,并与业务模型相当,且 Z500 只在约 3 天之前过离散。如果用例依赖中尺度变率,持续存在的噪声底以及 Q850 和 U500 在所有波数上的欠离散就是硬约束,仅靠推断阶段的噪声调参无法完全消除。
论文自身的前瞻性优先方向也遵循同样的划分:构建更适合任务谱特性的随机场,或者把扩散项与去噪器一起学习。第二种选择意味着在优化模型参数的同时优化 SDE,这是一项不简单的任务,而论文的概率 SDE 展开训练算法被认为特别适合它。用于采样效率的蒸馏和物理约束建模被列为其他方向。
本文引用的文献
Xaurora: Generative Weather Forecasting with Denoising Stochastic Interpolants from a Foundation Model Prior
用去噪随机插值和用于 SDE 展开的回放缓冲区微调确定性 Aurora-S 基础模型,得到随机集合模型 Xaurora,它接近全球集合指标的当前最优水平,与 Aurora-L 相当,能在 13 分钟内生成有技巧的 15 天预报,同时保留持续存在的谱噪声底,使中尺度变量欠离散。
