确定性天气基础模型能否改造成生成式集合预报模型?

Xaurora 把确定性 Aurora 模型改造成随机集合预报模型,13 分钟生成 15 天预报。

直接答案

可以,但有一个前提。论文把确定性的天气基础模型 Aurora 改造成生成式集合预报模型,方法是使用一种名为去噪随机插值(Denoising Stochastic Interpolants)的新方法,配合用于 SDE 展开的回放缓冲区进行微调。由此得到的模型 Xaurora 从较小的 Aurora 版本微调而来,却接近全球集合指标的当前最优水平,与较大的 Aurora 版本相当,并能在 13 分钟内生成有技巧的 15 天预报。主要前提是存在持续存在的谱噪声底,使集合对中尺度变量表现为欠离散。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

Xaurora 把确定性先验变成随机集合模型

大多数大气基础模型是确定性的:给定相同的初始条件,它们返回相同的预报。这限制了它们在不确定性量化、极端天气风险评估和长期预报中的用途,而这些任务都需要大集合。从头训练一个新的随机基础模型还会带来巨大、往往难以承受的计算开销。

论文同时解决这两个问题。它取用一个预训练的确定性先验模型,即 Aurora 基础模型,把它改造成生成式集合预报模型,新模型名为 Xaurora。作者称这一改造在参数和样本上都很高效,并报告确定性基础模型可以被高效地扩展为更强的随机模型。

这一改造不是从零训练一个新模型。Xaurora 从较小的 Aurora 版本 Aurora-S 微调而来,该版本有 1.13 亿参数。论文报告 Xaurora 在全球集合指标上接近当前最优水平,并与较大的 Aurora 版本 Aurora-L(13 亿参数)相当。

去噪随机插值用 SDE 展开替代漂移匹配

生成方法是去噪随机插值(DSI)。随机插值学习两个端点分布之间的连续时间映射。与流匹配或 DDPM 不同,它不对初始分布作高斯假设。把端点设为两个相邻的大气状态,插值就变成一座随机桥,从而实现自回归预报。

插值沿伪时间 τ∈[0,1] 的路径连接状态 xt 与状态 xt+Δt,把两个端点与一个维纳过程项组合起来。训练时这条路径的漂移依赖目标状态 xt+Δt,因此推断时无法获得。神经网络 Bθ 近似该漂移,训练完成后,从 Xt0 = xt 积分 SDE 到终端状态 Xt1 即得到预报样本。按此自回归重复,就得到物理时间上的展开。

论文区分了插值 Itτ 与 SDE 状态 Xtτ:前者由真实端点构建,只能在训练时使用;后者由模型生成,并在推断时反馈给网络。展开训练算法从不使用插值,只基于生成的 SDE 状态训练。用于 SDE 展开的回放缓冲区使 SDE 轨迹的概率训练成为可能。

该设置只建模大气不确定性,分辨率为 0.25°、步长 6 小时

Xaurora 沿用 Aurora 的配置。它使用 0.25° 网格上的 69 个变量,纬度点 721 个、经度点 1440 个。时间步长为 6 小时,历史 ht 是最近两个状态 xt−Δt 与 xt。这里的概率预报指从 p(xt+Δt | ht) 采样并自回归应用,因此每个集合成员都以自己生成的状态为条件。

范围在一个方面被刻意收窄:论文严格聚焦于建模大气不确定性,并有意忽略其他不确定性来源,例如生成初始条件的数据同化过程。因此集合离散度反映的是该模型所表示的大气不确定性,而不是业务预报的全部不确定性。

训练数据来自 ERA5,经由 WeatherBench2 项目降采样到 6 小时分辨率,并缩减了变量和气压层集合。用于类业务评估的初始条件使用 HRES-T0,同样采用其 WeatherBench2 版本。

集合平均多数时效优于 Aurora 基线

全球中期预报技巧在 2022 年上评估。报告的指标是 RMSE(集合模型使用无偏 RMSE)、公平 CRPS(仅集合)和 SSR(仅集合)。各行对应不同变量:Q850 作为中尺度变率的代理,Z500 对应大尺度环流和天气尺度变率。

Xaurora 的集合平均无偏 RMSE 在多数预报时效上优于 Aurora-S 和 Aurora-L,并与业务模型相当。对比集合包括 GenCast-O、Aurora-O、Aurora-O、Aurora-L、Aurora-S、IFS ENS 和 Xaurora。

校准与误差分开报告。所有模型在 15 天时都校准良好,SSR 约为 1。Xaurora 的集合总体欠离散,SSR 低于 1。Z500 在约 3 天之前过离散,SSR 高于 1。这些是不同的诊断量:RMSE 衡量误差,公平 CRPS 衡量集合的概率技巧,SSR 衡量离散度与无偏误差之比。

微调使用 50 万样本、16 块 GPU 训练 42 小时

效率主张建立在具体的训练和推断数字上。Xaurora 在 50 万样本上训练 42 小时,使用 16 块 A100 80GB GPU。作为对比,Aurora-L 使用 380 万训练样本、在 32 块 GPU 上训练 2 周,Aurora-S 使用 380 万样本、训练时间未知。

推断成本按每个预报步报告。Xaurora 生成 6 小时预报需 13.1 秒,24 小时预报需 52.3 秒,使用 10 个积分步和 Heun 求解器,即每个 6 小时步 20 次函数评估。Aurora-L 生成 6 小时需 2.0 秒、24 小时需 8.2 秒,每步 1 次函数评估;Aurora-S 分别为 0.6 秒和 2.4 秒。

论文还报告了一个以 Aurora-L 初始化的未训练 Xaurora 模型,6 小时预报需 54.6 秒,24 小时需 218.2 秒。核心结果是 13 分钟生成有技巧的 15 天预报。相对 Aurora 的参数增量很小:Aurora-S 增加 721,920 个参数,增幅 0.64%;Aurora-L 增加 3,475,456 个,增幅 0.28%。其中大部分来自 Swin Transformer 中秩为 8 的 LoRA 层,而 Swin Transformer 本身完全冻结。

持续存在的噪声底使中尺度变量欠离散

论文自述的主要限制是持续存在的噪声底。分析显示,集合离散度的功率谱密度在某个波数之后变得平坦,对 Q850 和 U500 等中尺度变量尤其低。这条平坦的尾部就是噪声底。中尺度变量在所有波数上都欠离散,而天气尺度变量在较小尺度上过离散,这些尺度在积分 SSR 时占主导。

作者通过评估不同的 Xaurora 检查点来检验这是否是训练不足的产物。噪声底在整个训练过程中基本保持不变,Q850 略有上升。他们得出结论:噪声底是去噪器的内在属性,而不是学到或遗忘的特征,并指出它是否来自 Aurora 先验本身,当前分析无法确定。

从零训练的去噪器严重训练不足,但也产生噪声底,噪声水平略低。使用较大的 Aurora 版本作为先验得到非常相似的结果。论文指出噪声模型是预报谱特性的主要影响因素。

仅推断阶段的噪声干预只能校准部分变量

论文进行了四项仅推断阶段的实验,操纵 SDE 扩散项中使用的随机场,不重新训练,使用同一个 Xaurora 检查点,在 2022 年的 8 个初始条件上生成 10 成员集合,并在 12 小时预报时效上评估。

用标量 λ 缩放噪声方差显示,方差越高通常离散度越高、误差越低或不变。2T 和 Z500 等过离散变量在 λ = 0.5 时校准更好、误差更小,而 Q850 和 U500 等欠离散变量在 λ = 2 时表现更好。但单一 λ 无法修正所有变量,而且去噪器是在单位方差随机场上训练的,方差改变过大可能带来意外影响。

作者补充了更强的限定:方差缩放带来的离散度变化不太可能有实际意义,因为它只改变像素强度,而不是产生动力学上不同的成员,而后者才是集合预报应当提供的。通过采样具有幂律功率谱密度的随机场来改变噪声颜色,会对误差和离散度谱产生一致影响,但最优指数 ν 同样依赖变量。论文得出结论:仅推断阶段的干预只能部分校准预报。

实际收益是廉价集合,而非已解决的校准问题

论文的更广泛影响论证关乎可及性:微调 Xaurora 并生成预报的计算成本相对较低,使计算资源有限的机构(如学术界或国家气象部门)也能获得有技巧的概率天气预报。该方法还被描述为可扩展到更大的模型或输出空间,并有望迁移到天气预报之外的问题。

对于判断这是否会改变自身工作流程的读者,相关的划分依据是变量和尺度,而不是头条技巧。如果用例依赖大尺度环流和天气尺度变率,Xaurora 的集合平均无偏 RMSE 在多数预报时效上优于 Aurora-S 和 Aurora-L,并与业务模型相当,且 Z500 只在约 3 天之前过离散。如果用例依赖中尺度变率,持续存在的噪声底以及 Q850 和 U500 在所有波数上的欠离散就是硬约束,仅靠推断阶段的噪声调参无法完全消除。

论文自身的前瞻性优先方向也遵循同样的划分:构建更适合任务谱特性的随机场,或者把扩散项与去噪器一起学习。第二种选择意味着在优化模型参数的同时优化 SDE,这是一项不简单的任务,而论文的概率 SDE 展开训练算法被认为特别适合它。用于采样效率的蒸馏和物理约束建模被列为其他方向。

本文引用的文献

1

Xaurora: Generative Weather Forecasting with Denoising Stochastic Interpolants from a Foundation Model Prior

用去噪随机插值和用于 SDE 展开的回放缓冲区微调确定性 Aurora-S 基础模型,得到随机集合模型 Xaurora,它接近全球集合指标的当前最优水平,与 Aurora-L 相当,能在 13 分钟内生成有技巧的 15 天预报,同时保留持续存在的谱噪声底,使中尺度变量欠离散。