针对频率误差不均的训练期修正
频域预测器把序列拆成变化速度不同的分量,再用各自的网络预测每个分量。BEAT 的出发点是:把表示分开,本身并不说明当某个分量拟合得明显更差时训练该如何响应。在单一共享预测目标下,各分支最终保留的系数预测误差可能差别很大。
BEAT 的改动范围很窄。它不动前向预测路径,只增加两个训练期操作:频率特定监视器(FSM)测量每个分支的系数误差,动态梯度平衡器(DGB)把这些测量值转成各分支的梯度乘数。乘数为正,因此只缩放梯度大小,不改变方向。论文的主张因此落在训练侧重上,而不是提出新的预测架构。
相对误差如何变成梯度权重
FSM 需要跨分支公平比较,所以先把目标放到与预测相同的空间。真实未来窗口使用与历史输入相同的可逆实例归一化统计量和仿射参数做归一化,再用同一个小波变换分解。这样每个分支都在自己的分辨率、同一尺度上与对应目标比较。
每个分支的差异是预测系数与目标系数之间的均方误差。参照值是仅对细节分支求平均的差异,不含近似分支。每个分支自身差异与参照值之比成为它的相对误差,DGB 再把该比值转成有界的正系数。相对误差高的分支获得更大的梯度权重,相对误差低的分支获得更小的权重。一个共享的调制强度参数控制训练偏离无调制状态的程度,比值在每个训练步重新计算,因此该方案不会固定偏好低频或高频。
读消融实验时有一点需要注意:监视指标与报告的预测指标不是同一件事。监视器在归一化空间中衡量系数差异并塑造训练信号;结果表中的 MSE 和 MAE 衡量的是反归一化后重建的预测。
七个数据集上的增益分布
评估覆盖七个真实数据集、四个预测长度(96、192、336 和 720),对比八个基线,每个设置运行三次取平均。BEAT 取得最多第一名:在 28 个数据集-预测长度设置加七行平均值中,MSE 有 26 项、MAE 有 30 项第一,并列也计入。它在 Weather、全部四个 ETT 数据集和 ECL 上取得最低的跨预测长度平均 MSE 和 MAE。
最干净的比较对象是它自己的基础模型。BEAT 沿用 WPMixer 的前向架构,却在全部 28 个数据集-预测长度设置上取得比 WPMixer 更低的 MSE 和 MAE。在 ETTm2 上,跨预测长度平均的 MSE/MAE 为 BEAT 0.265/0.312,WPMixer 0.271/0.318。面对更新的 Delayformer 和 UP-TimeMixer,BEAT 在按其报告设置的全部七个数据集上都有更低的跨预测长度平均 MSE 和 MAE,例如 ETTh2 上平均 MSE 为 0.349 对 0.377,降低 7.4%。
优势并非在每个预测长度上都一致。在 Traffic 上,BEAT 两项平均指标均排第二,落后于 iTransformer;在预测长度 720 时,UP-TimeMixer 在 ETTm1、ETTm2 和 Traffic 上取得更低 MSE。平均值行的胜出不应读成每个预测长度都胜出。
消融实验支持哪些设计选择
在 Weather 和 ETTh1 测试集上、对四个预测长度取平均的消融实验分离了各组件。同时启用 FSM 和 DGB 后,Weather 的 MSE/MAE 从 0.243/0.269 降到 0.239/0.263,ETTh1 从 0.422/0.424 降到 0.415/0.419。两个组件是联合评估的,这与它们互补的角色一致:FSM 提供测量,DGB 据此行动。
调制设计本身也被直接检验。分支特定的梯度加权在两个数据集上都优于共享损失变体——后者把整个损失乘以系数的平均值(Weather 上 0.239/0.263 对 0.242/0.268;ETTh1 上 0.415/0.419 对 0.420/0.421)。这支持了论文的具体主张:权重应跟随每个分支自身的相对误差,而不是所有分支共用一个乘数。
其他选择依赖数据集,并非普遍适用。Daubechies 在 Weather 上最好,Coiflets 在 ETTh1 上最好;最佳分解层数在 Weather 上是 2、在 ETTh1 上是 3,层数 4 和 5 没有带来提升;作者认为更深的分解会在粗尺度上产生更短的系数序列,限制相应分支内的时间建模。在差异度量上,MSE 给出最低的 Weather MSE 和 MAE 以及最低的 ETTh1 MSE,在 ETTh1 MAE 上与 MAE 度量并列。
这一比较尚未确定的部分
论文对 WPMixer 差距的解释被表述为合理推测而非已证明:由于前向架构未变,误差相关的梯度加权把更多训练侧重导向拟合较差的分支,这一说法是作为解释提出的,并由 FSM 加 DGB 的联合消融支持。证据确认的是训练改动与更低误差同时出现,并未在该消融之外分离出因果路径。
适用范围也有边界。方法以 WPMixer 和多级离散小波变换实现,因此报告的数字描述的是这一组合,而非任意频域预测器。消融只覆盖 Weather 和 ETTh1,所以小波类型和分解层数的建议应视为数据集特定的发现,而非默认设置。而且增益的绝对值很小:Weather 平均 MSE 从 0.243 变为 0.239。
何时值得采用分支级梯度加权
与决策相关的区分在于平均精度与各预测长度表现之间。如果目标是在 Weather、ETT 数据集或 ECL 上取得最好的跨预测长度平均 MSE 和 MAE,那么在这一比较中 BEAT 是更强的选择,而且它在所有测试场景中都优于 WPMixer,且不触及推理:FSM 和 DGB 只在训练时运行,预测只需归一化、分解、分支网络、重建和反归一化。
如果重点是 Traffic 或特定的长预测长度,情况就不同了。iTransformer 在 Traffic 两项平均值上领先,UP-TimeMixer 在长度 720 时于 ETTm1、ETTm2 和 Traffic 上取得更低 MSE。因此论文最站得住脚的优先级不是“替换架构”,而是“当各分支拟合不均时,为现有小波预测器加入误差相关的梯度加权”,并在采用前检查各预测长度的结果,而不只看平均值行。
本文引用的文献
BEAT: Balanced Frequency Adaptive Tuning for Long-Term Time-Series Forecasting
BEAT 为小波预测器加入仅在训练期使用的频率特定误差监视和有界的分支梯度调制,在九种方法中取得最多第一名,并在全部 28 个数据集-预测长度设置上取得比 WPMixer 更低的 MSE 和 MAE。
