MaRK 如何用马尔可夫自适应循环核调节状态空间模型?

MaRK 把扩散时间步映射为冻结 Hydra SSM 的有界调制,改变其循环算子;Chebyshev 适配器表现最佳。

直接答案

MaRK 把条件信息移入状态空间模型的循环内部:它把每个扩散时间步的上下文向量映射为冻结 Hydra SSM 的 A、B、C、D 和 Δ 参数的有界低秩偏移,使模型的输入输出记忆核随时间步改变。在冻结的 1.11 亿参数 Hydra 骨干上,Chebyshev 适配器取得最低平均验证损失(2.55),优于 DCT(2.59)和 Hypernet(3.77),可训练参数为 630 万至 1100 万。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

条件信息进入循环算子内部

多数引导预训练状态空间模型做迭代生成的方法,都作用在其时间动态之外。输入流注入把条件向量拼接进序列,AdaLN 则缩放层激活。论文认为,这两种方式虽然让模型接触到上下文,却让底层循环保持不变,因此 SSM 的时间行为本身并不随扩散时间步变化。

MaRK 改为把上下文向量当作算子的输入。它把时间步上下文投影为冻结骨干的循环(A)、读入(B)、读出(C)、跳跃(D)和离散化(Δ)参数的有界偏移。这些矩阵决定过去的输入如何保留和衰减,改变它们就改变了模型的记忆曲线,而不只是改变激活。骨干保持冻结,只有产生偏移的适配器被训练。

马尔可夫参数让调节变得可测量

论文用马尔可夫参数序列 H(t) = {C(t)A^k(t)B(t)}(滞后 k ≥ 0)来描述 SSM。这个序列就是模型的输入输出记忆核:它描述输入在每个时间滞后上保留多少,并决定传递函数和脉冲响应。作者指出,该序列在状态空间坐标的相似变换下不变,因此它刻画的是动态本身,而不是某种特定参数化。

这一框架提供了论文的诊断手段。如果 MaRK 只是重新投影特征,马尔可夫序列应当接近冻结骨干的序列;如果它确实调节了算子,序列应当按时间步分开,同时仍然衰减。实验在时间步 t ∈ {0, 0.25, 0.5, 0.75, 1.0} 上测量滞后至 4096 的按头平均马尔可夫范数,并把每个适配器与未调制的 Hydra 比较。

有界偏移维持调制后循环的稳定

调制循环可能把它推入不稳定动态,因此 MaRK 对偏移加以约束。在 Hydra 的对角 SSM 中,循环特征值构造为 A = −exp(A′_log) < 0,步长构造为 Δ = softplus(Δ_input + Δ′_bias) > 0,离散化特征值为 Ā_i = exp(A_i · Δ_i),落在 (0, 1) 内。双曲正切饱和与 softplus 约束把调制限制在有限范围内。

由此论文推导出仿射二次稳定性证书:单位矩阵 P = I 是一个公共 Lyapunov 函数,对所有可接受的上下文满足 Ā(c_t)ᵀ P Ā(c_t) − P ⪯ −εI,稳定裕度 ε = 1 − max_i Ā_i² > 0。通俗地说,每个调制后的循环都收缩,因此被调节的模型不会发散。这是针对所述对角参数化的解析保证,而不是对训练后适配器的经验观察。

三种适配器几何在平滑与灵活间取舍

MaRK 用三种把上下文映射为参数偏移的方式实现,均基于同一个冻结的 1.11 亿参数、23 层 Hydra-BERT 骨干。Hypernet 用直接线性投影产生低秩缩放和偏移矩阵,规模最小,约 630 万可训练参数。Chebyshev 适配器把调制展开为最高 K 阶的正交多项式,约 1100 万参数。DCT 适配器在固定的 Type-II 余弦基上,用频率衰减的谱权重构造长度为 L 的信号,约 710 万参数。

设计差异之所以重要,是因为扩散时间步是连续标量,相邻时间步定义的去噪任务几乎相同,因此平滑的调制映射是合适的。Hypernet 把每个时间步当作独立输入,必须从数据中学习平滑性;多项式基和余弦基则把平滑性编码进结构。论文把这视为对函数空间的正则化先验,而不是原始容量上的差异。

Chebyshev 领先,DCT 是更省的取舍

头对头消融报告了 10 个随机种子、95% 置信区间下的 CART 加权验证损失(越低越好)。Chebyshev 平均 2.55,DCT 2.59,Hypernet 3.77。两种结构化基在每个完成的验证数据集上都优于直接投影。Chebyshev 在五个数据集中的四个上领先 DCT,在 WikiText 上持平;平均差距为 0.04 nats。

参数数量表明差距不只是容量。Hypernet 和 DCT 分别有 630 万和 710 万适配器参数,却相差 1.18 nats;而 DCT 与 Chebyshev 之间多出的 390 万参数只换来 0.04 nats。作者据此认为 Hypernet 并非过拟合,而是缺少平滑性先验。他们还指出 DCT 推理更便宜,因此 Chebyshev 是精度上限,DCT 是参数与延迟上更好的取舍。这些是 MaRK 各变体之间的内部比较,不是与单独训练的扩散语言模型的比较。

调制 A 比调制 Δ 更关键

在 WikiText 上的留一消融逐一隔离五个被调制参数。冻结 A 会使各设置的验证损失上升 0.18 至 0.25 点,而只调制 B、C 和 Δ 的变体退化 0.34 至 0.51 点。论文把这解读为 MaRK 不能简化为 Mamba 式输入选择:B 和 C 控制瞬时吞吐,A 则决定记忆能持续多久。

离散化参数 Δ 呈现相反的模式。单独调制它只带来边际收益,而除 Δ 外的全调制配置在每个核上都是第二好。作者把这归因于冗余:动态可以直接通过 A 偏移,也可以经由 Δ 间接偏移,因为 Ā = exp(A_cont · Δ)。仅 A 比仅 Δ 最多好 0.75 点。不过,每种单参数配置都比完整的五参数基线最多差 0.50 点,因此联合调制仍然最好。

时间步条件核保持耗散

马尔可夫诊断显示,三种适配器都保持稳定的衰减包络,同时产生不同的时间步条件序列。曲线在数千个滞后上大致保持几何衰减,与稳定性构造一致,但并未与冻结骨干重合。Hypernet 产生最宽的上移,尤其在中长滞后处,提示记忆持续性增强。Chebyshev 给出一族紧密有序的平滑衰减曲线。DCT 的能量重分配最有选择性:高噪声时间步放大了早期滞后响应,较低时间步衰减更快,并在中间滞后处穿过骨干曲线。

作者把这种分离解读为 MaRK 改变了脉冲响应,而不只是线性重投影特征。这一解读得到马尔可夫序列作为动态坐标不变描述的支持,但它仍是论文对实测范数曲线的解释,而不是对下游生成质量的直接因果检验。

长序列下延迟开销被摊薄

在 NVIDIA A100-SXM4-80GB、批大小 8 下的推理测量显示,MaRK 增加约 37 至 42 ms 的每层固定成本,与序列长度无关。在序列长度 4096 时,这相当于额外 14% 至 16% 的延迟,内存开销相对冻结 Hydra 低于 1%。在长度 512 时,同样的固定成本占主导,产生 65% 至 104% 的开销。

论文指出,MaRK 对序列长度是 O(1)、对扩散采样步数是 O(N),其渐近运行时间与 AdaLN Zero 和输入注入基线一致。实际含义是有条件的:算子级调节在序列长时最便宜,在短序列推理时相对昂贵。作者还指出,与既有条件框架在下游基准上的系统比较,以及缩放律下的表现,仍是未解问题。

本文引用的文献

1

MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models

MaRK 把扩散时间步上下文映射为冻结 Hydra SSM 的 A、B、C、D 和 Δ 参数的有界低秩调制,产生时间步条件的马尔可夫记忆核;Chebyshev 适配器取得最佳平均 CART 验证损失(2.55),优于 DCT(2.59)和 Hypernet(3.77),可训练参数为 630 万至 1100 万。