随机非线性循环神经网络中的混沌有多广泛？

为什么需要完整谱而不只是最大指数

混沌系统会让邻近轨迹以指数方式分离，而分离速率取决于初始位移的方向。其中最大的速率即最大李雅普诺夫指数，它决定了一般位移在较晚时刻的分离。全部速率的集合即李雅普诺夫谱，它描述一个无穷小的初始条件球如何沿每个方向被拉伸和压缩，因此携带的信息远多于单个最大指数。

论文把目标设定为 Sompolinsky 等人提出的随机网络在近四十年前留下的一个开放问题：评估李雅普诺夫指数的整个分布，而不只是最大值。所研究的网络是该模型的欧拉离散化，时间步长为 0<δ≤1，即 x_i(n+1) = (1−δ)x_i(n) + δ Σ_j J_ij φ(x_j(n))，其中耦合 J_ij 独立同分布地取自方差为 g²/N 的高斯分布，φ(x) = tanh(x)。耦合强度 g 和步长 δ 是决定动力学的两个参数。

有两个派生量使这个谱值得计算。和 λ_1+…+λ_k 是切空间中 k 维体积的增长率，它用于计算吸引子维度；该谱还给出熵率。由于谱在相空间的微分同胚下不变，这些量是动力学的内在属性，而不是坐标选择造成的假象。

把低于阈值的指数计数转化为响应函数

核心对象是累积分布 F(s) = (1/N)·#{i : λ_i < s}，即低于阈值 s 的李雅普诺夫指数所占比例。论文的第一步是一个有限 N 下的精确恒等式，它把这个计数问题转化为切空间动力学的一个响应函数。

技巧是把每个指数平移 s。将每一步的雅可比矩阵 M(n) 乘以 e^{−δs}，会使每个李雅普诺夫指数降低 s，得到平移后的雅可比矩阵 M_s(n) = α_s I_N + β_s J D(n)，其中 α_s = (1−δ)e^{−δs}，β_s = δ e^{−δs}，D(n) 的对角元是增益 d_i(n) = φ′(x_i(n))。在这个平移后的动力学下，λ_i < s 的方向随时间向前衰减，λ_i > s 的方向则增长，因此 N·F(s) 恰好是向前衰减的方向数。

为了数出这些方向，论文用一个源驱动平移后的动力学，并把它写成覆盖所有整数时刻的块双对角线性系统 K V = I_v。该系统不施加初始条件，因此其解构成一个仿射族；论文通过选取最小范数解来消除这一自由度。最小范数解是在两个时间方向上都会衰减的解，论文利用切空间的 Oseledets 分解，把时刻 k+1 的源拆成稳定分量和不稳定分量，从而显式构造出这个解。该解的单步响应随后给出 F(s)。

空腔计算把响应约化到单个神经元

仅有有限 N 恒等式还得不到数值，因为响应仍依赖整个网络。第二步是用空腔方法，在大 N 下通过一个自洽的单点问题确定这个响应。论文把标记为 0 的一个神经元视为被网络其余部分包围的空腔，它的输入 ξ_0(n) 成为零均值高斯过程，其协方差由自洽条件 ⟨ξ_0(n)ξ_0(n′)⟩ = g²⟨φ(x_0(n))φ(x_0(n′))⟩ 固定。

解出该条件后，增益轨迹 d_0(n) = φ′(x_0(n)) 的统计性质随之确定，进而驱动神经元 0 的前向场和后向场。论文把这些场写成 2×2 块系统，并按块求逆，得到单点响应 R^{vu}_{00}、R^{uv}_{00} 和 R^{vv}_{00}。随后，两个核 A(n,n′) 和 P(n,n′) 由单点轨迹上的平均自洽地确定：增益出现在 A 的平均内部，而在 P 中则位于平均之外。

累积分布按 F(s) = lim_{η→0+} ⟨R^{vv}_{00}(k+1,k)⟩ 读出，其中 η 是一个趋于零的正则化参数。阈值 s 只通过 α_s 和 γ_s 进入，在稳态下核只依赖时间差 n−n′。论文明确说明了主要假设：推导假定大 N 极限与正则化趋于零的极限可以交换，更严格的数学处理需要证明这一交换以及空腔计算的其他步骤。

理论复现两个已知极限

论文用已知答案的情形检验计算。当 g<1 时，不动点 x_i = 0 稳定，每个增益都等于 φ′(0) = 1，雅可比矩阵为常数，因此李雅普诺夫指数由 J 的特征值 μ_i 给出：λ_i = (1/δ)log|1−δ+δμ_i|。由于 N→∞ 时 J 的特征值按圆律填满圆盘 |μ|<g，F(s) 就是该圆盘落在另一个圆盘 |μ−c_δ|<r_s 内的面积比例，其中 c_δ = 1−1/δ，r_s = e^{δs}/δ。

单点理论对每个 δ 都复现这一几何答案。论文用静电学解释说明二者一致：读出的积分等于一个二维电场通过圆 |μ−c_δ|=r_s 的通量，而按高斯定律，该通量等于圆内包含的电荷，这恰好是两个圆盘的重叠面积。当 δ→0 时，第二个圆盘趋近半平面 Re μ < 1+s，从而复现半圆律；当 δ=1 时，指数化为 log|μ_i|。

最大指数也被复现。单点理论中谱的上边缘是一个阈值 s*，论文表明核为零的解在 s>s* 时存在，但无法延续到 s* 以下，因此该理论对每个 δ 都给出 λ_1 = s*。这复现了 δ→0 和 δ=1 时的先前结果。论文报告该理论与模拟结果吻合良好，并且结合近期对参与率维度的计算，其总结图中的所有量现在都可以由理论算出。

广延混沌意味着谱随网络规模增长

核心主张是该网络中的混沌是广延的。在这一语境下，这意味着随着 N 增大，李雅普诺夫谱是在一个与 N 无关的方向比例上的非平凡分布，因此低于任一阈值 s 的指数个数为 N·F(s)，其中 F(s) 在 N→∞ 极限下是一个定义良好的函数。混沌并不局限于少数几个方向；网络自由度中有一个有限比例携带各种符号的指数。

这正是为什么累积分布而非仅最大指数才是信息量更大的对象。单个 λ_1 说明一般扰动分离得多快，但不说明有多少方向扩张、多少方向收缩，也不说明速率如何分布。论文的 F(s) 直接回答这些问题，而由此导出的吸引子维度和熵率继承了这种方向性细节。

论文还指出谱在概念上的价值：由于它具有微分同胚不变性，由它导出的量描述的是动力学本身，而不是某种特定的坐标表示。在这个意义上，该计算给出的是动力学的内在属性，而不只是一次模拟的数值摘要。

计算可延伸到哪里、止于哪里

推导针对的是特定情形：具有独立同分布高斯非对称耦合的速率网络、tanh 非线性、欧拉时间步进，并假定动力学存在单一遍历不变测度。论文指出，该方法可以直接推广到耦合结构超出独立同分布情形的速率网络，并列举了几种多群体结构，例如兴奋性和抑制性群体分开、耦合带有低秩分量，以及互为反向的耦合 J_ij 与 J_ji 之间存在相关性。论文还把脉冲神经元网络列为可以尝试的推广方向，但没有声称在那里已有结果。

在循环网络之外，论文建议计算环状 Transformer 推理动力学的李雅普诺夫谱，以及学习过程中神经网络权重动力学的谱。这些被表述为方法可能触及的方向，而不是本文的发现，读者应按此理解。

主要的形式限制在于方法而非结论：大 N 极限与正则化趋于零的极限的交换是假设而非证明，作者指出需要更严格的数学处理来证明这一点以及空腔计算的其他步骤。这一保留意见限定的是推导的严格性；而支持广延混沌结论的证据，是与平凡不动点谱的吻合、最大指数的复现，以及论文报告的与模拟的良好一致。

真正的产出是完整谱而非最大指数

这篇论文的独特贡献不是给出 λ_1 的新数值，而是为这个随机网络给出通往整个分布 F(s) 的一条封闭路径，其方法是将精确的有限 N 恒等式与自洽单点问题结合。最具决策意义的比较，是最大指数单独告诉你的信息与完整谱额外提供的信息之间的差别：最大值决定一般位移在较晚时刻的分离速率，而 F(s) 决定每个速率上有多少方向扩张或收缩，从而确定吸引子维度和熵率背后的体积增长求和。

对于判断该结果是否适用于某个给定网络的读者，起作用的变量是耦合强度 g、时间步长 δ，以及独立同分布高斯非对称耦合这一假设。理论在这些假设成立之处有据可依：它在平凡不动点处对每个 δ 都与圆律谱吻合，在 δ→0 和 δ=1 极限下复现已知的最大指数，并且据报告与模拟结果吻合良好。结构化耦合、脉冲动力学，以及 Transformer 或学习动力学，都超出本文所确立的范围；而未经证明的极限交换，是在权衡广延混沌结论能推到多远时需要留意的形式缺口。

本文引用的文献