效率与鲁棒性如何塑造循环网络的记忆解？

两种效率代价选出相反的记忆机制

论文要回答的是：在众多与任务兼容的循环回路中，生物实际实现的可能是哪一种。作者研究一个刻意极简的刺激回忆任务：线性循环网络接收一个携带标量刺激 z 的脉冲输入，并须在延迟 τ 之后复现 z，读出只在该时刻受到约束。由于许多权重都能完成这个任务，作者加入代价项，并用参数 λ 调节活动代价与权重代价的相对权重。

λ 的两个极限给出截然相反的解。λ 增大时，目标趋近最小权重范数，最优解是与读出对齐的对称秩 1 尖峰 W = αcc⊤；当延迟 τ ≥ 1 时，特征值趋近 1，形成一个边缘稳定、类似线吸引子的持续模式。λ 趋近活动最小化时，受偏好的解变成高秩前馈链，它让刺激依次经过 N 个正交方向旋转，并在读出时刻附近短暂放大。该链的活动代价约为 πτ/N，接近推导出的下界 τ/N，因此加长链条可以让活动任意小，代价是权重很大。

这就是论文的核心划分：权重效率换来缓慢的持续动力学，活动效率换来瞬态放大。中间取值的 λ 并不会把两个极端平滑混合，而是选出中间长度的链；作者用链式假设得到最优长度按 m* ∼ λ^(−1/4)τ^(3/4) 缩放。他们指出这些指数并不预期具有普适性。

活动高效网络把方差与因果影响分开

活动高效机制是论文最具特色的结果所在。作者在 Arnoldi 基下分析优化网络的活动模式，发现活动高效的解在高方差模式与在读出时刻因果影响输出的模式之间出现强烈分离。因此，只看解释方差会产生误导：一个低方差模式仍可能左右读出。

支撑这一机制的循环权重是高秩且非正规的。有效秩按大于 1e-2 的奇异值个数估计，随 λ 下降而上升；特征值谱伴随的伪谱表明存在非正规放大。论文还报告，在非线性设置和 ALM 设置中，活动高效的解同样需要高秩、非正规的循环权重，这与此前被认为导致残差方向具有因果影响的非正规放大相呼应。

实际后果是一条测量上的警示。以记录中较小的有效维度为依据的低维活动描述，可能在因果相关模式贡献方差很小时丢掉功能上重要的结构。论文自己的表述是：这正是基于方差的概括会标记为任务无关噪声的那部分结构。

噪声鲁棒性限制活动效率的上限

论文与前馈网络的对比是它给出的最鲜明反差。在静态前馈线性网络中，最小化跨层表示范数基本被最小化权重范数所包含，而对权重范数或表示范数的惩罚，可以自然地从优化对加性扰动的均方误差鲁棒性中产生。在本文研究的循环设置中，权重效率、活动效率和噪声鲁棒性总体上相互竞争，各自对所选解施加不同压力。

具体论断是有方向性的：噪声鲁棒性与活动效率通常相互对立，而非协同。因此鲁棒性约束给活动效率设定了上限，这也是作者把两者描述为划分解空间、而非相互强化的原因。论文报告，当动力学为非线性、激活有界且为正、目标具有复杂时间依赖曲线时，也会出现定性相似的权衡，尽管其分析图景源自简化的线性循环网络。

非线性网络与 ALM 模型重现该权衡

为检验线性分析能否在更接近现实的条件下成立，作者在连续读出窗口任务上训练具有有界动力学的 tanh 循环网络，使用 N = 80 个神经元、固定的单位范数均匀读出，以及学习率 1e-3、训练 5×10^5 步的 Adam 优化器。损失由任务项与按 1 + λ 归一化的活动代价和权重代价组成，任务项强度 α = 10^3。

随后他们构建前侧运动皮层模型，含 N = 128 个神经元，用固定的随机储备池预处理脉冲输入，任务为延迟反应：样本线索在 −1.85 s，延迟开始于 −1.2 s，go 线索在 0 s，反应窗口为 +0.1 至 +0.35 s。网络在 λ ∈ {0.1, 0.3, 1, 3, 10, 30, 100} 与过程噪声水平 σ ∈ {0, 10^−3, 10^−2} 的所有组合上训练，每种组合使用 20 个随机种子。

扰动在延迟早期施加，时刻 t0 ∈ {−1.1, −0.9, −0.7}，方向包括编码方向与残差方向，带符号强度从 ±2 到 ±12；当输出满足 |ȳc − y*¬c| < ε 且 ε = 0.25|y*R − y*L| 时，该选择被计为翻转。降低 λ 即提高活动效率，与残差方向具有高因果影响相关联，后者以翻转率衡量。在 go 线索被延迟或撤销的 catch 试次中，只有带过程噪声训练的网络才能在延长的延迟期内维持稳定的选择选择性活动。

中等活动效率最贴合前运动皮层

ALM 结果是论文的规范性主张，它拟合的是一种模式，而非证明大脑中的机制。作者报告，中等程度的活动效率加上对过程噪声的鲁棒性，足以同时复现选择相关活动的时间结构，以及 ALM 中观察到的低方差残差方向不成比例的因果影响。λ 的两个极端都做不到这一点：权重高效的秩 1 机制缺少高秩非正规结构，而最大活动效率又与噪声鲁棒性冲突。

这也是论文把活动效率视为具有生物学意义的缩放轴的原因。计算通过动力学这一方向的许多研究聚焦于低维子空间中的任务相关动力学；作者认为，即便是简单任务，也可能沿这条轴出现非最小的高维解，而这类解与前侧运动皮层中的错位编码现象更为一致。

单变量记忆任务界定了结论范围

这些权衡是在只需记住单个变量以指导后续反应的任务上推导和模拟的。作者指出，序列记忆类任务中刺激之间的相关性以及跨时间的表征干扰，可能显著改变所识别权衡的性质。活动代价也按总体规模衡量；论文提到，在稳态压力下，偏离基线活动水平的程度可能是更相关的度量。

第二个边界涉及学习。研究刻画的是代价如何塑造最优解，并未涉及产生这些解的学习过程。权重效率可以自然地由权重衰减这类局部学习规则实现，而局部可塑性规则如何构建活动效率所偏好的高秩、非正规连接则尚不清楚。论文把识别这类规则列为未来工作，因此这些结果描述的是一幅解的图景，而不是生物回路抵达该图景的已证实路径。

把方差与鲁棒性放在一起读

对评估循环回路模型的读者来说，论文最实用的优先事项是：不要再把低有效维度当作其余模式都是噪声的证据。在其分析中，活动高效的解把因果影响放在低方差、高秩、非正规的模式里，因此一个能匹配记录方差的模型仍可能漏掉推动行为的维度。相关的比较是在解释方差与实测因果影响之间进行，例如本文使用的翻转率。

第二个优先事项是把噪声鲁棒性视为给活动效率设上限的约束，而不是可以随意附加的项。在这个循环设置中两者彼此拉开，因此一个按最大活动效率调参的模型，在被当作生物学解释之前应先检验其对过程噪声的鲁棒性。论文自己偏好的机制是中间状态：既有足够活动效率产生高秩非正规动力学，又有足够鲁棒性在延迟线索期间维持选择选择性活动。

本文引用的文献