旋转基而非训练出的时间编码
论文要回答的是:能否用同一个数学原理,生成神经记录中出现的多种时间响应曲线——在延迟期内特定时刻放电的时间细胞、活动单调上升或下降的斜坡细胞,以及持续振荡。论文的答案是:这些都可以是同一底层过程的投影,即一组以不同频率旋转的复数值状态。
该框架是一个状态空间模型(SSM),这类序列模型通过隐藏状态向量把信息向前传递,而不是依靠循环连接。在这一实现中,延迟期内的状态更新简化为各自独立的旋转,每个状态元素对应一个旋转,因此每个单元都像一个潜在的振荡器。作者认为,时间细胞和斜坡细胞不必是彼此独立的生物实体:一个旋转状态如果在延迟期内穿过正实轴,就表现为时间细胞;如果从正实轴转向负实轴,就表现为斜坡。
关键限定由作者自己给出。该框架为生成类似这些细胞的响应曲线提供了数学充分性和计算合理性,但并未证明生物演化产生了等价的基。与神经数据的直接比较,或受生物约束的回路模型,仍属未来工作。
HiPPO 初始化提供时间基
这种结构来自 HiPPO 初始化,它是一种数学构造,把连续的输入历史投影到一组最优基函数上。在模型中,这一初始化充当预配置回路的替身:它在任何任务训练之前,就赋予网络一个旋转频率谱。
论文通过比较 HiPPO 初始化的 SSM 与随机初始化的 SSM 来检验这一点。两者都能以相近的准确率学会任务,但内部解法差别很大。HiPPO 网络在训练之前就表现出按顺序组织的时间细胞模式,这一结构在学习过程中被保留并细化,而不是从头构建。作者把学习描述为:为特定任务挑选并调整已有的时间基。
补充材料中的初始化消融实验给出了一个边界。随机实对角和随机复数初始化分别达到 86.8% 和 86.9% 的基础准确率,接近 HiPPO 的 88.1%,但它们在初始化时的时间覆盖只有 30 个时间格中的 1.0 和 2.1 个,而 HiPPO 为 30 个中的 13.7 个。因此,仅凭该任务上的准确率,并不能证明存在结构化时间编码。
更难的计时任务区分了两种架构
主要的行为测试是一个三刺激时间辨别任务。一个基于 S5 的智能体用演员-评论家深度强化学习训练,需要判断依次呈现的三个刺激中哪一个最长,三个刺激之间有两个延迟期。作者选择三个刺激,是因为初步测试显示标准的双刺激版本太容易:LSTM 和 SSM 两种架构都很快达到上限,难以区分它们的能力。
SSM 层通过脉冲信号与下游的价值网络和策略网络通信:当某个隐藏状态的实部越过阈值时产生一个脉冲,反向传播则使用 sigmoid 替代梯度。训练后,该智能体识别最长序列的平均准确率为 88.1 ± 1.9%,来自 10 个独立训练的智能体。
架构比较报告在补充材料中。在参数预算匹配的条件下,32 个隐藏单元的 LSTM 平均为 76.3%,50 个隐藏单元的 LSTM 平均为 78.2%,HiPPO SSM 平均为 87.9%,随机初始化的 SSM 平均为 86.6%。作者将此解读为在精确时间表征上的架构优势,同时指出随机初始化的结果也提示,该任务或许无需 HiPPO 的长期历史压缩也能解决。
时间细胞与斜坡共存于同一群体
按延迟期内峰值激活时间对隐藏单元排序,会出现顺序级联:不同单元在不同时刻变得活跃,覆盖整个区间,方式与海马和前额叶皮层记录中描述的时间细胞序列相似。热图还显示,其余单元中存在高频振荡模式。
在两个延迟期和 5000 个试次回合中,21.0% 的群体满足时间细胞标准,61.8% 表现出被归类为斜坡细胞的单调上升或下降活动。分类要求偶数试次和奇数试次得到的调谐曲线相关性高于 100 次打乱比较的第 99 百分位,时间细胞候选还需单独满足时间信息标准。
频率组织并非随机。由于在 HiPPO 频谱中旋转频率与单元索引成反比,低索引单元保留高频振荡,而较高索引单元旋转更慢,产生更平滑的时间细胞和斜坡曲线。损伤研究支持这种安排的功能权重:移除前约 20 个低索引、高频单元后准确率基本不变,而移除高索引、低频单元则导致准确率立即陡降。
只有基保持完整时重定时才有效
论文检验模型能否在不重新学习内部动力学的情况下适应不同时长。在重定时实验中,HiPPO 初始化和随机初始化的模型在两方面进行比较:对延长延迟的零样本迁移,以及在冻结状态转移和输入投影参数、只重新训练读出层之后的恢复情况。
一项相关对照显示,冻结内部动力学基本上就冻结了模型性能,只重新训练读出层无法恢复。作者据此论证,承载时间计算的是状态转移结构,而不仅仅是读出层。
这也是 LSTM 比较变得可解释的地方。作者得出结论:LSTM 能产生基于振荡器、铺满时间的表征,但这是通过学习实现的,而非架构的固有属性。论文划出的区别在于:一个模型必须构建时间基,另一个模型一开始就拥有时间基。
重复被转化为可线性解码的计数
扩展测试从计时转向一种抽象认知功能:事件计数。在圈数计数任务中,每圈时长在 10 到 60 步之间随机,并有 0 到 2 次、每次 0 到 25 步的随机停顿,因此绝对经过时间无法识别圈数。训练后的网络达到 0.999 的归一化编辑距离分数,其中 1.0 表示预测事件时间与真实时间完全一致。
隐藏状态分析显示,同样的顺序级联在四圈中的每一圈内都会重新出现。由于时间模式每圈重置,论文追问计数信息如何保持。一个按 50/50 划分训练的线性支持向量分类器,在固定时间步上从隐藏状态活动解码圈身份,在未见过的测试数据上达到近乎完美的表现。
作者将此解释为:循环动力学把重复输入展开到状态空间的不同区域,使下游读出层能通过简单的线性投影提取事件计数。这一论断针对的是该模型中计数变量的线性可分性,而非生物回路如何表征数量。
一个充分的模型而非已证实的机制
论文自身的局限界定了其论断的边界。这些任务可能没有充分发挥模型的能力,而随机初始化的网络也表现良好,说明所选任务或许用朴素设计就能解决,并不需要 HiPPO 的长期压缩。不同随机种子的性能存在差异,因此报告的数字可能低于该框架下可达到的最佳水平。
与生物学的对应也明确是部分的。HiPPO 是在线函数逼近的数学最优解,但作者指出,无法保证大脑使用的是这一特定正交基,而不是另一种预配置动力学。模型抽象掉了海马微结构和细胞类型异质性,并且依赖人工编码的输入,而非真实脉冲数据。
因此最有用的读法是比较,而不是裁决。在这篇论文中,决定性的对比在于:一个模型的时间基在训练前就已存在,另一个必须学习它。HiPPO 初始化一开始就产生了 30 个时间格中 13.7 个的结构化时间覆盖,而随机初始化只覆盖 1.0 到 2.1 个,尽管最终任务准确率相近。这一差距,而非准确率本身,才是论文支持预配置旋转基的核心证据。
本文引用的文献
State Space Models Naturally Produce Time Cell and Oscillatory Behaviors and Scale to Abstract Cognitive Functions
一个 HiPPO 初始化的状态空间模型在训练前就从多时间尺度旋转基产生时间细胞、斜坡和振荡曲线,在三刺激时间辨别任务上达到 88.1 ± 1.9% 的准确率,并支持可线性解码的圈数计数。
