在线预演与离线回放如何优化导航中的动作选择?

一个脉冲神经网络模型用同一机制产生在线预演、离线回放和扩散回放,各自帮助动作选择。

直接答案

同一个脉冲神经网络可以借助由背景噪声和兴奋—抑制平衡驱动的同一机制,产生全部三种序列;仅凭任务依赖的突触改变,就决定了出现哪一种模式。在模型中,在线前向预演促成捷径发现,离线前向回放巩固最优动作序列,扩散回放则泛化位置—动作映射并 homogenize 内部连接。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

同一噪声驱动机制产生三种回放模式

论文要回答的是:海马如何产生如此不同的神经元序列,以及每种序列对导航各有什么作用。答案是一个闭环模型:在二维开阔场中,由漏电积分—发放神经元构成网络,包含循环位置细胞层,以及决定智能体移动方向和速度的动作选择环形吸引子。网络中的序列来自同一机制:背景噪声加上兴奋与抑制的平衡。不同模式之间的差别不在序列发生器本身,而在任务留下的突触修饰。

这一区分很重要,因为三种模式很容易被混为一谈。在线前向预演发生在目标导向导航中,是当前所在位置向前方扫过的活动。离线前向回放发生在休息时,锐波涟漪中的序列重新激活此前探索过的轨迹。扩散回放出现在随机觅食之后,类似布朗运动,与行为没有相关。模型在同一架构内重现了全部三种模式,因此它们的差异可以归因于学习历史,而不是不同的回路。

学习路径形成线吸引子并偏向向前回放

探索期间,循环层和位置—动作通路中的突触受多巴胺门控的、带资格迹的脉冲时序依赖可塑性修饰,因此只有沿通往目标路径上活跃的突触被增强。循环层被组织成二维流形:编码相邻位置的神经元之间连接更强,另有稀疏的长程兴奋连接,固定概率为2%,抑制则严格局限在局部。

这种学习在二维网络中嵌入了一个线吸引子。当智能体停顿时,前向和后向回放都可能出现,但此前活跃群体中持续时间更长的抑制电流会压制立即再激活,使网络偏向向前回放。论文的模拟显示,当智能体位于路径中段时,前向传播变得占主导、被优先选择且更频繁。这是关于网络动力学的模型结果,不是对海马活动的测量。

群体爆发打开短暂的突触增强窗口

论文比较了六神经元定向链的三种情形:均匀连接、异步发放的网络;出现同步群体爆发的网络;以及探索后已形成线吸引子的网络。在异步状态下,平衡抑制使突触前、后活动去相关,因此发放率之间的协方差极小,权重变化可以忽略。

在群体爆发期间,抑制以短暂延迟跟随兴奋,使互协方差在短正时滞处出现一个小正峰。这个短暂窗口有利于沿链增强突触。探索之后,通往发放率最高神经元的突触被优先增强,随后的爆发更可靠、更频繁地激活该链。在固定的30秒模拟中,嵌入线吸引子的同步情形下,平均归一化权重变化在所有测试的初始权重上都高于其他情形;激活率则在初始归一化权重中位数0.4的条件下测量了60秒。

离线回放缩短路径并提高试次成功率

休息期间,空间均匀的泊松噪声取代环境输入,回放通过脉冲时序依赖可塑性加突触归一化,同时修饰循环连接和位置—动作突触。报告的行为效应是随后探索试次中的路径变短。在二十个探索阶段中,智能体随着试次推进逐渐更高效地到达奖励。

成功率并非完美:在一些固定时长的试次中,智能体未能到达奖励,拉低了整体试次成功率。作者把改善归因于学到的位置与动作序列更稳定,以及噪声耐受性提高。这是关于模型智能体的模拟层面论断,论文没有报告对应的行为实验。

扩散回放把动作泛化到邻近位置

随机觅食之后,网络的自发活动表现为游走的局部活动包,而不是有序序列。对兴奋—兴奋和兴奋—抑制权重做突触归一化,同时维持兴奋—抑制平衡,会改变有效权重核,把网络推入这种扩散状态。解码出的爆发随后类似随机游走。

功能上的后果是动作图更均匀。扩散回放修饰位置—动作连接,使编码的动作泛化到成功探索中访问过的邻近位置,从而支持从其他起点更高效地进行目标导向导航。在十次独立运行中,网络在若干探索试次后被设为自发发放5秒,并在回放前后从不同起点测量成功率。论文报告,每个位置编码的动作与实际目标导向向量之间的平均角度差减小,同时成功试次比例的均值和方差也发生变化。

单一架构把回放类型与导航功能联系起来

论文的核心主张是组织层面的:一个网络架构可以灵活产生多种回放类型,每种类型以不同方式帮助优化目标导向行为。在线前向预演为每个位置细胞激活合适的动作细胞,从而支持捷径发现和灵活的策略调整。离线前向回放巩固最优动作序列。扩散回放泛化动作与状态图并 homogenize 内部连接,作者称这改善了后续的目标导向导航。

这种灵活性的机制在于网络的运行状态。模型处于相变附近,产生具有幂律统计的群体爆发和较长的空间相关长度,使活动能够跨越遥远的神经集群。稳态的突触归一化维持这一敏感工作点稳定。作者以此解释弱突触输入如何触发大规模募集,而不是把它当作CA3记录中已被证实的性质。

模型范围限制了回放功能能主张什么

若干边界限定了这些结果。这项工作是对脉冲网络的模拟,因此三种回放模式及其导航收益是模型结果,而不是实测的海马动力学。作者指出,CA3爆发统计仍有争议:一些研究报道幂律标度,另一些报道对数正态分布,他们呼吁进一步实验记录。网络中的临界指数与标准普适类并不一致,例如有向渗流预测爆发大小的平均场指数为1.5、持续时间为2.0。

模型还省略了混合选择性,即海马神经元中观察到的位置、方向、情境和目标信息的联合编码。作者提出把模型扩展到联合状态—动作编码或目标调制的位置表征。对于想把三种回放功能当作已确立生物学事实、而非一个自洽计算解释的读者,这些限制最为重要。

任务历史决定哪种回放模式带来收益

论文最有用的区分是有条件的,而非普适的。在类似莫里斯水迷宫的目标导向任务中,在线和离线前向回放为每个位置细胞激活合适的动作细胞,促成捷径发现和灵活的策略调整。随机觅食之后,扩散回放则产生类似随机游走的局部序列,促进更均匀的空间表征、增强循环连接并泛化位置—动作映射。

因此,实用的解读是回放类型应与任务历史相匹配:前向回放与已学习的目标导向轨迹相关,而扩散回放跟随无方向探索,并在之后从新起点进行目标导向导航时体现价值。论文自身的重点正是这一架构内的分工,依据是二十个探索阶段和十次独立运行的模拟,而不是主张某一种回放模式普遍最优。

本文引用的文献

1

Online Preplay and Offline Replay Optimize Action Selection in a Closed-Loop Navigation Model

一个脉冲网络模型由同一噪声与兴奋—抑制驱动机制产生在线前向预演、离线前向回放和扩散回放,任务依赖的突触改变决定出现哪种模式,每种模式承担不同的导航功能。