仅训练感知的循环网络会自然涌现预测吗?

仅训练去噪巴赫音乐的循环网络编码了预测,但主要出现在中等噪声水平。

直接答案

会,但有条件。在这项模拟中,只接受去噪训练的循环网络处理带噪的巴赫作品标记序列,随后发展出关于下一个标记的预测信息,其反应也随预测误差变化,而训练目标中没有任何预测或代谢约束。这一效应并非普遍存在:它稳定出现在中等噪声水平,大致对应论文高斯噪声尺度上的 0.15 至 0.4,在极低和极高噪声下则缺失或未得到证明。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

只有感知任务,没有预测目标

论文追问的是:感知系统为什么要耗费资源去预测接下来会发生什么。它的检验设计刻意收窄:让单层门控循环网络学习对音乐标记的带噪观测去噪,作者把这一任务当作感知的隐喻。训练损失只涉及当前的潜在标记,目标函数中没有任何一项奖励对未来作出预期。

数据是 700 首不重复的巴赫作品,来自 1,432 个 MIDI 文件,按作品编号划分为 490 首训练、70 首验证和 140 首测试,因此测试作品的任何乐章都没有出现在训练中。每首作品被转换成基于事件的序列,每个标记是 12 维二元音级向量;观测则通过在潜在标记上叠加高斯噪声生成。噪声幅度共 14 档,从几乎无噪声(σ = 0.001)到 σ = 2;网络规模从 8 到 256 个隐藏单元,每种组合用 5 次独立初始化训练,共得到 420 个网络。

冻结网络,再探测其状态

去噪训练完成后,循环权重和去噪读出层被冻结。随后再训练一个线性读出层,从隐藏状态预测下一个潜在标记,因此网络的内部动态完全保持去噪训练塑造出的样子。如果这个读出层携带预测信息,那么信息必然存在于被冻结的状态本身。

真正有意义的比较对象是基准模型,而不是零。一个宽松的一阶马尔可夫模型看到与网络相同的带噪观测;一个保守的马尔可夫模型看到干净的当前标记,相当于在完全去噪的输入上做读出。作者据此推断:真正含有预测信息的网络应当优于保守基准,而不含预测信息的网络应落在两个基准之间。另有一个端到端训练预测的 RNN 作为经验性能上限。由于二元交叉熵衡量的是误差,数值越低表示预测越好。

预测信息在中等噪声下出现

在贯穿全文的示例网络中,即一个在 σ = 0.25 下训练的 64 单元 RNN,预测读出层优于两个马尔可夫基准。与接收真实当前标记的保守基准相比,效应量为 Cohen's d = 0.45,p < 10⁻²⁰。这是关键结果:被冻结的去噪状态含有关于下一个标记的信息,而这些信息无法仅从上一个去噪输入直接推出。正如预期,该网络仍落后于预测训练的 RNN(d = −0.64,p < 10⁻²⁰)。

噪声依赖相当陡峭。这个 64 单元网络在 σ ≤ 0.1 时与保守基准表现相当,在 0.15 ≤ σ ≤ 0.4 时优于它,噪声更高时则落后。对于接收相同带噪输入的宽松基准,它在 σ ≥ 0.1 时胜出。作者把预测涌现的转折点定在 σ = 0.1 与 σ = 0.15 之间,并报告至少 32 单元的网络都呈现一致模式。

状态更新与状态本身都跟随预测误差

论文随后检验两个常被视为预测处理证据的神经特征。第一个问题是:在控制潜在标记实际变化量之后,状态更新的幅度是否与预测误差相关。在示例网络中,偏相关为正,且这一效应在不同网络规模和噪声区间都成立,不过部分单元格在 84 次比较的 Bonferroni 校正后不显著。

第二个问题更强:预测误差本身能否从隐藏状态中解码出来?研究者用验证集拟合岭回归,再在 140 首测试作品上评估,其中最严格的基准用当前和过去的观测来解码误差。示例网络的读出层在所有作品上都优于该基准(d = 3.46,p < 10⁻²⁰)。稳健的编码出现在 0.15 ≤ σ < 0.6 的 64 单元网络上,这正是网络优于马尔可夫基准的区间;低于 32 单元时则不明显。

为何只有中间噪声区间支持预测

作者用检测理论解释这一区间。假设 12 个潜在维度各自是独立的公平硬币投掷,那么从单次观测中精确恢复潜在标记的概率在 σ < 0.15 时高于 0.99。此时瞬时观测几乎总是足够,生成模型能带来的增益很小。当 σ > 0.4 时,该概率降到 0.27 以下,单次观测各自变得没有信息量,观测也不再支持学习预测所需的统计结构。

这是论文的解释,而不是直接测得的机制;它与作者所述的滤波理论一致:在近乎无噪声的信道中被动解码已经足够,在噪声极大的信道中边际统计占主导,只有介于两者之间时预测才划算。由此得到的实际推论是一个定性假设,而非固定定律:预测处理应当出现在为中等噪声下工作而塑造的系统中,而不一定出现在每个感觉群体中。

模拟能说明什么,不能说明什么

证据来自对标记化巴赫音乐的模拟,而非神经记录。选择音乐,是因为它由结构化系统生成,复杂到预测既可能、又无法用一阶马尔可夫模型轻易完成;但结果仍然只是感知的模型,作者将其作为可检验的定性假设提出。噪声是对二元音级标记施加的高斯扰动,网络是单层 GRU,因此这些发现本身不能直接迁移到其他架构、感觉模态或真实大脑。

还有两条边界紧贴结果。预测读出层是线性的,且在训练之后才拟合,因此它测量的是冻结状态中可用的信息,而不是网络被优化去产生的预测。预测误差解码只在有限的噪声区间和网络规模下稳健,低于 32 单元时没有明显编码。论文自己的讨论把这一假设延伸到个体在感觉噪声上的差异,以及过度依赖或依赖不足预测的相关状况,但这些延伸只是提出,并未在本研究中检验。

决定预测的是任务需求,而非架构

这篇论文的独特主张在于改变了预测处理的解释重心。其讨论引用的早期工作显示,预测会在能量约束下的 RNN 中出现;而这里作者认为,既不需要预测约束或代谢约束,也不需要预设的神经架构。真正起作用的是感知任务的难度,并以网络训练时所处的噪声区间来衡量。

因此,值得关注的变量是噪声区间,而不只是循环结构是否存在。在 σ = 0.25 下训练的去噪网络编码了预测和预测误差;同一类网络在极低或极高噪声下则没有表现出可证明的预测能力。对于评估预测处理相关主张的读者,这篇论文给出的优先事项是:先问系统是在什么噪声和能力条件下被塑造的,并把预测看作该区间的涌现属性,而不是感知的默认特征。

本文引用的文献

1

Prediction emerges in RNNs trained for perception

仅训练去噪的 RNN 在没有预测目标的情况下编码了预测信息和预测误差,且主要出现在中等噪声水平(0.15 ≤ σ ≤ 0.4)。