神经元的生物约束会在数学上促进解耦表征吗?

论文证明非负性与能量效率约束会推动神经元形成单因子、解耦的表征编码。

直接答案

会,但需满足论文给出的条件。论文证明,非负性加上对神经活动和权重的能量效率约束,会迫使线性因子化编码变为解耦表征,即每个神经元只响应任务变化中的单一因子。这一保证针对线性映射;当数据或网络为非线性时,作者通过实验表明混合选择性依然存在,但会随着层接近输出层或潜变量层而逐渐去混合。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

证明究竟主张了什么

论文的核心结果是数学结论,而非经验相关性。给定一个变化已被因子化的任务,以及一个对这些因子呈线性的编码,加入两项生物约束会使最优解变为解耦表征。这里的解耦有明确的操作含义:单个神经元只响应单一变化因子,而不是在响应中混合多个因子。

两项约束分别是非负性,即禁止出现类似负放电的取值;以及能量效率,即惩罚活动和权重的平方幅度。作者证明,两者共同作用会把最优线性编码推向一种形式:每个神经元只对一个因子具有选择性。标题中的问题正是在这个意义上得到肯定回答:约束不只是与解耦相关,而是在线性因子化设定下强制实现解耦。

非负性与效率为何是关键条件

论文给出的直觉是组合式的。如果神经元可以取负值,两个因子就能在同一个细胞内相互抵消,混合编码因而可以很“便宜”。非负性切断了这条抵消路径,活动惩罚随之让一个神经元同时承载多个因子变得代价高昂。权重惩罚在读出一侧发挥类似作用,抑制把多个因子组合起来的连接。

作者把这一论证限定为关于线性因子化编码的证明,并明确指出它讨论的是因子化表征的最优解。这一范围很重要:定理说明的是受约束的最优解长什么样,而不是断言任何训练过的网络都会达到该解。

同样的约束在变分自编码器中生效

论文检验了这些约束能否在线性证明之外产生解耦,包括在变分自编码器这一学习潜变量表征的标准架构中。在一个基线解耦任务上,受约束模型取得了有竞争力的解耦分数,尽管作者指出,取得高解耦分数并非这项工作的特定目标。

dSprites 的结果让权衡关系变得具体。以 MIG 分数衡量的解耦程度随权重正则化增强而上升,且总体上高于 beta-VAE 对照。作者还报告,高分的 beta-VAE 模型可能通过丢弃潜变量维度来取得分数,这会损害重建。把 MIG 与重建 R 平方作图后,受约束模型落在作者所称的“金发姑娘区”,即高解耦与高重建兼得。这些学习曲线报告的是 5 个随机种子上的均值和标准误。

混合选择性保留但向读出层减弱

一旦映射变为非线性,线性保证就不再完整成立。在非线性数据和非线性网络中,作者通过实验表明混合选择性确实存在,即单个单元响应因子的组合而非单一因子。随深度变化的是混合程度:在监督网络中,表征随着层接近输出层而逐渐去混合;在无监督网络中,则随着层接近潜变量层而逐渐去混合。

这是一种分级的经验规律,而非定理,论文也如此对待它。论文还赋予该结果一种功能解读:当系统必须泛化到已学因子的新组合时,这些约束最为相关。论文认为,在这种情形下因子化解更受偏好;而混合选择性则与另一种策略相关,即把当前试次归入少数几类既往经验之一来处理。

解释专用细胞类型与网格场扭曲

该理论被用来解释大脑为何把细胞分成针对物理空间的不同类型,例如网格细胞和物体向量细胞。作者的论证是:空间、边界和物体以因子化形式出现,可以独立组合,因此最优的表征方式是为每个因子分配独立的神经元群体。同样的推理被用于解释颞下皮层神经元与数据生成因子的轴对齐、视觉皮层神经元的去相关,以及顶叶神经元只对特定任务具有选择性。

网格细胞扭曲的结果是更尖锐的检验,因为它涉及任务结构的变化而非固定结构。在模型中,因子化任务(物体改变位置)产生的网格场与物体无关;而纠缠任务(物体始终停留在同一位置)产生的网格场会向物体扭曲。作者用每个物体周围区域的平均空间相关性来量化这一点,发现只有在任务纠缠时,场才一致地向物体扭曲。他们把这与实验观察联系起来:网格细胞有时向奖励位置扭曲,有时不扭曲;并指出在出现扭曲的情形中,啮齿动物在奖励之间沿固定轨迹奔跑,而非自由探索,因此行为与空间纠缠在一起。

论证的边界在哪里

论文明确指出,它解释的是何时应把不同因子表征在不同神经元中,而不是每个因子本身应如何被表征。它没有解释网格细胞和物体向量细胞为何呈现现有形态;作者指出有一篇配套论文引入群论和表示论来回答该问题。当前的理解也仅限于因子化表征的最优解。

还有两条边界紧贴这些结果。干净的保证针对线性输入-输出或输入-潜变量-输出变换,因此非线性的去混合模式是经验性的而非已证明的。神经科学方面的应用是用该理论解释已观察到的现象,而非新的神经测量;例如网格扭曲的解释依赖于对因子化任务与纠缠任务的模拟,以及作者对实验文献的解读。

关键在于任务结构而非约束本身

阅读这篇论文最有用的方式,是把它看作关于联合条件的论断。单靠生物约束并不能在非线性系统中保证解耦;它们保证的是线性因子化编码的解耦,并在经验上产生一种向读出层逐渐去混合的梯度。决定一个系统是否应当解耦的,是它的任务是否因子化,即各因子是否以独立组合出现、系统是否需要泛化到它们的新组合。

这正是网格扭曲对比承载论证分量的原因。同样的约束施加于同类空间系统,在因子化任务下产生与物体无关的网格场,在纠缠任务下产生扭曲的场。对于想判断某个系统中是否应期待单因子神经元的读者,论文的答案是先检查任务结构,再问映射是否足够接近线性,以使该证明成立。

本文引用的文献

1

Disentanglement with Biological Constraints: A Theory of Functional Cell Types

论文证明,活动与权重上的非负性和能量效率会使最优线性因子化编码变为解耦表征,并通过实验表明这些约束在包括变分自编码器在内的多种任务和架构中产生解耦,而非线性网络仍保留混合选择性,并随接近读出层而逐渐去混合。