高维神经群体中的互信息如何随规模变化?

蒙特卡洛估计器可追踪上万神经元的互信息,揭示刺激不确定性随群体规模指数衰减。

直接答案

这项研究基于条件独立群体模型构建蒙特卡洛估计器,估计了视觉皮层、海马和视网膜中约100至10,000个神经元群体的互信息。在全部四组数据中,刺激不确定性都随群体规模呈指数衰减,但衰减速率在不同系统间差异明显:视觉皮层在几百个神经元内就接近刺激熵,而海马的增速要慢得多。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

响应模式为何随群体规模爆炸

互信息衡量的是神经响应能在多大程度上减少我们对“呈现了哪个刺激”的不确定性。要直接估计它,需要知道每种刺激下每一种可能群体响应的概率。若神经元只有激活和静默两种状态,N个神经元、K个刺激就对应K乘以2^N个刺激—响应组合,因此直接估计只在约十个细胞的群体中可行。论文把这一点视为核心障碍:现代记录已能同时测量数千个神经元,而响应模式空间增长得更快。

作者把同源于这一爆炸的两个困难分开。其一是估计每种刺激下的响应分布P(x|s);其二是在所有刺激和响应上对对数比值log[P(x|s)/P(x)]求平均。他们的论点是,只有第一个困难从根本上限制了可靠估计,因为第二个可以通过采样处理。

条件独立让问题变得可计算

论文假设条件独立:给定刺激后,每个神经元的响应被视为与其他神经元无关。这把估计全部K乘以2^N个组合概率的难题,简化为估计N乘以K个单神经元放电概率P(x_i|s),而这些概率可以从数据中测得。论文把该模型定位为对P(x|s)的自然一阶描述,并未声称真实群体真的相互独立。

为计算信息量,估计器先从边缘分布中抽取一个刺激,再从条件独立模型中抽取一个响应,然后对T_s个这样的样本求对数比值的平均。在放电概率从0到1均匀抽取的模拟中,估计值很快收敛,波动按1/sqrt(T_s)缩小。作者报告,在实际记录中也观察到同样的收敛。

用外推校正有限数据偏差

模型的放电概率本身必须从有限次实验试次中估计,论文表明这一偏差按K(N+1)/(2T_f)缩放,其中T_f是测得的刺激呈现次数。为消除它,作者对数据取不同比例f的子样本,用10^4个蒙特卡洛样本为每个子样本估计互信息,再对数据比例的倒数1/f做线性拟合。外推到1/f = 0得到无限数据估计,重复整个过程则给出均值和标准差。论文报告,这些校正在所有情形下都很小,从而支持估计结果的可靠性。

估计器在可解模型中还原已知答案

在把方法用于真实数据之前,作者先在一个有精确解的模型上检验它。每个神经元对每个刺激的放电概率都从形状参数为beta的对称beta分布中抽取。beta小使放电接近确定性,beta大则把放电概率推向1/2,使神经元与刺激脱钩。因此该模型具有可解析计算的真实互信息。

作者对K = 32个刺激模拟10^5次刺激呈现,蒙特卡洛估计在不同群体规模和不同beta值下都紧密跟随解析值,包括大N和beta远小于1的强编码情形。这是论文的准确性检验:方法是在正确答案已知的情形下被验证,而不只是自我一致。

视觉皮层在数百神经元内饱和

在小鼠初级视觉皮层,作者分析了8,991个对32种朝向光栅响应的神经元,以及11,523个对32张自然图像响应的神经元,两者均用双光子钙成像记录。响应被二值化为激活或静默。对朝向数据,条件独立模型定量预测了神经元之间的相关性;对自然图像,它捕捉到的相关结构较少。

两种记录中,信息量都随群体规模快速上升。朝向光栅下,63个神经元就足以把刺激不确定性减半(以条件熵H[s|x] = H[s] - I[x;s]衡量),613个神经元使互信息达到刺激熵的1%以内。自然图像下,对应数字是71个神经元减半不确定性、513个神经元达到刺激熵的1%以内。这些阈值只适用于这些记录、这些刺激以及条件独立假设。

海马和视网膜的增速更慢

海马分析使用1,485个CA1神经元,在小鼠沿环形跑道奔跑时用钙成像记录,并把位置离散为32个等概率区间,使刺激数与视觉实验一致。在这里,由每个细胞位置野定义的条件独立模型捕捉到部分而非全部相关性。信息量增长更慢:平均需要174个神经元才能把刺激不确定性减半,即使使用全部神经元,互信息也未达到刺激熵的1%以内。改变空间离散化分辨率没有在性质上改变这一结果。

视网膜分析只用了53个蝾螈神经元,它们对人工移动条刺激响应,刺激按视野位置粗化为32个等概率区间。条件独立模型未能捕捉这些神经元之间的强相关性,编码的信息量也低于小鼠皮层和海马。由于这一群体远小于其他群体,其曲线应被读作一小段,而不是完整的规模比较。

单一指数速率区分不同系统

在全部四组数据和模拟神经元中,条件熵都随N指数衰减。论文把这一点与既有理论预测联系起来:对条件独立神经元,条件熵会指数衰减,其指数等于不同刺激所诱导响应分布之间的Chernoff距离。指数越大,意味着同样的刺激不确定性下降所需神经元越少。

附录明确推导了渐近速率。当各刺激下的放电概率相互独立时,指数等于放电概率平方根的均值与1减放电概率平方根的均值之和,再取负对数。当一个神经元在不同刺激下的放电概率相关时,衰减最慢的那对刺激决定速率。这给出了论文的统一量:视觉皮层、海马和视网膜之间的差异,是同一个衰减指数的差异,而不是指数律是否成立。

标度律能说明与不能说明什么

这项工作的实用价值在于提供一种方法,用可扩展到数千细胞的度量,比较不同群体和刺激集在增加神经元时降低不确定性的效率。最具决策意义的对比是视觉皮层记录与海马记录:前者在几百个神经元内就接近5比特的刺激熵,后者即使使用全部1,485个神经元也未达到1%以内。因此,比较不同系统的读者应关注衰减指数和把不确定性减半所需的神经元数,而不只是原始互信息。

主要边界是条件独立假设。论文展示了该模型在何处较好地拟合实测相关性(如朝向光栅),以及在何处拟合较差(如视网膜,以及程度较轻的自然图像和海马)。在后几种情形中,报告的信息量是条件独立模型所编码的信息量,作者也指出该模型只捕捉了部分相关结构。因此,指数标度结果是在这一建模选择之内成立的,而系统间衰减速率的差异是论文最具可迁移性的发现。

本文引用的文献

1

高维神经编码中的互信息

条件独立假设下的蒙特卡洛估计器能还原解析真值、校正有限数据偏差,并可扩展到100至10,000个神经元,显示视觉皮层、海马和视网膜中刺激不确定性随群体规模指数衰减。