自监督模型能否区分神经可塑性与记录不稳定?

NeuroLens 在潜空间预测未来神经状态,提升小鼠与人类跨天解码和少样本适应能力。

直接答案

NeuroLens 是一个基于联合嵌入预测架构(JEPA)的自监督模型。它不重建原始神经活动,而是预测未来的潜在状态,从而从长期神经记录中学习潜在表征。在小鼠和人类的长期皮层内记录数据上,这种方法提升了对决策和语义任务变量的解码,并且跨时间解码比现有最先进基线更稳定。论文将其定位为降低对记录特异性变异敏感性的方法,但并未完全区分学习相关的可塑性与神经本身的固有变化。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

长期记录为何混淆可塑性与漂移

纵向记录本应展示任务相关的群体活动如何在数天之间出现并重组。障碍在于,电极漂移、信号退化以及被记录神经元的改变,都会改变观测到的活动,即使底层计算并未变化。因此,论文提出的问题不只是解码稳定性,还有归因:现有工具难以区分表征可塑性与记录不稳定。

已有方法通过神经流形对齐、基于重校准的测试时适应以及基于 Transformer 的上下文学习来应对记录非平稳性。论文认为,其中许多方法针对特定解码任务,或者只是补偿观测活动中的分布偏移,而没有明确把任务相关结构与记录变异分开。这一空白促使研究者构建一种通用表征,既能适应变化的神经元群体,又能保留生物学变化。

预测潜在状态而非重建脉冲

NeuroLens 建立在 JEPA 之上。JEPA 在潜在空间中预测被遮蔽或未来的表征,而不是复现记录活动的每个细节。论文的理由是:即使群体动态保持稳定,探针漂移也可能改变被记录的神经元;基于重建的模型必须解释这些观测变化,即使它们与所关注的神经计算无关。在潜在空间中预测强调时间上可预测的结构,并降低对短暂、记录特异性变异的敏感性。

模型架构分为两部分。日自适应编码器把每天规模不一的神经元群体映射到共同的潜在空间;跨天共享的因果 Transformer 预测器根据过去的潜在嵌入预测未来的潜在嵌入。训练目标结合预测均方误差与草图各向同性高斯正则化,以防止表征坍缩。由于每个时间箱独立编码,时间建模交给预测器,而不会泄漏进编码器。

校准特征让编码器迁移到新群体

交叉注意力对神经元 token 的顺序不敏感,因此仅凭脉冲计数无法告诉模型哪个神经元是哪个。论文用少量每日校准试次解决这个问题:每个神经元由放电率统计、自相关图和群体耦合来概括,网络再把这一特征映射为神经元嵌入,加到脉冲 token 上。使用生理特征而非固定的神经元 ID 嵌入,使模型能够借助少量校准试次迁移到未见过的神经元;在三个留出会话上的消融实验发现,基于校准的身份嵌入同时改善了运动和选择解码。

人类 Utah 阵列记录需要另一条路径。那里的通道捕获的是附近神经元的混合信号,而不是经过脉冲分选的单元,因此神经元特征可能掩盖通道身份并导致表征坍缩。模型改为用 MLP 编码器映射通道特征,并用一个以校准统计为条件的超网络生成编码器各层的日特定 FiLM 参数。在 T12 的五个留出日上进行的消融实验发现,通道漂移适应对音素解码有轻微改善,对句子检索有明确改善。

选择与句子语义解码更准确

在 IBL 任务的小鼠 Neuropixels 记录中,动物通过转动轮子报告刺激位于左侧还是右侧。在 14 个测试会话上,NeuroLens 相比因果 NDT 取得了更低的潜在有效秩、更好的选择解码和相当的运动解码。两个模型都优于直接使用原始神经活动的解码。论文还把左选择和右选择试次的潜在轨迹投影到前三个主成分上,报告称从 4 月到 6 月,两种选择之间的分离越来越清晰,且 NeuroLens 的分离比因果 NDT 更清晰,并用线性判别分析的平衡准确率进行了量化。

在两名因 ALS 导致构音障碍、尝试说出屏幕上句子的人类参与者 Utah 阵列数据上,NeuroLens 相比因果 NDT 改善了句子嵌入解码,音素解码则相当。更低的音素错误率和更高的 top-5 句子检索准确率表示解码更好。Top-5 准确率是在留出日上平均得到的,每天有 288 至 448 个候选句子,使随机水平保持在 1% 至 2%。这些是不同的指标:音素错误率评估的是 41 类音素序列,而句子检索是把预测嵌入与候选句子进行排序。

预训练对运动解码帮助最大

一个关键比较是:多日预训练是否优于直接在目标会话上训练。论文固定了目标会话的数据预算:单会话模型从零开始,在用于适应预训练模型的同一 20% 适应集上训练,架构、优化器、学习率计划和训练轮数完全相同,唯一区别是是否接触过 39 个先前会话。

在五个随机选出的留出会话上,预训练在每个会话上都改善了运动相关行为解码,提升幅度为 0.046 至 0.094 R²,平均 0.076。论文称这一幅度相对于基线之间的差异较大。对于选择解码,预训练模型在五个会话中的四个上领先。例外在表中可见:在 2023-05-24,单日模型达到 0.83 平衡准确率,而预训练模型为 0.61,因此收益并非在所有目标上都一致。

少样本适应只更新读入层

面对新的一天,基于梯度的少样本适应只更新编码器的读入层,包括脉冲投影器、身份网络和融合投影器,以及用于解码的附加解码头。交叉注意力层、区域嵌入和自回归预测器保持冻结,以保留预训练学到的表征和动态。当新会话有足够数据时,论文改为微调整个模型,包括解码头,用于语音解码等少样本适应可能表现不佳的任务。

这种划分对理解泛化主张很重要。模型中稳定的部分是共享预测器和潜在空间;发生适应的是把新群体映射进该空间的映射。因此,论文关于快速少样本适应未见神经群体的主张,依赖的是基于校准的读入层变化,而不是重新学习时间结构。

无需共同基底的漂移测量

为了刻画表征漂移,论文使用表征相似性分析。这种方法比较二阶结构,而不是逐点对齐表征。对每一天,它根据时间箱之间的 Pearson 相关构建时间表征相异矩阵,然后用 1 减去两天矩阵之间的 Spearman 相关来比较两天。当两天的时域几何完全相同时,该度量为零;随着两者分化,度量增大。

由于这种比较依赖成对关系而非坐标系,它可以在没有共同基底的情况下跨模型或跨记录日应用。论文通过从每个日对中减去日内分半漂移的平均值,校正日内采样变异,并把校正后的相异度作为日间隔的函数进行可视化。这提供了独立于解码性能的、无模型的漂移描述。

这种区分尚未解决什么

论文明确指出,它没有区分学习与行为变化引起的变化和神经本身的固有变化,也没有建模跨区域交互或区域特异的表征漂移。因此,核心框架——在保留生物学变化的同时降低对记录不稳定的敏感性——是由解码改善和更稳定的跨天表现支持的,而不是由对两种来源的直接分解支持的。读者应把该潜在空间视为一种对记录变异更稳健的表征,而不是对可塑性本身的可靠测量。

实际优先级来自比较结果,而不是来自框架表述。在 39 个先前日上预训练,在五个测试会话上都帮助了运动解码,在五个会话中的四个上帮助了选择解码;而少样本适应只触及读入层。最站得住脚的解读是:当稳定的共享潜在空间可以跨天复用、新群体只需要基于校准的轻量映射时,NeuroLens 的价值最明确;但需注意,有一个选择会话逆转了预训练优势。

本文引用的文献

1

NeuroLens: Learning Latent Embeddings of Neural Semantics from Chronic Recordings

一个基于 JEPA 的自监督模型通过预测未来的神经潜在状态,在小鼠和人类的长期皮层内记录中提升了对决策和语义任务变量的解码,并比现有最先进基线提供了更稳定的跨天解码。