神经元身份让每个会话都落在分布之外
细胞外电生理记录在每个会话中记录到的都是一组不同的神经元。电极插入位置会变化,阻抗变化会改变单元分离结果,即使轨迹完全相同,spike sorting 也会得到不同的神经元群体。论文在 IBL Brain Wide Map 上验证了这一后果:在来自 109 只受试者的全部 29,403 个会话对中,没有任何神经元标签被共享。其中 361 个会话对来自同一受试者,342 个(94.7%)的电极轨迹从未接近到 100 µm 以内,最近距离的中位数为 1.2 mm;即使那 19 个距离较近的会话对,标签也不匹配,因为 spike sorting 为每个会话单独分配局部聚类编号。
这一点之所以重要,是因为神经基础模型构建的 token 携带了某个神经元以及它所属会话的身份。如果没有神经元标签重复出现,这套词表就完全属于单个会话,每个新会话都是模型从未见过的输入。论文的出发点是:可用的 tokenizer 需要一个单元,同一个解码器能在每个会话中使用它,同时它还承载行为含义。
用群体几何取代神经元身份作为 token
TWS 在群体活动中寻找这个单元,即所记录神经元的联合活动。论文的前提是:这种活动在一个低维流形上演化,该流形在神经元更替中保持,并且在会话对齐后跨动物保持。流形在刺激出现、运动起始等任务事件处切换状态区间。在每个区间内,群体占据一个状态,也就是它在两个事件之间所覆盖的那部分流形,每个状态都带有自己的行为含义。
具体做法是,TWS 在这些事件处切分每个试次,把每个状态转换成群体几何的 token,不使用神经元或会话嵌入。每个会话最多输入 128 个单元,时间从刺激出现或 go cue 前 0.5 s 到其后 1.5 s,以 20 ms 分箱。一个在所有会话间共享参数的神经元编码器嵌入某个状态的神经元,置换不变的聚合把它们的嵌入汇总,再经正交化得到六个 Grassmannian token,交给 token 混合主干网络处理。由于 token 描述的是流形而不是给神经元命名,所有会话共享同一个 token 空间。
留出会话能解码运动,逐神经元模型则失败
核心比较在 53 个留出的 IBL 会话上进行。TWS 的运动 MCC 为 0.565 ± 0.006(5 个模型种子的均值 ± 标准差),而一个在这些相同会话上预训练的逐神经元基础模型只有随机水平。论文还报告,TWS 甚至能从与目标无关的状态区间边界解码运动,这正是使用状态几何而非目标相关活动的意义所在。
这里的 MCC 指 Matthews 相关系数,用一个数值平衡二分类预测的正确与错误,因此 0.565 远高于随机解码会产生的 0。同一留出协议下,TWS 的 RTR² 为 0.402 ± 0.003,选择 MCC 为 0.038 ± 0.006,区块 MCC 为 0.026 ± 0.004。这三个目标远弱于运动,所以主要结果应理解为强跨会话运动解码,而不是在所有行为变量上都同样成功。
仅在小鼠上训练,冻结后仍能读出猕猴伸手
更强的检验是跨物种、跨硬件的迁移。仅在小鼠上训练后,TWS 被冻结,只用一个在每个数据集上拟合的线性探针应用到猕猴和 Utah 阵列。在伸手方向上,这个目标并不由其边界定义,TWS 达到 0.23 的 Matthews 相关系数,而仅用事件时间只有 0.01。这一差距说明,状态 token 携带了切分时间本身无法提供的伸手信息。
适用范围在数据中有明确界定。伸手方向定义在来自 4 只伸手猕猴的 111 个 Utah 阵列会话中的 84 个中心向外会话里,评分也在这些会话上进行。对这个目标而言,与仅用事件时间比较是相关基线,因为边界本身并不编码伸手方向;一个只标记事件时间的 tokenizer 得分会接近 0.01。
token 比其上的模型更关键
论文关于跨会话泛化的总结性主张是:token 比其上的模型更关键。支持这一点的证据是,在反应时间上,用五个会话拟合的探针优于所有用全部会话拟合的基线,这正是共享 token 空间应当带来的效果:在少数会话上训练的解码器能泛化到其余会话。
主干网络被有意放在次要位置。TWS 默认使用卷积混合器,即四个核大小为 3 的卷积块作用于六个状态 token,d=256;论文报告它在运动 MCC 上最多领先 Mamba 和 Transformer 主干 0.03,而能混合 token 的各主干之间解码差异在 0.03 MCC 以内。去掉 Gram-Schmidt 正交化后,每个目标的跨会话解码变化都小于 0.01,因此 Grassmannian 形式只是 token 的一种便利实现,而非必需条件。流形维度消融显示,k_dim 取 1、2、4 时运动准确率分别为 0.864、0.865、0.867,论文选择 k_dim = 2。
这种不变性有其代价
讨论部分直接说明了限制,并把它们与设计联系起来。不使用神经元身份的 tokenizer 不必保留一个解码方向随会话而变的变量。在区间内取平均会放弃区间内的时间进程。TWS 还需要任务记录的事件时间,因此自由行为需要一种能从数据本身找出状态区间的 tokenizer。
这些并非附带说明;它们解释了为什么留出表中表现最弱的是选择 MCC 和区块 MCC,而不是运动。论文把 TWS 定位为适用于大多数实验室所持有的电生理数据集的实用模型:它不为任何会话拟合参数,只要求任务已经记录的事件时间,而在少数带行为标签的会话上拟合的探针能泛化到其余会话。
会话之间从不共享神经元时,应选择这种 token
这篇论文支持的决策很具体。当每个会话记录的都是不同群体、没有神经元标签重复出现时,如所考察的 29,403 个 IBL 会话对,逐神经元和逐会话嵌入从一开始就使用一套无法覆盖下一个会话的词表。在这种情形下,论文的证据支持把投入放在共享的群体几何 token 上,而不是放在其上更大的模型上:token 的改变把留出运动解码从随机水平提升到 MCC 0.565,而主干网络的选择最多只带来 0.03 的变化。
同一批证据也划定了这一优先级的边界。增益在运动上最强,在 RTR² 上较弱(0.402),在选择和区块 MCC 上接近零;跨物种迁移到伸手方向达到 0.23,而仅用事件时间为 0.01。TWS 还假设任务提供事件时间,并且区间内取平均可以接受,因此在自由行为场景,或某个变量的解码方向随会话变化时,这种 token 的优势最缺乏证据。
本文引用的文献
Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens
TWS 把任务事件之间的人群活动切成 token,不使用神经元或会话嵌入;在 53 个留出的 IBL 会话上,它的运动解码 MCC 为 0.565,而一个在这些会话上预训练的逐神经元基础模型只有随机水平;仅在小鼠上训练后冻结,它用一个线性探针即可迁移到猕猴和 Utah 阵列。
