关联画像能否让皮层内运动解码器跨会话适配?

APST 用少量标注试次算出四维单元—行为画像,在权重冻结下让皮层内运动解码器适配新会话。

直接答案

可以,至少在所测试的基准上成立。APST 让全部网络权重保持冻结,只用少量带标注的校准试次,以闭式解为每个单元估计一个四维关联画像,再以该画像为条件适配新的记录会话。在留出的 DANDI688 会话上,它的速度 R² 达到 0.78 和 0.81,而仅使用神经活动的变体为 0.40 和 0.58;同时,它的表现与在同一批试次上微调过的 RNN 持平或更好。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

冻结权重仍需行为标签

皮层内解码器会随会话更替而退化,原因是记录到的单元集合发生了变化:有的单元丢失,有的新增,有的发生漂移,而持续存在的单元也可能改变其放电与行为的关系。因此,在第 0 天拟合的解码器,若没有目标会话的校准,到之后的会话就会退化。论文把待解问题限定得很窄:少量带标注的试次,能否让一个权重始终不更新的解码器完成适配。

以往多数适配路线要么在每个新会话上更新网络权重,要么依赖无标注活动。论文认为,无标注活动无法解决全部漂移,因为一个持续存在的单元可能保持其放电统计特征不变,却改变了与行为的关系。行为标签可以揭示这种变化,论文也指出这类标签通常可得:临床皮层内脑机接口会定期用短时间的提示运动模块重新校准。APST 建立在这一前提上,而不是依赖额外的无标注数据。

每个单元的四维身份

APST 用一个关联画像概括每个单元:这是对该单元在校准试次中的活动与任务行为之间关系的四维描述。画像由带标注的校准试次以闭式解算出,不需要目标会话的梯度。它的作用是补充由同一批试次估计出的活动签名,因此一个单元同时由“它做什么”和“它怎么放电”来表示。

估计器因任务而异。对于二维运动,行为通过试次的运动方向进入模型,画像收集方向系数、由系数导出的调制深度以及基线响应,并用源会话统计量做标准化。对于 16 通道 EMG 任务和 7 维速度任务,行为通过每个条件的样本权重进入模型;由此得到的关联矩阵被投影到汇总源关联的前四个右奇异向量上,并用源矩做标准化。两条路径输出同一个四维接口,正因如此,同一套条件化方案才能同时服务平面任务和高维任务。

画像调节单元 token 而非权重

画像在两个位置起作用。在校准阶段,它通过 FiLM 调节单元的活动签名,即对单个活动特征做缩放和平移,并在身份网络之前与签名拼接;得到的单元身份只计算一次并缓存。在流式解码阶段,实时活动先经过一个覆盖五个时间 bin 的共享因果卷积,加上投影后的身份,再拼接画像,然后形成单元 token。

跨单元的聚合使用八个可学习的槽查询做多头集合注意力,并用填充掩码排除补齐的单元,因此单元数量可以变化。由于集合聚合对“同时置换每个单元的活动、身份和画像”保持不变,编码器可以接受任意数量和顺序的单元。随后,四层 pre-LN 因果 transformer 处理群体序列,逐层的键/值缓存把流式状态限制在解码器的感受野内,而不是整个会话历史。一个仅用于推理的因果 EMA(α = 1/3)对原始预测做平滑,并在会话边界重置。

画像把 R² 明显推高于仅用活动

关于画像最清晰的证据来自 DANDI688 上的消融实验,该数据集使用两只猴子在相同配置下记录到的已分类单单元。每个目标会话使用 32 个带标注的校准试次时,APST 在 Sub-C 上达到速度 R² 0.78,在 Sub-M 上达到 0.81,而仅使用神经活动的变体分别为 0.40 和 0.58。性能指标是每个会话的方差加权速度 R²,再取等会话平均,因此这些是会话层面的汇总值,而不是把试次合并后的分数。

另外两项比较进一步说明画像贡献了什么。把画像在单元之间打乱后,得分低于仅用活动的变体,这说明增益取决于画像是否附着在正确的单元上,而不是取决于多了一个输入通道。此外,APST 与在同一批试次上微调过的 RNN 持平或更好,这一比较在 4、8、16 和 32 个试次的预算下进行。这项比较之所以重要,是因为微调的 RNN 会在目标会话上更新权重,而 APST 不会。

FALCON 精度随受试者差异明显

在 FALCON 的私有留出评估中,APST 在 M1 上取得 R² 0.65,在 M2 上取得 0.42,在 H1 上取得 0.44。这些是官方 EvalAI 在留出会话的私有评估数据上算出的均值,并报告了标准差;FALCON 的输入是未分类的阈值穿越,而不是已分类单元。受试者之间的差距是显著特征:同一方法在 DANDI688 上接近 0.8,在三个 FALCON 基准中的两个上却只有 0.42–0.44。

论文没有把这一差距归因于单一原因。协议本身说明的是,这些数字不能与 DANDI688 的数字互换:受试者不同、信号类型不同、评分流程不同,而且评估集是私有的。读者若要把 APST 与另一个解码器比较,应在同一基准和同一评估路径内比较,而不是跨基准比较。

按任务定制的估计器仍是设计限制

画像估计器及其源基仍然按任务设计。方向估计器和 SVD 压缩估计器是两套独立构造,按任务类型选用;论文也指出,两个条件化位置在不同任务间如何分工,仍有待刻画。因此,共享的四维接口确实统一了输出格式,但还不是统一的估计器。

论文提出的下一步是:跨数据集和模态,与解码器联合学习统一的画像估计器。在此之前,证据支持的是:在所测试的基准上、在每个会话开始时能获得校准标签的前提下,用画像条件化来适配一个源训练好的集合—时序解码器,而无需目标会话的权重更新。

标签预算才是实际可调的杠杆

论文中最具决策相关性的比较,不是 APST 与某一个基线的对比,而是两个事实的并置:画像带来的增益出现在 DANDI688 的 32 试次校准预算下,而与微调 RNN 的比较覆盖 4、8、16 和 32 个试次。这使得校准标签数量成为实践者应关注的变量,因为它是该方法所依赖的输入,也是冻结权重主张与权重更新式适配相比较时所沿的轴。

由此得出的优先级针对这一设计。如果会话开始时能获得带标注的校准试次,且不希望做目标会话的反向传播,那么证据支持的选择就是 APST 的冻结权重画像条件化,预期性能应取自相匹配的基准,而不是取自最好的报告数字。如果任务落在论文所构造的方向估计器和 SVD 压缩估计器家族之外,那么按任务定制估计器的限制会先于任何精度数字生效。

本文引用的文献

1

Association profile conditioning in a set-temporal transformer for cross-session intracortical motor decoding

APST 在全部网络权重冻结的情况下,用少量带标注试次得到的四维单元—行为关联画像来适配跨会话皮层内运动解码,在留出的 DANDI688 会话上速度 R² 达到 0.78 和 0.81,而仅用活动的变体为 0.40 和 0.58。