基础模型何时能有效迁移到肌电任务?

EMG-FM-Bench 用 20 个数据集、9 个预训练模型测试迁移:预训练收益不均,新用户性能下降。

直接答案

预训练时间序列基础模型向肌电(EMG)的迁移是有条件的:全量微调会显著改变性能,预训练只对部分模型和数据集有帮助,而在未见用户上性能下降;五样本自适应在 70.2% 的受评模型-数据集组合上提升了 macro-F1,但只挽回了部分损失。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

这个基准实际测试了什么

EMG-FM-Bench 要回答的是迁移问题,而不是排行榜问题:一个在通用时间序列或生理信号上预训练的模型,在肌电上表现如何,又是在哪种自适应方式下表现良好?该基准统一了 20 个公开肌电数据集、包含超过 100 万个肌电片段,并在同一套评估框架下评测九个预训练基础模型配置。

这些数据集被刻意设计得高度异质。其中 15 个是上肢手势数据集,4 个是下肢运动数据集,1 个是序列到序列的打字数据集。采样率跨度从 100 到 2400 Hz,通道数从 6 到 128,分类数据集覆盖 3 到 52 个手势类别。这种跨度很关键,因为论文的核心主张是关于跨用户、传感配置、采集硬件和下游任务差异的迁移,而不是在某个干净数据集上的表现。

受评的九个配置来自七个模型家族:MOMENT-S 与 MOMENT-B、Chronos-2-S 与 Chronos-2-B、TimesFM、Lag-Llama、PatchTST、UniTS 和 BRANT。参数量从 PatchTST 的约 1M 到 BRANT 的超过 500M,后者在约 1.01 TB 颅内脑电记录上预训练。因此该基准混合了通用时间序列骨干与一个电生理专用模型。

线性探测不能替代骨干选择

第一个研究问题问的是预训练模型在冻结与全量微调两种情形下的表现。线性探测在每个骨干产出的表示上接一个线性分类头,并保持预训练权重冻结;全量微调则端到端更新骨干。两者都在相同的下游协议下评估。

论文的发现是:线性探测能提供关于冻结表示的有用信息,但不能完全反映同一模型在端到端微调后的表现。全量微调会显著改变下游肌电性能。实际含义是:冻结表示的排名能说明预训练特征的质量,但当部署方式涉及全量自适应时,它并不是选择骨干的可靠代理指标。

这一区分很容易被模糊。线性探测准确率与全量微调准确率回答的是不同问题:前者衡量冻结表示的线性可分程度,后者衡量权重可以移动后模型能达到的水平。论文把它们当作两类独立证据,而不是可以互换的分数。

预训练优势存在但并不普遍

第二个研究问题通过把每个预训练模型与同架构从零训练的模型对比,来分离预训练的贡献。正是这种架构匹配的对照让比较可解释:差异不能仅归因于架构或参数量。

在这些对比中,预训练的收益在不同模型间差异很大,并不普遍。预训练初始化改善了部分模型和数据集,而另一些在从零训练时表现相近甚至更好。讨论部分补充说,预训练收益集中在少数配置上,且并不随模型规模稳定增长。

最后一点提醒我们:强大的微调表现本身并不能证明预训练有用。一个模型在微调后可以取得很高的下游分数,而它的从零训练对照表现相当,此时预训练权重并不是优势来源。该基准在此的贡献是对照设计,而不是某个单一的头条数字。

未见用户仍是最难的情形

第三个研究问题关注在标注数据有限时对新用户的泛化。当模型在未见用户上评估时性能下降;论文报告五样本自适应在 70.2% 的受评模型-数据集组合上提升了 macro-F1,但只挽回了部分损失。

分母很重要:70.2% 是受评模型-数据集组合中的占比,不是用户占比,也不保证性能恢复。论文还指出,有限的标注数据并不能消除显著的个体间差异;讨论部分建议在平均准确率之外报告受试者层面的波动和 macro-F1,因为类别不平衡会掩盖失败案例。

有一个数据集让评估协议的影响格外突出。在 Mendeley Knee 数据集中,受伤史是受试者层面的标签,因此训练和测试中出现同一批受试者的协议,可能让模型利用受试者特有的信号特征。论文指出,该数据集上的线性探测、全量微调、从零训练和五样本结果应被理解为在已见受试者上的表现,而留出用户和留一受试者协议才能更有效地估计对未见受试者的泛化。

不同肌电任务类型上表现同步

第四个研究问题问的是性能在不同肌电任务间如何变化。该基准覆盖上肢分类、下肢分类,以及在 emg2qwerty 打字数据集上的连续肌电到文本解码,后者包含 1,135 个会话、346.4 小时记录中的 5,262,671 次按键事件。

模型在上肢与下肢分类之间的表现高度一致,并与连续肌电到文本解码保持强相关,不过最强的一致性出现在两个分类类别之间。论文报告了一项敏感性检验:剔除 Mendeley Knee 数据集后,上肢与下肢的秩相关在准确率上从 0.97 变为 0.92,在 macro-F1 上从 0.96 变为 0.98,但定性结论不变。

解码任务使用的指标与分类不同。模型用 CTC 损失训练,用字符错误率评估,后者通过拼接各窗口的预测来重建完整输入文本。因此分类性能与解码性能之间的相关性,是两个不同测量尺度之间的关系,而不是说一个分数可以替代另一个。

预处理流程决定了比较基础

所有数据集都经过统一的、感知采样率的流程:重采样到 1000 Hz 网格、20–450 Hz 带通滤波、在原始采样率支持时做 50/60 Hz 陷波滤波,以及逐通道、逐窗口的 Z-score 归一化。低于 1000 Hz 采集的记录先按原始采样率做带通滤波再上采样,上截止频率受原始奈奎斯特频率约束。

这一顺序既是设计选择,也是论文明确指出的限制。对于低于 1000 Hz 采集的记录,重采样只是统一了时间网格,并不能恢复原始奈奎斯特频率以上的频率成分。该基准统一的是模型间的接口,而不是记录本身的信息含量。

下游任务使用不重叠的 3 秒窗口,重采样后为 3000 个采样点,但有两个例外。CapgMyo 的试次约 1 秒长,因此每个完整试次作为一个样本并时间重采样到 3000 点。HD-EMG 的步态周期作为单个样本,不足时用反射填充到 3000 点。这些例外保留了试次和步态周期的边界,而不是把所有数据集强行套进同一套切分规则。

这个基准没有解决的问题

该基准在统一协议下评测了九个预训练配置,但论文并未声称这一集合穷尽了基础模型或肌电任务的空间。研究中纳入的 BiLSTM 参照被描述为有代表性的传统监督参照,而非与任务专用肌电架构的穷尽比较;它被排除在线性探测与微调的对比之外,因为这些设置需要预训练检查点。

结果也是在模型-数据集组合和任务类别层面报告的。诸如预训练收益集中在少数配置之类的表述,是跨基准的总体观察,而不是对某个新数据集或某个新用户群体的预测。论文自身的定位是诊断性的:它旨在展示迁移何时以及如何发生,而不是认证某个最佳骨干。

发布的产物是标准化数据集、预处理流程和评估代码,这正是让 20 个数据集上的比较可复现的原因。本文中任何单项主张的证据都来自该基准自身的评估,而非外部复现。

让自适应方式匹配部署问题

论文最具决策价值的经验是一条配对规则。冻结评估有助于识别大致的性能层级,但不足以选择打算全量自适应的骨干;模型应在部署时所用的自适应方式下比较。如果计划是端到端微调,那么线性探测排名就是错误的选择信号。

第二条规则来自架构匹配的对照:强大的微调表现本身并不能证明预训练有用,因此真正重要的比较是与同模型从零训练的结果对比。第三条关于用户偏移:由于五样本自适应在 70.2% 的受评模型-数据集组合上提升了 macro-F1,却只挽回了部分损失,有限的校准应被视为部分有效且依赖任务,而不是解决跨用户差异的方案。

综合来看,这些规则为使用该基准的人指出了明确的优先级:先确定部署方式是冻结还是全量自适应,再检查预训练优势是否能在从零训练的对照下依然成立,最后才问来自新用户的小规模标注集究竟能弥补多少差距。

本文引用的文献

1

EMG-FM-Bench:肌电基础模型迁移与自适应的综合基准

在 20 个公开肌电数据集和九个预训练基础模型配置上,全量微调相对线性探测会显著改变性能;预训练收益因模型和数据集而异,并不普遍;在未见用户上性能下降,五样本自适应在 70.2% 的受评模型-数据集组合上提升了 macro-F1,但只挽回了部分损失;性能在上肢分类、下肢分类和连续肌电到文本解码之间强相关。