带图结构对照的标签效率检验
毫米波雷达和 RGB-D 相机可以连续、无接触地记录心脏和呼吸波形,但带标签的记录仍然稀缺,因为每个标签都需要一次有监督的采集过程。论文要问的是:在无标签信号上做自监督预训练,能否让后续分类器用更少的带标签片段就达到较高准确率。第二个问题更窄:当一段记录同时包含心脏和呼吸两类信号流时,把预测限制在测量同一生理现象的流之间,是否有帮助。
所提出的模型 Phenomenon-Graph JEPA 是一种联合嵌入预测架构。它不对比增强视图,也不推开负样本对,而是预测目标窗口经过停止梯度处理的嵌入。基础配置使用四条经过处理的一维信号流,不使用负样本对,也不使用合成增强。每条流分别经过一个时间卷积分支和一个带限频谱分支,每条流得到 192 个特征,四条 OMuSense 流合计 768 个特征,且没有学习式融合层。
论文把图结构问题当作假设来检验,而不是直接假定。类型化图把雷达心脏信号连到相机远程光电容积描记,把雷达呼吸信号连到深度呼吸信号。错误连边图跨生理现象连接,但保持相同的边数和有向预测器数量;全连接图则加入全部六条边。类型化图和错误连边图各训练 219 万个预训练参数,因此这一比较只改变拓扑;全连接图训练 319 万个参数,因此同时改变了预测器容量。
用预测目标取代负样本对
避开对比学习的动机来自心肺数据本身。对比方法需要两类设计决定:一组能保留下游类别的变换,以及一条判定哪些窗口对属于负样本的规则。对这些信号来说,时间伸缩会改变呼吸频率,幅度缩放会改变容量代理指标,而相隔较远的两个窗口可能描述同一生理状态。这些条件让上述两项设计都变得不确定。
Phenomenon-Graph JEPA 改为训练三种预测损失。跨边预测把一条流的在线组合投影映射到同一时刻相连流的时间目标。单独的频谱预测器在频谱投影之间做映射。流内预测器预测同一片段中更晚的窗口,并用正弦编码表示上下文窗口与未来窗口之间的位移。目标来自编码器和投影器的指数滑动平均副本,并施加停止梯度,因此目标从不作为预测器的输入。
由于常数嵌入会使每个余弦项都最小化,方差和协方差惩罚作用于在线投影,以保持各维度活跃且不重复。有一个细节对理解标签效率结论很重要:损失不使用类别目标,但由标注推导出的片段边界限制了未来窗口的采样范围。因此预训练流程不含类别标签,但仍含标注信息。
标签预算越少,增益越大
主要证据来自 OMuSense-23 的活动识别,评估对象是同样的十名 fold-V 测试参与者。在基础配置下,预训练把归一化对数预算面积相对匹配的监督训练提高了 3.91 个百分点,95% 参与者自助区间为 2.08 至 5.80,Holm 校正后 p 值为 0.006。十名参与者全部显示 JEPA 更优。
逐预算曲线说明了这一面积来自哪里。在基础配置下,预训练在全部五个预算上都领先监督训练,且差距在最低预算处最大:1.11% 标签时领先 7.6 个百分点,4.44% 时领先 6.1 个百分点,到全标签时收窄至 1.4 个百分点。名义 1% 标签时宏平均 F1 为 36.3 对 28.7,全标签时为 75.1 对 73.7。
第二种配置加入平移和传感器掩蔽,对同一批参与者给出 3.74 个百分点,区间为 1.68 至 5.78,Holm 校正后 p 值为 0.0234。它的曲线并非全面更优:预训练在 1.11%、4.44% 和 10% 标签时领先,而监督训练在 50% 和 100% 时领先,全标签时宏平均 F1 为 78.6 对 76.5。因此论文的主张针对的是以面积衡量的标签效率,而不是全监督下的普遍提升。
类型化生理连边未能与对照区分
图结构假设没有得到同样的支持。在基础配置下,类型化连边减去错误连边为 −0.74 个百分点,95% 区间为 −1.44 至 0.03,Holm 校正后 p 值为 0.2031。类型化连边减去全连接为 −0.43 个百分点,区间为 −1.65 至 0.87,Holm 校正后 p 值为 0.5352。两项对照都未能证明生理类型化带来增益。
逐预算数字让这一点更具体。1.11% 标签时,错误连边图达到 38.52 宏平均 F1,全连接图为 36.63,而类型化图为 36.25。4.44% 时,错误连边图达到 48.72,高于类型化图的 45.44 和全连接图的 47.23。在预训练帮助最大的那些预算上,类型化图并不是最好的图。
这正是论文要把两个容易被混为一谈的主张分开的原因。实测增益属于所评估条件下的预测学习框架。用于组织训练的生理先验仍是未解决的贡献因素,作者明确表示,观测到的增益并不能证明所提出的图结构解释了这些增益。
已发表融合方法与既往自监督仍是独立基线
论文还与同一语料上已发表的融合结果做了比较,已发表融合仍然更强。那些固定划分的分数对应五折表中的 Fold I,该表还报告了性别识别 56.40 和联合姿态—活动识别 79.20,属于不同终点。由于仅凭印刷的折名无法把固定划分与 fold V 对应起来,论文不把两者视为同一留出队列。
一个历史上的对比式自监督复现同样不是匹配对照。它达到 72.71 的活动准确率,而原始报告为 74.00,但预处理、适配方式、随机种子数和聚合方式不同,无法做仅针对目标的比较。它的宏平均 F1 曲线在 1.11%、50% 和 100% 标签时低于基础预训练,但在 4.44% 和 10% 时高于基础预训练。由于适配方式、表示宽度和种子数不同,这些交叉描述的是两个系统,而不是对目标的受控比较。
准确率与宏平均 F1 在这里也会分化。名义 1% 标签时,JEPA 与监督的准确率在基础配置下为 38.25 对 33.78,在第二种配置下为 40.95 对 34.14。在这些类别均衡的参与者窗口上,准确率与平衡准确率一致,而宏平均 F1 不同,因此这些准确率数值不能与主表中的宏平均 F1 数值互换。
优势未延续到仅腕部信号的 WESAD
两项已完成的 WESAD 冥想协议检验了在非接触场景之外是否出现相应的标签效率优势。两者在测试时都只使用腕部信号:预训练用腕部血容量脉搏配对胸部 ECG,用腕部皮肤电活动配对胸部皮肤电活动,随后丢弃胸部编码器。两项协议都未能证明预训练优势。轮换划分下 JEPA 减监督为 +0.25 个百分点,95% 区间为 −3.88 至 4.62,Holm 校正后 p 值为 0.9129;留一参与者为 −1.16 个百分点,区间为 −4.39 至 1.56,Holm 校正后 p 值为 0.5054。
论文明确拒绝把这一对比解读为传感器接触效应。WESAD 与 OMuSense 在任务、标签预算、参与者、窗口长度和训练计划上都不同,因此两者的差异不能把接触单独分离为因果因素。更合适的读法是:WESAD 结果界定了 OMuSense 标签效率发现已被证明的范围,而不是解释它为何在别处失效的证据。
一个可选的、受 Takens 启发的延迟坐标变体提供了进一步的局部结果。它在与时间支撑匹配的学习历史对照的验证比较中有所改善,但没有纳入主要测试评估。因此它不在核心标签效率主张之内。
可信的是标签效率面积,而非图结构叙事
对想从这篇论文中取用的读者来说,优先要分清的是两个结果的差别。标签效率面积增益有匹配的监督基线、明确的区间、校正后的 p 值,并在基础配置下十名参与者中全部一致。类型化图优势则是未能通过自身容量匹配对照和更密集对照的结果,而且在两个最低预算上,错误连边图实际上是三种图中最强的。
最限制这一正面结果的条件由作者自己说明。所有 OMuSense 比较都使用同样的十名测试参与者,他们也出现在早先的项目评估中,且第二种配置是在第一种配置评估之后才确定的。因此两个正面结果是在同一队列、两种配置下的观测,而不是独立重复;Holm 校正族也没有覆盖整个项目中做过的所有探索性比较。
实际读法是一种情景划分,而不是一般性建议。在带标签片段非常稀缺时,基础配置相对匹配监督的优势最大,1.11% 标签时为 7.6 个百分点,4.44% 时为 6.1 个百分点。在标签充足时,第二种配置的监督基线反而领先,宏平均 F1 为 78.6 对 76.5。论文自己指出的下一步检验,是在匹配协议下与更强的特征融合基线比较,并评估对独立队列的泛化,因为图先验和延迟坐标仍是未经证实的贡献因素,而不是已确立的增益来源。
本文引用的文献
Phenomenon-Graph JEPA:面向非接触心肺传感的标签高效表示学习
在 OMuSense-23 上,预训练把标签效率面积相对匹配的监督训练提高了 3.91 个百分点(95% 区间 2.08 至 5.80,Holm 校正后 p = 0.006),在第二种配置下提高 3.74 个百分点,但错误连边和全连接对照未能证明生理类型化连边带来增益。
