确定性流程能否大规模为可穿戴健康时序数据生成描述?

TimeCap 用确定性规则生成 700 万条可复现描述,加描述训练在 32 项测试中 29 项优于仅用标签。

直接答案

可以,至少在一个大型可穿戴队列上成立。TimeCap 是一个开放、确定性的流程,直接依据信号规则生成描述,整个环节不引入语言模型;把它应用到 MyHeart Counts 数据集后生成了 MHCap:覆盖 19 个 Apple HealthKit 通道、908,944 人日,共 7,005,763 条描述。用这些描述训练时序语言模型后,在 32 项按用户计算的二分类评估中有 29 项优于仅用标签的基线,提升最大的是模型在微调阶段从未见过的临床任务。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

描述必须可复现,而不只是数量多

时序语言模型学习描述和推理传感器信号,但需要成对样本:一段信号,加上说明这段信号里发生了什么文字。论文认为,阻碍这一领域的与其说是模型架构,不如说是这类配对数据的供给。面向多模态消费级可穿戴设备的最大配对语料包含 103,731 名参与者的 5,970 万小时数据,但它是封闭的;最大的开放替代方案在记录小时数上大约小四个数量级,且只覆盖手机和智能手表来源的模态,共 60 名受试者的 ExtraSensory 记录、5,648 个问答对。

用大语言模型写描述可以缩小这一规模差距,但论文指出了另一种代价。语言模型的输出无法被精确重新生成,因此其他人无法重新推导、扩展或审计由此得到的语料。作者还提到一个更隐蔽的问题:如果之后用同类模型在由语言模型生成的描述上做评估,那么评估的一部分就变成了对描述生成模型的蒸馏,而不是检验模型是否读懂了信号。

TimeCap 的做法是把语言模型完全移出标注环节。描述由施加在信号上的固定规则和阈值生成,因此任何能访问这些信号的人都能重新生成同样的描述。这里“确定性”的含义就是:相同的输入和相同的通道定义会得到相同的文本,从而使每条描述都能追溯到一条可被检查和修改的规则。

三层提取器加一个跨通道合成层

该流程由可组合的提取器层构成,每一层以不同方式查看信号。统计提取器概括一个区间内的水平和波动;结构提取器检测事件和片段;语义提取器附加来自数据集自身通道定义和标签的含义。随后,跨通道合成层把多个通道的证据组合起来,因此一条描述可以关联同一区间内的心率与皮肤电活动,而不是孤立地描述每个通道。

可扩展性来自通道模式抽象:把 TimeCap 适配到新的可穿戴数据集只需编写通道定义,而不必重新设计标注流程。论文通过把同样的分层应用到第二个差异很大的数据集来证明这一点。WESADCap 覆盖 20 个胸部和腕部生理通道,包括加速度、皮肤电活动、温度、呼吸、血容量脉搏、肌电和心率,并带有基线、压力和愉悦条件以及冥想阶段的二分类标签,在会话层面实例化。

这一取舍在论文的限制部分写得很明确。描述来自固定模板库,每种描述类型有 20 个变体,这限制了它们的语言多样性。作者还指出,他们没有测试两个相邻的基线:对相同信号用语言模型生成描述,以及用前沿视觉语言模型对渲染出的信号图图像进行提示。这些比较本可以量化设计刻意做出的“确定性对词汇多样性”取舍,但在本研究中仍未测试。

MHCap 究竟包含什么

把 TimeCap 应用到 OpenMHC(MyHeart Counts 可穿戴数据集)后生成了 MHCap,论文称其为多模态可穿戴时序数据最大的开放描述层。它覆盖 19 个 Apple HealthKit 通道,包括 iPhone 活动、Apple Watch 生理、睡眠阶段和十类锻炼,总计 2,081 名参与者的 908,944 人日、7,005,763 条描述。

这些单位对理解后续结果很重要。人日是一名参与者一天的数据,不是一名参与者;描述数量是生成文本单元的数量,不是独立临床观察的数量。该语料继承了 OpenMHC 的数据质量过滤:当全部七个连续通道为零或缺失超过连续 30 分钟时,该时段计为非佩戴;一天只有在估计佩戴时间至少 12 小时并通过逐通道方差阈值(用于去除接近恒定的传感器伪影)时才被保留。

这些数字背后的队列偏向美国白人男性参与者,年龄中位数为 39 岁。作者指出,在该语料上预训练的模型可能无法均匀泛化到代表性不足的人群,这是对语料本身的约束,而不是对描述方法的约束。

多数二分类测试中描述优于标签

为检验该语料是否有用,作者在 MHCap 上训练时序语言模型 OpenTSLM,并对健康结局预测进行基准测试。比较对象是 OpenTSLM-Cap(用描述加标签训练)与架构完全相同的仅用标签基线。在按用户计算的 AUROC 和 AUPRC 上,加入描述的训练在 1B 和 3B 两种参数规模下,于 32 项二分类指标任务中的 29 项优于基线。

这个总数需要看清分母。32 项评估是按用户计算的二分类指标任务:8 个任务,每个任务用两个指标评分,再乘以两种模型规模。这些指标先把每名用户的每周二分类预测聚合成均值,再在用户之间排序,因此它们描述的是用户之间排序的好坏,而不是某一次个体预测是否正确。

论文对这一模式的总结是:描述增加了一种在微调后仍然存在的信号,并且在每个二分类任务上都有帮助,无论模型在训练时是否见过该任务。最后这一点是更有意思的论断,也正是按周结果变得相关的地方。

提升最大的是未见过的临床任务

按周计算的 macro-F1 显示了优势集中在哪里。在 3B 规模下,留出的临床状况显示出明显的描述增益:心血管疾病(+3.4)、糖尿病(+6.1)、冠状动脉疾病(+2.6)和房颤(+2.6)。这些任务被标记为留出,意味着模型在微调时没有见过它们。分布内的序数任务在 3B 下也有改善,BMI 的 QWK 提高 +4.8,幸福感提高 +5.0。

消融实验增加了第二层信息。只用单一描述类别训练 1B OpenTSLM-Cap,就能把平均按用户 AUROC 相对仅用标签基线提高 1.9 到 3.2 个百分点,大于各类别之间 1.3 个百分点的差距。没有哪个类别在所有任务上都胜出,但只有完整混合才在全部八个二分类任务上超过基线,而 TimeCap 新增的跨通道描述平均而言与结构描述相当。

同一消融实验也标出了边界。仅用标签在序数目标上仍然领先,按周差异很小且方向不一。描述监督不是统一的升级;它的收益集中在二分类,尤其是模型未针对其调优的临床标签上。

描述优势在哪里停止

论文报告了未纳入其主要结果部分的额外零样本实验:向留出的血压和睡眠时长类别做序数迁移时,所有配置都失败了。解析率崩溃,预测退回到多数类。作者将此解读为证据,表明仅靠描述监督尚不足以应对类别严重不平衡的临床标签。

第二个边界是预测层级。临床任务(高血压、睡眠诊断和四个留出状况)上按用户 AUROC 在 59.4 到 70.5 之间,表明这是群体层面的模式,而不是可靠的个体预测。作者指出,任何个体层面的使用都需要独立的前瞻性验证,并需要防止滥用的保障措施,例如防止保险公司或雇主使用。

第三个是序数任务的测量可靠性。论文指出,Spearman 和 QWK 的可靠性随预测分数和真实分数的分布范围而变化,因此高度集中的任务有效信号更低。例如,幸福感任务的 328 名用户中有 75% 处于高或非常高等级,而 BMI 的 557 名用户分布在五个等级上。集中任务上较低的序数分数部分反映了这种分布,而不只是模型质量。

可复现语料带来的判断

论文的独特主张不是描述能帮助模型,而是可以这样构建语料:其描述可复现、可审计,并独立于在其上评估的模型,而且这样的语料大到足以训练。29/32 的结果是演示;确定性流程是作者期望他人复用的贡献。

对于判断这是否重要的读者,有用的划分是按任务类型和预测层级。描述优势在 3B 规模下模型微调时从未见过的二分类临床结局上最强,在分布内二分类任务上存在但较小,在仅用标签仍领先的序数目标上则不存在或为负。临床任务上按用户 AUROC 的范围把结果定位在群体层面,而不是个体层面。

作者还指出一个由语料设计直接推出的具体下一步:在结构检测之前加入逐通道数据可用性门控,防止缺失或零填充时段被描述为事件。这提醒人们,确定性描述的好坏取决于定义“什么算事件”的规则,而这些规则正是该流程使其可见且可修改的东西。

本文引用的文献

1

TimeCap:面向可穿戴健康时序数据描述的可扩展开源流程

TimeCap 是一个开放、确定性的描述生成流程,整个环节不引入语言模型;它生成的 MHCap 覆盖 19 个 Apple HealthKit 通道、908,944 人日,共 7,005,763 条描述;加入描述的训练在 8 个任务的 32 项按用户二分类评估中有 29 项优于仅用标签的基线。