在固定风险目标下,选择性睡眠分期如何接受更多 epoch?

COVER 学习主分类器何时出错,在 Sleep-EDF-20 上以 4.5% 风险将接受 epoch 比例提升至 50.4%。

直接答案

在 5% 接受风险目标下,COVER 用基于两个模型输出学习到的错误分数替代最大 softmax 概率,再对该分数做精炼以最大化覆盖率,从而让固定的主睡眠分期器接受更多 30 秒 EEG epoch。在 Sleep-EDF-20 上、受试者不参与任何拟合与选择时,学习到的分数在相近的受试者等权风险下把平均受试者覆盖率从 31.5% 提升到 48.8%,完整流程在 4.5% 受试者等权风险下达到 50.4% 的平均覆盖率。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

覆盖率由错误预算换取

睡眠分期级联让一个较小的主分类器保留它能可靠处理的 epoch,把其余 epoch 交给更强的模型。因此第一阶段是一个选择性分类问题:在把被接受 epoch 中的错误率(即接受风险)控制在规定目标以内的前提下,尽可能多地接受 epoch,这一比例称为覆盖率。COVER 只研究固定主分类器下的这一阶段;论文指出完整的第二阶段仍属未来工作。

这一区分之所以重要,是因为两个量直接此消彼长。提高覆盖率会纳入更多不确定的 epoch,而接受风险约束正是阻止接受集合吸收那些自信却错误的预测。COVER 的评估在 Sleep-EDF-20 上使用 5% 的接受风险目标,受试者不参与任何拟合与选择,因此报告的覆盖率是在评分器开发期间从未见过的受试者上测得的。

相同的置信度可能掩盖不同的错误

最大 softmax 概率(MSP)是标准的接受信号:最高类别概率高的 epoch 被接受。论文反对依赖它的理由是,相同的 MSP 值可能掩盖不同的次优类别、不同的分布形状,或与辅助模型不同的吻合程度,而这些差异可能携带单个置信度值所丢弃的主分类器错误信息。

COVER 的第一步是辅助信息驱动的主分类器错误学习,它用两个模型的输出构建 37 维风险向量:主分类器是 EEG Conformer,辅助模型是在手工特征上训练的随机森林。14 个特征概括主分类器概率,14 个概括辅助模型概率,9 个刻画分歧,包括前向、反向和对称 KL 散度、Jensen-Shannon 散度、标签分歧,以及每个模型赋予对方预测类别的概率。分歧与两个模型的置信度配对使用,因为单看分歧是有歧义的:出错的可能任一方。释放的标签始终是主分类器的预测。

两个目标,两种不同的任务

初始错误分数是一个受试者加权的逻辑回归,用二元交叉熵训练来预测主分类器是否出错。该目标奖励对每个 epoch 的错误预测,但第一阶段的效用只取决于被接受的 epoch,因此一个平均意义上好的错误预测器未必能产生最大的低风险接受集合。

固定尺度精炼通过优化覆盖率目标本身的平滑版本来弥合这一差距:用 sigmoid 门替代硬性的接受或拒绝决策,得到可微的覆盖率和接受风险,精炼在软风险不超过目标的前提下最大化软覆盖率。论文通过梯度解释实际差异:二元交叉熵按残差给每个 epoch 加权,而精炼按一个在软接受边界处达到峰值、在饱和区域很小的项来缩放每个 epoch 的贡献。因此精炼把评分器有限的线性容量花在接受与否真正存疑的 epoch 上。

固定尺度部分解决一个混淆。门只通过阈值、权重和温度三者的比值依赖它们,因此三者同比例缩放时每个门都不变,但正则化惩罚会改变。COVER 把尺度锚定到二元交叉熵解,把温度固定为 0.2,并在精炼期间保持尺度和截距不变,使正则化强度作用在一致的参照上。

学习到的分数接受多得多的 epoch

核心比较单独考察第一步。辅助信息驱动的错误学习在相近的受试者等权风险下,把平均受试者覆盖率从 MSP 的 31.5% 提升到 48.8%。这是匹配风险水平下的覆盖率比较,并不声称学习到的分数校准得更好。

第二个比较改为固定接受量。当 MSP 在每个受试者中接受与学习到的评分器相同数量的 epoch(总计 20,639 个)时,错误从 1,467 降到 867。这一匹配预算视角回答的是与覆盖率比较不同的问题:在交给后续模型的工作量相同时,被接受的标签有多少是错的。论文报告,线性二元交叉熵评分器在 20 个受试者中的 16 个上匹配错误数少于 MSP。

精炼带来小幅但一致的增益

在嵌套开发中,固定尺度精炼在其初始化基础上增加了 1.7 个百分点的覆盖率。在八个被评估评分器的主要比较中,COVER 取得最高的平均覆盖率,在 4.5% 受试者等权风险下为 50.4%,高于选择性排序基线 SELE 的 49.3% 和概率融合对照 DuoF 的 43.6%。

对 SELE 的优势很窄,论文明确说明了这能说明什么、不能说明什么。在 30% 至 60% 的接受区间内,保存的 Linear-BCE、FixedScale 和 SELE 曲线相差至多 0.41 个百分点,作者指出相似的配额表现并不能确立统一的排序优势,因为锁定的规则可能在不同受试者间以不同方式分配接受量。FixedScale 与 Linear-BCE 的匹配预算风险差为 +0.11 个百分点,描述性区间为 -0.18 至 +0.48,跨越零。

接受规则在评分器未见过的受试者上确定

COVER 在每个外层折中划分三种受试者角色。FIT 受试者开发评分器,CERT 受试者在评分器冻结的情况下锁定接受规则,OUTER 受试者评估冻结后的系统。FIT 受试者的风险向量来自折外的组件预测,因此评分器学习的是它部署时会看到的那类输出,即组件对未参与其训练的受试者打分。

接受规则在 CERT 上选择:在经验接受风险不超过目标的前提下最大化实际受试者覆盖率,并附加一个支持约束,要求每个 CERT 受试者至少贡献 50 个被接受的 epoch。该支持约束不是逐受试者的风险界限。如果没有候选规则可行,COVER 对所有 epoch 弃权。论文将此描述为没有有限样本保证的经验规则选择。

一个队列、一种架构、一个随机种子

报告的结果来自单个 20 人队列、一种主分类器架构和一个协议随机种子。FixedScale 是在一个未达到成功门槛的预设多条件实验之后才确定的,而用于主要匹配比较的 Linear-BCE 锚点是在预设分析之后选定的。嵌套开发复用了冻结的组件输出,这限制了组件层面的独立性。

论文还指出,辅助随机森林的输入特征不进入风险向量,因此 COVER 和 DuoF 使用的是同样两个组件的输出;两者的比较差异在于损失、容量和选择,而非可用信息。没有评估下游模型,因此错误消解和端到端计算节省(包括辅助与评分成本)仍未被测量。

增益来自错误分数而非精炼

综合来看,结果给两项创新的权重差别很大。从 MSP 转向辅助信息驱动的学习错误分数,带来了覆盖率的大幅变化(在相近受试者等权风险下从 31.5% 到 48.8%),以及匹配预算错误从 1,467 降到 867。固定尺度精炼在嵌套开发中在其初始化基础上贡献 1.7 个百分点,其与 Linear-BCE 的匹配预算风险差跨越零。

对任何构建级联的人来说,这一排序是论文最具决策相关性的信息:覆盖率来自接受信号,而非精炼目标。精炼的既定作用是在二元交叉熵初始化基础上改善锁定的工作点,作者把相似的匹配预算排序和风险更高的交换集合描述为与边界聚焦目标一致,但并未确立统一的排序优势。下一步评估需要在应用于此前未暴露的受试者之前冻结完整的评分与选择流程,还需要一个下游模型才能把第一阶段覆盖率转化为实测的端到端节省。

本文引用的文献

1

COVER: Learning to Accept More in Selective Sleep Staging

辅助信息驱动的错误学习在相近受试者等权风险下,把 Sleep-EDF-20 上的平均受试者覆盖率从 MSP 的 31.5% 提升到 48.8%,完整 COVER 流程在 4.5% 受试者等权风险下达到 50.4% 的平均覆盖率,在八个被评估评分器中最高。