随机配对交叉注意力能改善多模态儿科睡眠表征吗？

用随机信号对替代固定模态组合

这篇论文要回答的问题是：自监督模型能否通过训练随机挑选的通道对，而不是固定的模态组合，学到生理睡眠信号之间有用的关系。SleepPairNet 把每个多导睡眠图通道当作一个独立模态。每次训练迭代，它从 NCH 的 16 个通道中抽取两个，遮蔽每个通道一半的时间 token，再通过交叉注意力让一个模态的 token 关注另一个模态。由于每一步的配对都在变化，同一个模型会接触到多种信号组合，而不是只接触一种。

这一设计有一个论文直接说明的实际理由：SynthSleepNet 这类固定组合模型一旦通道组合改变，就需要重新做多模态预训练。相比之下，单个 SleepPairNet 模型无需额外的跨模态预训练，就能处理其 16 个通道专用编码器组成的全部 120 个配对，作者称这降低了计算和存储成本。

两阶段预训练分离单通道学习与配对学习

预训练分两个阶段。第一阶段为 16 个通道各自独立预训练一个 NeuroNet 编码器，方法是重建被遮蔽的 CNN 骨干特征，并在两个独立遮蔽的视图上使用 NT-Xent 对比损失，每个视图遮蔽 75% 的 token。第二阶段冻结这些单通道骨干和编码器，再用随机配对训练交叉注意力编码器和解码器，每个模态以 0.5 的比例遮蔽，重建损失只在被遮蔽的位置计算。

论文通过对比 SleepPairNet 与“Concat”模型来单独考察第二阶段的作用。Concat 对同样的第一阶段表征做时间平均池化并拼接，但不做跨模态预训练。这一比较最能说明随机配对交叉注意力本身带来了什么，并与单通道编码器本身的强度区分开。

NCH 测试集上呼吸任务收益最大

在 NCH 测试集上，SleepPairNet 在呼吸任务上的 F1 和 AUPRC 均优于所有所评估的基线。作者强调这两个指标，是因为事件检测的类别极度不平衡。增益最大的是低通气，F1 和 AUPRC 都提高了 5.8 个百分点。论文报告的任务患病率为：呼吸暂停 0.8%、低通气 1.9%、血氧饱和度下降 8.7%、脑电觉醒 4.6%，这也是为什么单看准确率会产生误导，以及为什么要在 F1 之外同时报告 AUPRC。

结果并不一致。在睡眠分期和脑电觉醒上，表现最好的分别是 SynthSleepNet 和 SleepFM；SleepPairNet 的睡眠分期 F1 比它自己的 Concat 消融低 3.6 个百分点。作者把脑电任务上剩余的差距部分归因于预训练接触的信号：SleepFM 在脑电、呼吸和肌电信号上联合预训练，所评估的 SynthSleepNet 模型在脑电–眼电/肌电组合上预训练，而 SleepPairNet 从全部 16 个通道中采样配对，因此用更广的生理信号覆盖换取了反复接触脑电中心配对的机会。

交叉注意力在拼接之外带来呼吸任务增益

Concat 消融显示了第二阶段跨模态预训练在哪些地方有帮助。在 NCH 呼吸任务上，SleepPairNet 的 F1 比 Concat 高 3.6 至 4.8 个百分点；而在睡眠分期和觉醒上，两者差距在 2.2 个百分点以内。Concat 本身也常常与现有多模态自监督模型不相上下，作者据此认为第一阶段编码器为第二阶段提供了坚实基础。

这一模式支持的是一种有限的解读：随机配对交叉注意力阶段与呼吸任务上的改善相关，而不是全面提升。论文没有报告固定配对交叉注意力的变体，并把比较随机配对与固定配对预训练列为未来工作，因此当前结果没有把随机性与交叉注意力各自的贡献分开。

迁移到 CHAT 后呼吸任务增益扩大

在跨数据集评估中，NCH 预训练的模型被冻结，只在 422 份 CHAT 基线多导睡眠图上训练线性分类器，且仅使用与 NCH 重叠的 12 个通道。SleepPairNet 再次在所有呼吸任务上优于全部基线，增益比在 NCH 上更大，血氧饱和度下降的 AUPRC 最高提升 14.4 个百分点。部分 NCH 通道在 CHAT 中不可用：呼吸暂停任务中，眼电 ROC–M1 被脑电 F3–M2 替代；低通气任务中，脑电 CZ–O1 被脑电 F4–M1 替代。即使使用这些替代配对，SleepPairNet 在呼吸暂停和低通气上的 F1 仍分别提高 5.4 和 13.1 个百分点。

作者以此作为单个模型能跨两个队列和通道组合迁移的证据。在 CHAT 上，它与 SynthSleepNet 的睡眠分期差距缩小到 F1 2.6 个百分点、AUPRC 2.4 个百分点，作者认为这可能反映接触多样配对带来了更稳健的迁移。这一解释属于作者的解释，而不是被单独检验的机制。

这一比较能说明什么、不能说明什么

所有表征模型都在同一个 NCH 训练划分上预训练，SleepFM 和 PedSleepMAE 使用与 SleepPairNet 相同的任务专用模态对评估，因此各多模态方法接收的输入一致。但 SynthSleepNet 被限制在其原始工作研究过的模态配置内，没有扩展到呼吸模态，因此它的呼吸任务数字反映的设置比 SleepPairNet 更窄。报告的基线是作者选择评估的那些，并非穷尽的领域比较。

评估还依赖配对选择：每个任务的配对从单通道排名加上领域知识中选出，取 SleepPairNet 验证集 F1 最高的配对。这一选择流程有利于所提出模型的配置，论文自己的未来工作清单也包括在留出通道对上评估，以及把方法从配对扩展到更大的信号集合。

随机配对交叉注意力在哪些任务上值得投入

这篇论文中与决策相关的划分是按任务类别，而不是按总体平均。如果目标是呼吸事件检测，SleepPairNet 的随机配对预训练加交叉注意力组合，在 NCH 和 CHAT 上都取得了所评估模型中最好的 F1 和 AUPRC，其中 CHAT 血氧饱和度下降的 AUPRC 增益 14.4 个百分点是报告的最大值。如果目标是睡眠分期或脑电觉醒，证据指向相反方向：SynthSleepNet 和 SleepFM 在这些任务上领先，SleepPairNet 相对自身 Concat 消融的优势在 2.2 个百分点以内。

第二个考虑因素是通道灵活性。面对通道集合变化或部分通道缺失的团队，可以得到一个覆盖 16 个编码器全部 120 个配对的预训练模型；CHAT 的通道替换也显示，两个 NCH 通道被替换后性能仍然保持。论文自己把这一权衡表述为接触广度与反复脑电中心训练之间的取舍，这是判断该预训练方案是否适合特定下游任务最有用的视角。

本文引用的文献