共形预测如何可靠地缩小子组覆盖差距?

SGCP 学习随机分组映射,让每个样本从相似评分行为中借用校准证据,从而缩小子组覆盖差距。

直接答案

随机分组共形预测(SGCP)用学习得到的随机分组映射取代预定义分组校准:每个样本从非一致性评分行为相似的其他样本那里借用校准证据,形成自己的局部评分分布。论文证明 SGCP 保留了标准拆分共形预测的覆盖保证,并报告它在缩小子组覆盖差距的同时,预测集大小比现有基线更小或与之相当。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

总体覆盖会掩盖子组失效

标准共形预测能把任意分类器转成预测集,使真实标签以至少 1−α 的概率被包含。问题出在平均上:论文式 1 的保证是对校准数据和未来测试点一起取的,因此只在总体层面成立。名义 90% 的覆盖率可以在全体患者上平均成立,而特定人口群体、疾病亚型或其他有临床意义的子群体,得到的仍可能是可靠性较低的不确定性估计。

论文把这一点归因于不同人群在患病率、数据质量和特征分布上的差异,这些差异会产生不同的错误模式和非一致性评分分布。总体层面的校准于是掩盖了子组失效,而不是把它暴露出来。论文在 MIMIC-IV 上的动机图把边际 CP 和若干子组感知基线的组覆盖与预测集大小画在一起,说明“覆盖子组”与“保持预测集小”之间的权衡正是 SGCP 要处理的现实问题。

在固定分组内校准会带来瓶颈

最直接的做法是在预定义分组内分别校准。论文指出两项代价。第一,这可能需要访问敏感的子组属性,而这些属性未必可得,也未必适合使用。第二,它容易出现最差组瓶颈:为了保护最困难的子组,所有样本的预测集都可能被撑大,给需要阅读这些预测集的决策者增加认知负担。

SGCP 的设计选择正来自这一诊断。论文不把组别归属当作校准单位,而是把样本各自的评分分布当作值得估计的对象。正是这一重新定位,让方法既不必依赖敏感属性,也不必让所有组为一个组付出代价。

真正的目标是每个样本的局部评分分布

SGCP 的出发点是:共形校准最终由非一致性评分的分布决定。论文把理想对象定义为 F⋆x(s) = P(S ≤ s | X = x),即特征为 x 的样本的条件评分分布。如果这个分布已知,每个样本就能按自己的局部评分分布校准,而不必依赖单一的全局分布。

直接为每个 x 学习无约束的条件分布既需要大量数据,在有限样本下也不稳定,尤其当相关异质性潜藏且维度较高时。单个测试点几乎提供不了足够的局部校准证据。因此 SGCP 用结构化混合分布替代无约束分布族:把 F(s|x) 近似为 K 个潜在校准分量的加权和,权重来自样本专属的随机分组映射。每个样本仍得到自己的有效评分分布,但这一分布由跨相关样本学到的分量组合而成,而不是从零估计。

相似指评分行为而非特征距离

关键问题随之变成:哪些其他样本算作相关。论文认为,在输入空间中按几何距离找近邻或做聚类,在这里并不是合适的局部性定义,因为要估计的对象是评分分布。真正重要的是校准相关的评分行为是否相似。

为落实这一点,SGCP 给每个样本分配一个潜在校准状态 z,把它建模为高斯后验,其均值和方差是主干表示的可学习函数。一个可微映射把潜在采样转成 K 个分量上的隶属向量,随机分组映射再对后验样本上的隶属度取平均。得到的权重把各潜在分量组合成聚合的局部评分分布。由于状态是随机的,预测相似的样本仍可能带有混合或不确定的评分行为,而后验平均会让权重更稳定。

三项损失塑造学到的变换

训练时主干保持固定,只在一个数据划分上拟合分组模块和分量参数。目标函数由三项驱动。秩均匀化损失把每个分量的变换后评分推向均匀的百分位尺度,使被路由到同一分量的评分可以相互比较。局部密度拟合损失写成负对数似然,把诱导出的混合密度与观测到的真实标签评分对齐。信息最大化项则奖励这样的分组映射:它在整个人群中多样化地使用各分量,同时让每个样本的归属保持集中。

第三项之所以重要,是因为前两项单独存在时允许退化解。对平均分量质量施加平衡约束,可以阻止所有样本塌缩到同一个分量,但仍允许相反的失败:每个样本几乎均匀地分散到所有分量。这种归属在总体上看似平衡,却几乎不携带样本专属信息。最大化输入与分量归属之间的归一化经验互信息,可以同时惩罚硬塌缩和软均匀分配。

保证仍在,子组收益有上界

论文证明了两件读者应当分开看的事。命题 2 表明,在标准拆分共形的可交换性假设下,SGCP 的预测集仍以至少 1−α 的概率包含真实标签。这一边际有效性不取决于局部评分分布学得多准,因此方法并没有为了换取子组可靠性而牺牲原有保证。

命题 3 直接处理子组覆盖。对任意可测子组 G,条件于 X ∈ G 的覆盖率下界为 1−α−ΔG,其中 ΔG 是该子组内变换后评分分布与其边际分布之间的 Kolmogorov 距离。在命题 1 的理想情形下,学到的局部评分分布与真实条件评分分布一致,变换后评分在每个子组内都服从均匀分布,ΔG 随之消失。实践中 SGCP 通过学习变换来缩小这一失配,附录论证了均匀逼近理想评分分布可以控制它。这个界描述的是差距的大小,并不承诺差距会降到零。

基准结果说明了什么,边界在哪

在合成和真实基准上,论文报告 SGCP 持续缩小了子组覆盖差距,同时预测集大小比现有基线更小或与之相当。附录图补充了两点值得带入任何比较的限定。在样本稀疏程度变化时,SGCP 在各数据集和校准规模上都贴近 0.9 的名义目标,而全局校准在稀疏情形下可能覆盖不足,较强的均衡化基线则常常变得过于保守。在运行时间上,SGCP 的计算成本适中:它比 AFCP 快,并在各校准样本规模上与其他子组感知基线相当。

适用范围有几处对采用很关键的边界。所有实验都在回顾性基准上完成,因此仍需在真实临床工作流中做前瞻性验证。框架针对多类分类开发,不处理回归或其他预测设定。论文由此确立的实际优先级很具体:当敏感子组标签不可得,或保护某个困难组会撑大所有人的预测集时,SGCP 提供了一条不依赖预定义分组来追求子组可靠性的路径,同时保留标准边际保证,并把预测集大小维持在现有基线的同一范围内。

本文引用的文献

1

Stochastic Grouping Conformal Prediction for Effective Subgroup Reliability

SGCP 学习一个随机分组映射,为每个样本构建由潜在校准分量组成的局部评分分布,保留标准拆分共形的边际覆盖保证,并在预测集大小比现有基线更小或相当的情况下持续缩小子组覆盖差距。