集合大小把整条轮廓压成一个计数
共形预测为测试输入的每个候选标签赋予一个 p 值,误差水平 α 下的预测集则收集 p 值超过 α 的标签。论文把这一整组 p 值称为共形轮廓。预测集大小 |Cα(x)| 只读取超过单一阈值的标签,因此在 K 类问题中最多只能取 K+1 个不同值。
论文的动机图把这种信息损失具体化:两个输入在 α = 0.05 时可以有相同的预测集大小,尽管其中一个对每个竞争标签的 p 值都更小。由于轮廓决定了集合随 α 变化的方式,作者追问:完整轮廓能否给出比单水平计数更细、更有用的不确定性排序?
这对依赖排序而非单一截断的决策很重要,例如决定放弃哪些预测,或把哪些观测标记为可能发生了分布偏移。一个只取少数几个值的分数无法区分集合大小相同的输入。
归一化轮廓定义一族相容分布
论文在不精确概率框架下工作,其中不确定性由可信集表示:标签空间上一族非空、闭、凸的概率分布。它的上概率为每个事件赋予该族中任一成员给出的最大概率,而核心则是事件概率都不超过这些上界的分布集合。
核心的表示性主张是:经过适当归一化的共形轮廓会在拆分共形预测中诱导出这样一个核心,从而把此前在全共形预测中发现的对应关系推广过来。改变阈值得到的嵌套预测集也与不精确最高密度区域相联系,后者把经典最高密度区域从单一分布推广到一族分布。
一个可信集不会给出唯一的标量不确定性。因此论文研究三类摘要:用核心的 Möbius 系数上的广义 Hartley 度量的非特异性;比较集合内各分布熵的熵不精确性;以及上下期望差。每一类捕捉核心所编码内容的不同侧面。
精确计算取代指数级枚举
直接计算这些度量需要枚举标签子集上的指数多个事件。论文针对共形情形下已有的可信度量,推导出解析刻画和精确算法,把计算在对共形 p 值排序后降为线性时间。
作者还通过沿嵌套预测集路径对基于 Tsallis 熵的集合大小惩罚进行积分,把若干可信度量与经典共形摘要统一起来。这让不同摘要背后的加权方式变得明确:惩罚项决定领先候选与排名较低标签各获得多大影响。
这种统一不只是形式上的。在实验中,改变非一致性分数会反转哪种惩罚表现更好,作者将其归因于不同惩罚对轮廓最高排名与较低排名标签的侧重不同。
这些分数汇总的是总体共形不确定性
不确定性文献通常把源于目标随机性的偶然不确定性与源于对预测机制知识有限的认知不确定性区分开。论文明确把其分数解释为总体共形不确定性的摘要:它们共同反映条件标签变异性、模型估计和有限校准数据的影响,具体由所选的非一致性分数体现。
论文声明分离这些成分超出其范围。一个受控实验支持这一解释:在正确设定的三类 softmax 模型中,使用最不模糊分类器分数,把训练和校准样本各增至 30,000 会消除抽样波动,但不会把共形模糊度降为零。联合估计值对全变差差距、熵不精确性和广义 Hartley 分别为 0.1625、0.6740 和 0.1881,而 oracle 参考值为 0.1629、0.6753 和 0.1886,最大绝对偏差为 0.0014。
模糊度随平均条件熵下降,并在 Dirac 标签总体下恰好为零。因此在这个受控设定中,非退化的总体轮廓即使数据充足也会留下正的模糊度下限;这些分数并不是纯粹的估计无知度量。
全轮廓摘要在分类中胜过固定水平基数
在选择性预测中,任务按不确定性从高到低对输入排序,并测量保留预测上的准确率,在 0–90% 拒绝率上积分,报告为归一化 AUARC。使用固定的预训练 CIFAR-10 ResNet-56,广义 Hartley 摘要和饱和 Tsallis 摘要都在全部四个数据集上超过了所有测试过的固定水平基数。相对最强平均基数的配对增益,广义 Hartley 为 0.85 至 1.86 个百分点,饱和摘要为 0.50 至 1.80。
相对概率向量基线,情况则有好有坏。相对每个条件下三个概率基线中最强者,广义 Hartley 在 Caltech-101 上增益 0.135±0.031 点,在 ImageNetV2 上增益 1.196±0.071 点,而在 CIFAR-100 上基本与熵持平。在最不模糊分类器分数下,饱和摘要在 Caltech-101 和 ImageNetV2 上超过全部三个概率基线,增益分别为 0.077±0.017 和 0.684±0.101 点,但广义 Hartley 在至少 100 个标签的五个条件上仍保持优势。
在分布偏移检测中,协议用 5,000 个干净 CIFAR-10 样本校准,并以 AUROC 评估平衡的干净/偏移检测,把偏移样本视为正类。广义 Hartley 在全部六个聚合基准上、每个配对种子中,以及 75 个损坏条件的每一个均值上都超过预测熵,在损坏平均上相对熵的配对增益为 0.305±0.020 点,相对第二大概率为 0.335±0.025 点。这并非全面占优:在 CIFAR-10.1 上,广义 Hartley 落后第二大概率 0.047±0.038 点。
作者指出一个协议限制:损坏观测是从全部 10,000 张基础图像缓存中独立采样的,因此用于干净校准的图像,其损坏视图可能出现在偏移评估样本中。结果不应被解读为在完全未见过的基图像上的评估,尽管同一采样规则适用于全部四种非一致性分数。
回归的秩核心无法区分输入
论文为常见的拆分共形回归构造证明了一个不可能定理:在定理条件下,共形秩核心在不同输入之间完全相同,因此它的任何固定不确定性泛函都无法区分这些输入,即使预测区域在响应空间中有所不同。
这是结构性限制,而非样本量问题。它意味着按分类问题表述的可信集几何方案不会自动迁移到回归:投影后的秩核心丢弃了输入之间不同的响应几何。作者提出,要恢复区分能力,需要保留相关响应几何的摘要,或使用秩核心随输入变化的共形构造;这类扩展应说明响应位置或尺度的哪些变化对目标决策重要。
适用范围条件很明确:该定理在所述假设下对常见拆分共形回归构造成立。它并不是说任何共形回归方法的任何可信摘要都永远无法对输入排序。
最佳摘要取决于分数与任务
论文自己的结论比“更优”要窄。在主最不模糊分类器实验中,全轮廓的可信摘要给出的不确定性排序明显优于固定水平基数,但它们相对原始概率向量摘要的表现取决于任务、拟合模型和非一致性分数。
分数依赖性在消融中可见:在自适应预测集分数下,饱和摘要在全部七个条件均值上优于广义 Hartley,反转了最不模糊分类器分数下的排序。在较小自适应预测集变体下,四个核心摘要在每个聚合上都低于三个概率基线,作者把这一结果与所测试的固定权重、随机化、校准规模和分类器联系起来。
实际解读应来自这些比较,而非一般规则。当决策需要在固定误差水平下区分集合大小相同的输入时,全轮廓可信摘要是论文展示的替代方案,而在大标签条件的最不模糊分类器分数下,广义 Hartley 是更强的默认选择。当问题是是否应信任可信摘要而非概率向量摘要时,论文的证据表明应先检查具体的非一致性分数和数据集,因为排序可能反转。而在定理条件下的拆分共形回归中,秩核心的任何固定泛函都完全无法对输入排序。
本文引用的文献
Quantifying Epistemic Predictive Uncertainty in Conformal Prediction
经过归一化的共形 p 值轮廓会诱导出一个可信集,其标准不精确概率摘要可在排序后以线性时间精确计算,在分类中常能找回固定水平预测集大小所丢失的排序信息;同时一个不可能定理表明,常见拆分共形回归的秩核心无法区分输入。
