差分隐私混合公开数据集能否提升隐私学习效用？

公开预训练混合权重才是关键杠杆

DP 训练是保护敏感记录的标准做法，但通常会损失模型效用。此前研究发现，在 DP 微调前用公开数据预训练可以缓解这种下降，而收益大小取决于所选公开数据与敏感任务的相关程度。论文的出发点是：对所有公开数据集均匀预训练，是隐私混合公开数据的常见做法，也是当前最优做法。

这个均匀默认值正是要改进的对象。如果候选公开来源之间的相关性存在差异，那么单一固定权重就会把预训练信号浪费在与下游敏感任务匹配不佳的来源上。论文要解决的问题是：如何以隐私方式选择权重，使给定敏感数据集上的下游表现最好。

把混合权重当作低维线性模型来学

核心洞见是：多个公开数据集的最佳混合，可以通过以隐私方式学习一个低维线性模型来找到。这建立在 MixMin 之上——一种非隐私数据混合方法，它表明当模型接近贝叶斯最优时，为下游任务寻找预训练数据集的最佳权重可归结为最小化一个凸目标。论文的贡献在于认识到该目标适合以隐私方式学习，且效用损失很小。

具体而言，先在公开数据上训练代理模型，再用敏感数据的一部分、通过 DP-SGD 学习混合权重，把这些代理模型组合起来。随后流程按这些权重在公开数据上预训练，并在剩余的敏感数据上做 DP 微调。对于 k 个公开数据集，使用现有 DP 算法时，固定误差下的隐私成本最坏以 O(sqrt(k)) 增长，而不是隐私超参数选择所需的指数级混合空间。

把私有数据拆分到两个阶段

DP-MixMin 把私有目标数据集拆成两个不相交子集：一个用于计算混合权重，另一个用于微调预训练模型。由于两个机制作用于不相交子集，并行组合给出端到端的 (epsilon, delta)-DP 保证。在实验中为 (epsilon, delta) = (1, 10^-5)。

这一拆分是一个值得注意的真实权衡：均匀混合基线把全部私有数据用于微调，而 DP-MixMin 保留一部分用于混合学习。论文报告 DP-MixMin 仍优于均匀混合，并将其解读为优化混合可以补偿在更少数据上微调的损失。另一项比较发现，在总 epsilon = 1 时，顺序组合与并行组合在 NIH Atelectasis 上表现相近。

X 光增益集中在低患病率标签上

在 NIH ChestX-ray14 数据集上，用该方法寻找针对性的 X 光数据集混合来预训练，相比基线跨各隐私预算将宏平均 AUC 最多提升 0.037。报告的最大相对增益是在 epsilon = 1 时 Cardiomegaly 上 +22.8% 的相对 AUC。

论文讨论把这些增益与特定条件联系起来：大幅提升出现在低患病率标签、紧隐私预算和用户级隐私下。Cardiomegaly 是一个有用的例证，因为它在被审计拆分中的患病率很低（2.48% 阳性），所以绝对 AUC 的小变化可能对应较大的相对变化。读者在跨疾病比较结果时，应把绝对 AUC 与相对 AUC 区分开，因为患病率不同时两者变化方式不同。

ENRON 上的语言建模困惑度下降

在 ENRON 邮件数据集上做 DP 训练时，用该方法对 The Common Pile（一个公共领域文本数据集集合）的混合来预训练，相比基线混合将测试困惑度降低 16%。这与图像实验所用的 AUC 是不同指标：困惑度越低越好，而且比较对象是基线混合，而非仅均匀预训练。

语言建模设置在隐私粒度上也不同。ENRON 微调使用用户级 DP，即两个相邻数据集可能在一个用户贡献的全部样本上都不同，混合学习步骤对每用户梯度而非每样本梯度做裁剪和加噪。因此报告的 16% 困惑度下降属于用户级 DP 设置，而非图像审计所用的样本级设置。

隐私流程离非隐私上界有多近

论文把 DP-MixMin 与其非隐私版本比较：后者在无隐私下寻找混合，并在完整私有集上微调，因此是严格上界。在 epsilon = 1 且用 CheXpert 预训练时，DP-MixMin 与该非隐私上界的宏平均 AUC 差距在 0.001 以内；用 MIMIC-CXR 预训练时差距在 0.006 以内。

这一比较之所以重要，是因为它区分了两种容易混淆的成本。一种是隐私学习混合的成本，另一种是保留部分私有数据用于混合学习而非微调的成本。很小的宏平均 AUC 差距表明，在这些图像设置中，隐私混合学习步骤在非隐私最优之上额外增加的损失很小。

超额误差随来源数量的平方根增长

论文通过测量超额误差随公开来源数量 k 增加的变化，实证验证其核心主张。使用在 k 个 ImageNet-1k 类别上训练的 ResNet-50 代理，并在前 10 个二值化 CIFAR-100 类别上以 epsilon = 1、delta = 10^-5 运行 DP-MixMin，超额误差随 k 呈次线性增长。对 k >= 32 做双对数拟合得到斜率 0.49，与 sqrt(k) 预测的 0.5 相符，且远低于隐私超参数搜索的线性成本。

实际解读是：增加更多候选公开来源并非没有代价，但远比逐个试混合便宜。论文还报告了稳健性检查：把 CheXpert 代理训练预算从 1 到 6 个 epoch 变化，NIH Atelectasis 的 AUC 相近，且都高于均匀预训练（0.707 AUC）；按余弦相似度衡量，学到的混合在不同代理预算下保持稳定。

该归约在哪些情况下不适用

该方法的归约依赖无协变量偏移假设，即候选公开来源共享输入特征，主要差异在标签。论文指出，把 DP-MixMin 扩展到表格数据及其他领域设置仍是重要的未来工作，因为公开表格来源往往输入特征不同，从而违反该假设。

论文还解释了为什么竞争性来源选择方法 Gradient Subspace Distance 在其图像设置中不适用：由于同一语料内全部 14 个候选来源共享同一图像集、仅逐图像标签不同，随机标签下的梯度子空间只依赖输入，因此任何共享输入的来源之间 GSD 都为零。作者指出，GSD 只有在候选来源具有不同输入分布时才有信息量。

对混合学习步骤的实证隐私审计未发现在所声称水平上有违规证据。在 epsilon = 1 时，自然金丝雀审计对全部 14 个 NIH 任务给出的经验下界为 0，更强的最大裁剪梯度金丝雀跨任务给出的最大值为 0.131，低于所声称的 epsilon = 1。当移除隐私噪声后，同一审计达到高达 5.60 的值，表明该审计在存在泄漏时能够检测到显著泄漏。

比较混合时该关注什么

论文中最具决策相关性的模式是有条件的而非统一的：隐私学习混合带来的增益在低患病率标签、紧隐私预算和用户级隐私下最大，而且衡量对象是均匀预训练和随机混合搜索，而非任意替代方案。读者在评估是否采用该流程时，应先检查候选公开来源是否与敏感任务共享输入特征，因为这是该归约所依赖的假设。

第二项检查是所报告增益属于哪个指标和哪种隐私粒度。图像结果是 epsilon 取 {1, 2, 5}、delta = 10^-5 下的宏平均 AUC 和逐疾病 AUC，而 ENRON 结果是用户级 DP 下的测试困惑度。epsilon = 1 时 Cardiomegaly 上 +22.8% 的相对 AUC 与 16% 的困惑度下降不是可互换的证据，论文自身的表述也把最大的图像增益放在低患病率标签上，而非均匀分布在全部 14 种疾病上。

本文引用的文献