成员推断攻击到底需要多少参考样本？

攻击者所需数据可能多于训练者

成员推断攻击拿到一个模型输出和一个目标个体，必须判断这个个体是在训练数据中，还是从同一总体中独立抽取的样本。论文追问：攻击者需要多少个来自该总体的独立参考样本？论文把这一数量称为成员推断的样本复杂度。

答案是一个下界。对于 d 维高斯均值估计，给定 n 个训练样本，并允许估计器的误差包含一个由 ρ 缩放的额外项，论文证明：任何能与完全掌握分布的攻击者相竞争的攻击，都可能需要 Ω(n + n²ρ²) 个参考样本。值得关注的情形是 ρ 远大于 n^(-1/2)：此时 n²ρ² 是 ω(n)，参考集必须渐近地大于训练集。该下界成立的前提是维度至少约为 n + n²ρ²，也就是完全知情攻击者能够成功的最低维度门槛。

较弱的成功标准仍给出强下界

论文把基于 m 个样本的攻击定义为一个函数：输入 m 个参考样本、发布的估计值 μ̂ 和一个目标点，输出 IN 或 OUT。成功标准刻意设得很低：对独立样本的假阳性率至多为 0.49，对每个训练点的真阳性率至少为 0.51。由于论文证明的是下界，这一较弱的要求反而使结论更强；作者也指出，它同样覆盖实证工作中使用的较小假阳性率，例如 1%。

估计器类别同样受到限制，只考虑加噪机制：输出是样本均值加上独立的零均值噪声。准确度用马氏范数衡量，期望平方误差至多为 dρ² + d/n。这个表达式把不可避免的采样误差 d/n 与参数 ρ 控制的额外误差分开，因此决定样本需求的不只是 n，还有 ρ。

已知协方差时样本需求大幅下降

论文的第二个结果定位了成本来源。如果攻击者知道总体协方差但不知道均值，那么在 d 约为 n + n²ρ² 的区间内，任何成功攻击只需要 Ω(min{n, 1/ρ²}) 个参考样本；Dwork 等人此前的攻击正好达到这一数量，因此该下界是紧的。更一般地，只有当 d 至少达到 n + n²ρ² + n²/m 的量级时，才存在基于 m 个样本的攻击。

比较两个定理，可以得到论文内部最鲜明的对照。当 ρ 大于 1/√n 时，知道协方差会把所需参考样本从 Ω(n²ρ²) 降到 O(n)。作者由此得出结论：在协方差未知的场景中，正是估计总体协方差使成员推断变得昂贵。这是论文通过比较自身两个下界得出的解释，而不是一项独立实验。

现有攻击只使用线性规模的参考集

论文区分了两种检验形式。一般检验可以在检验统计量和阈值中都使用总体信息。主流实践采用的受限形式则计算一个不依赖总体的统计量，只用参考样本校准阈值。对于 5% 这样的常数假阳性率，这种校准需要 O(1) 次独立的模型重训练，因而需要 O(n) 个参考样本；对这种受限形式而言，Θ(n) 个样本与直接知道分布本身效果相当。

下界表明，ω(n) 个样本可以支持那些用 O(n) 个样本会失败的攻击。因此作者认为，基于受限攻击的审计可能低估隐私风险，值得探索以新方式利用分布知识的攻击。他们提到对损失函数做二次近似是一条有前景的方向，同时指出这类检验在本论文研究的均值估计问题上未必表现良好，因为该损失的 Hessian 与数据无关。

该结果排除的是一类攻击而非单一机制

这个下界并不是说某个固定算法难以被攻击。即使把注意力限制在特定估计器上——它加入的噪声协方差与未知的总体协方差成正比——下界依然成立，但证明方式是对总体与算法的配对构造一个困难分布。作者指出，基于单一机制给出分离仍是未解决的问题。

该下界也并非在所有区间都紧。当 d 远大于 n + n²ρ² 时，一种直接攻击会先估计协方差以重新缩放数据，再套用此前的检验，它使用 Θ(d) 个参考样本，与下界之间仍有差距。论文只在 d 与 n + n²ρ² 相当的区间内完整刻画了样本复杂度。常数没有优化，用于把总变差距离压到 0.02 以下的数值参数设置也是为证明方便而选取的。

把参考集规模视为威胁模型的选择

真正影响判断的分界在于 ρ 接近或低于 n^(-1/2)，还是明显高于它。前一种情况下，下界保持在 n 的量级，线性规模的参考集并不显得明显不足。后一种情况下，需求按 n²ρ² 增长，只提供 O(n) 个参考样本的审计，检验的是一个严格弱于论文下界所允许的最佳攻击者的攻击者。

因此，论文的重点不是成员推断在所有场景下都比人们以为的更强，而是这一差距取决于攻击者必须学习哪个量。协方差已知时，O(n) 个样本就足够，当前实践与紧下界一致。协方差未知且估计器的额外误差超过采样误差时，参考样本需求可能超过训练集大小，此时对 O(n) 样本审计的诚实解读是：它给出的是风险的下界，而不是对风险的测量。

本文引用的文献