核化参数敏感性图谱能否摊销条件可解释性？

用存储的图谱替代逐次梯度计算

基于梯度的归因回答的是一个条件性问题：对这个输入和这个模型泛函而言，哪些参数重要？重新做一次反向传播能得到高分辨率答案，但延迟和内存开销会随每次查询重复出现；而单一的全局重要性向量虽然便宜，却抹掉了输入依赖性。论文把重复查询问题重新表述为统计估计：从一组梯度只测一次的固定源样本出发，仅用紧凑表示和一次前向计算，估计未见查询的敏感性分布。

目标由经验神经正切核（NTK）定义，即参数梯度的内积。由于被分析的参数被划分为互不重叠的组，NTK 可以精确分解为各组对应的块，每个对角块等于对该组施加随机扰动时的一阶敏感性平方期望。把这些对角块归一化，就得到在各组上求和为 1 的敏感性分布 s(x)，它记录敏感性落在哪里，同时丢弃随输入变化的总梯度尺度。

KPSA 在一组固定源样本上测量这些分布，把每个源样本嵌入一个类别型或学习得到的查询空间，再用非负检索核把分布迁移到新输入。视觉任务使用该核的 Nyström 近似；预测和蛋白质建模则对所有源样本逐一计算核。检索核与模型 NTK 不同：NTK 定义目标，检索核负责在输入之间迁移目标。

增加源样本无法弥补有损表示

没有查询梯度时，实际可得到的目标不是已实现的分布 s(x)，而是给定查询表示 Z 后的条件均值 m(z) = E[s(X) | Z = z]。论文从形式上区分了两种误差来源。有限源误差界把差距拆成表示误差、局部目标不稳定误差和有限源误差，只有最后一项会随源样本增加而缩小。

这是论文最尖锐的概念性论断。如果表示把敏感性分布不同的输入合并在一起，那么再多的源梯度也无法恢复被丢弃的变化。作者为查询空间定义了不可约敏感性风险，并证明任何只使用 Z 的预测器都无法低于该风险。另一个间隔条件把均匀分布误差转化为精确的 top-k 恢复：只要敏感性间隔超过误差界的两倍，检索出的 top-k 组就与 oracle 一致。

实际含义是：决定上限的是查询空间，而不是图谱大小。论文自己的诊断也反映了这一点：类别型查询空间在视觉任务上有竞争力，但在两个预测迁移任务和蛋白质任务上贡献很小；最近邻检索在 ETTh1 上略强，在 Weather 和蛋白质上略弱。作者把这视为关于表示的证据，而不是支持某种跨模态通用的最佳核。

稀疏回路恢复 39%–85% 的 oracle 敏感性

第一个应用要回答：一个图谱能否选出稀疏参数组集合，使其精确扰动效应仍随输入变化。在五倍范围的参数预算（0.02%–0.1%）内，选出的参数组达到一阶反向传播 oracle 扰动敏感性的 39%–85%，测量方式是精确的对偶参数扰动，而不是梯度代理。

在 0.1% 预算下，语义 KPSA 在 ImageNet、ETTh1、Weather 和 Swiss-Prot 上分别恢复了常数基线到直接梯度因果差距的 34.7%、46.5%、50.2% 和 33.2%，同时其选出的集合包含同预算直接梯度能量的 71.8%、72.9%、74.6% 和 42.8%。这两个数字回答的是不同问题：捕获的梯度能量是一阶量，而因果差距由有限步前向扰动测得，可能保留非线性误差。

回路这一说法比听起来更窄。在 0.1% 预算下，KPSA 选出的参数平均分布在 6.0 个 ViT 块和 5.8 个 Chronos 块中，其重叠度随表示相似度上升：从最低相似度分箱到最高 1%，Jaccard 系数在视觉任务上增加 0.177，在预测任务上增加 0.471，而打乱表示与分布的配对后分别只增加 0.089 和 0.210。相对于层数匹配的常数选择，精确敏感性增益在视觉任务上为直接梯度尺度的 26.3%，在预测任务上为 15.8%。作者明确不声称这是有符号的有向计算图；这里的回路指一组随输入变化的原生参数组，并带有实测的局部因果效用。

神经元定位以精度换取吞吐和内存

第二个应用在 transformer 中定位 MLP 特征，用于精确零失活，并以动作匹配的梯度乘激活参考作为对照。在 6,400 个源样本的确认工作点上，特征级 KPSA 恢复了激活归因差距的 80.9%，处理速度达到 2,041 张图像/秒，是参考吞吐的 3.7 倍，峰值分配内存为 0.41 GiB 而非 4.24 GiB。其持久化图谱为 112.5 MiB。

压缩划分会改变权衡。32 特征划分把图谱存储降到 3.5 MiB，并保留 59.3% 的差距恢复率，查询成本相同，因为只有最终选择预算发生变化。在蛋白质建模上，语义 KPSA 是最强的近似方法，恢复 68.3%，最近邻检索为 56.6%，类别型核仅为 4.4%。

摊销是有限的，并非免费。成本平衡的 1,600 源图谱，其仅含分布构建的实测成本在约 15,000 次批量查询后回本，且该数字不含表示编码和原型拟合。低于这个查询量时，一次性构建尚未收回成本。

固定模型、固定划分、无符号能量

这些保证的适用范围很窄，论文也明确说明了这一点。KPSA 估计的是固定模型、泛函、参数划分、表示和源分布下的敏感性。它无法恢复表示丢弃的变化；固定带宽即使源样本增加，仍会保留平滑偏差下限；归一化的无符号能量既不编码符号，也不编码有向计算；精确 top-k 恢复需要间隔条件；从一阶敏感性到有限扰动的桥梁只在参数空间局部成立。

还有两条边界对考虑部署的人很重要。分布偏移仍是一个开放的统计问题，自适应带宽以及带符号或考虑交互的图谱同样如此。此外，独立同分布的有限源速率不适用于固定且重叠的预测窗口，尽管确定性的排序结论在那里仍然成立。

消融实验也提醒人们不要假定核本身完成了主要工作。在 KPSA 空间中使用最近邻检索，效果可以与核聚合相当，这说明收益很大程度来自查询空间和存储的分布，而不是复杂的加权方案。

查询重复且表示合适时图谱才划算

论文自己的比较指向一条具体的决策规则，而不是笼统的推荐。当同一个冻结模型和泛函会被反复查询、当表示保留了重要的敏感性变化、当查询量超过 1,600 源视觉图谱实测的约 15,000 次批量查询回本点时，构建图谱才值得。

满足这些条件时，收益是成本结构的转变：逐次查询的反向模式微分被前向表示加紧凑图谱上的核检索取代，在 2,041 张图像/秒和 0.44 GB 峰值内存下保留视觉激活归因差距的 81%。表示较弱时，证据同样直接：类别型核在蛋白质建模上只恢复 4.4% 的差距，增加再多源数据也无法弥补。

因此，论文最有用的区分是两种从外部看起来相似的失败模式。图谱表现不佳，可能是源样本不足，增加梯度可以解决；也可能是受表示限制，增加梯度无法解决。论文报告的诊断指标，即留出分布检索和有效源数量，正是用来在信任检索出的敏感性回路之前区分这两种情况。

本文引用的文献