曲率感知影响加权能否改进语言模型的激活引导？

为什么平均激活会稀释概念

激活引导假设拒绝或毒性这类高层特征在激活空间中线性编码，因此控制就简化为找到一个方向，并以某个强度把它加到隐藏状态上。构建该方向的标准做法是均值差：对概念样本的激活取平均，对对比性非概念样本的激活取平均，再相减。

论文认为这个平均值是一个糟糕的目标。在对比数据集上取平均会引入无关概念和噪声，得到的传输被少数 token 主导。于是编码出的方向反映的是 token 层面的规律，而不是研究者想要引导的“主题”。论文提出的替代方案是：引导朝向那些最能从主题上表达该概念的样本，而不是朝向对所有样本的期望。

影响函数按曲率对样本排序

为了判断哪些样本最强烈地表达一个概念，作者使用影响函数。影响分数估计单个数据点对模型概念表示的贡献有多大。关键在于，该分数通过一个预条件子纳入了模型损失曲面的曲率，而不只是比较原始激活相似度。

论文自己的表述是，这种曲率让影响函数能够捕捉超越表层 token 相似度的概念相关关系。作者也直接检验了这一说法：基于影响函数的方法和基于激活的方法对同一批数据点的排序显著不同，他们把这作为影响函数看到了激活代理所遗漏的概念相关信息的证据。

概念方向本身由对比式提示—补全三元组构建。每个三元组把一个提示与一个概念补全和一个非概念补全配对，单个三元组的度量是两个补全之间经长度归一化的对数概率差。每个三元组的梯度在平均前被重新缩放到单位范数，因此没有哪个三元组能仅凭梯度大小占据主导。

从影响分数到加权传输质量

影响分数按 transformer 块在 MLP 参数上计算，因此一个数据点可能在某层深度上影响很大，在另一层上却可以忽略。作者利用这一点按层对数据点加权，实际上是在每个深度上用不同的数据集进行引导，而不是用单一全局数据集。

原始的逐层分数尾部很重，因此先做 z 分数标准化以获得跨层的尺度不变性，再通过带温度 tau 的 softmax。该温度把加权在两种极端之间调节：当 tau 趋近零时，质量集中在单个最有影响的样本上；当 tau 增大时，分布趋于均匀。作者把这描述为对影响分数离群值的稳健性。

加权后的分数随后进入最优传输。该方法采用逐维仿射映射，而不是 Sinkhorn 或线性规划求解器，从而保持推理开销低廉。在凸代价下，一维耦合是单调的，因此传输方案只需一次排序，复杂度为 O(n log n)。闭式变体 IF-Act 在分位数耦合下用最小二乘求解仿射映射；开式变体 IF-LinEAS 通过反向传播联合学习仿射参数。在一般形式中只对目标分布加权，不过在概念抑制时作者改为对源分布加权。

毒性抑制的收益最大也最一致

在引导强度 lambda 等于 1 的 Jigsaw 毒性抑制任务上，影响加权方法在所报告的表格中取得了最低的毒性分数。对于在所有层上引导的 Gemma-2-2B，LLM 评判的毒性从无引导的 0.344 降到 IF-Act 的 0.031 和 IF-LinEAS 的 0.018，而 Act 为 0.083，LinEAS 为 0.095。RoBERTa 评判给出相同排序：IF-Act 为 0.001，IF-LinEAS 为 0.009，而 Act 为 0.044，LinEAS 为 0.045。

对于在所有层上引导的 Llama-3.2-3B，LLM 评判的毒性从无引导的 0.268 降到 IF-Act 的 0.177 和 IF-LinEAS 的 0.052，而 Act 为 0.257，LinEAS 为 0.101。论文的讨论指出，曲率信息对抑制更宽泛的毒性概念帮助很大，而逐层影响权重支持一个机制：对毒性而言，权重明显集中在中间层，而对 OneSec 物体概念和 TruthfulQA 而言，权重在各层之间接近均匀。

IF-Act 引导更强但损害模型质量

两个影响加权变体处在引导—质量权衡中非常不同的位置。IF-Act 常常在真实性和 OneSec 概念上取得高分，但论文报告这往往以 MMLU 和困惑度的高昂代价换来。在 Gemma-2-2B 所有层引导的 OneSec 表格中，IF-Act 的概念分数为 0.721，Act 为 0.708，但流畅度困惑度升至 32.27，WikiText 困惑度升至 1010.35，MMLU 从无引导的 0.549 降到 0.267。对于 Llama-3.2-3B，IF-Act 的 WikiText 困惑度达到 1.85e5。

IF-LinEAS 的表现不同。在同样的 OneSec 设置下，它的概念分数为 0.584，LinEAS 为 0.544，流畅度困惑度为 8.49 对 8.38，WikiText 困惑度为 61.55 对 55.36，MMLU 为 0.489 对 0.499。作者得出结论：IF-LinEAS 通常能在改进 LinEAS 的同时基本保持模型质量，在引导性能与能力保持之间给出更有利的平衡。

困惑度的模式随目标不同而不同。在抑制目标下，困惑度随引导强度增加大致保持恒定；在诱导目标下，它稳步上升。论文把抑制分支的稳定性主要归因于其整体变化比更易波动的诱导目标更小。

排除首尾层以引导强度换取稳定性

层排除消融把头条引导强度与模型稳定性区分开来。不在第一层和最后一层上引导会损害头条的诱导和抑制数字，但显著帮助了稳定性，带来更低的困惑度和更高的 MMLU 分数。

作者假设，不在开头引导让模型有更好的机会理解文本，不在结尾引导减少输出 token 的波动，这可能有助于困惑度并帮助模型选对多项选择答案。他们明确把检验这一假设留给未来工作，因此这应被读作一种解释，而不是已被证明的机制。

这一效应在不同模型间并不一致。在逐概念的 OneSec 图中，Gemma 能很好地适应排除第一层和最后一层，而 Llama 则大幅崩溃，基本无法有意义地诱导任何概念。物体层面的结果在同一模型内也差异很大：church、book、flower 和 football 等概念引导良好，其他概念引导较差，而 Llama 的 balloon 概念完全失败。

真实性收益取决于模型和对比对数量

在 TruthfulQA 上，情况比毒性更复杂。在所有层引导并使用 1024 个对比对时，Gemma-2-2B 的 MC1 为 IF-Act 0.255、IF-LinEAS 0.203，而 Act 为 0.256、LinEAS 为 0.214，无引导 MC1 为 0.209。MC2 为 IF-Act 0.482、IF-LinEAS 0.356，而 Act 为 0.400、LinEAS 为 0.353。

对于在所有层引导并使用 1024 个对比对的 Llama-3.2-3B，MC1 为 IF-Act 0.264、IF-LinEAS 0.253，而 Act 为 0.284、LinEAS 为 0.256，无引导 MC1 为 0.245。MC2 为 IF-Act 0.474、IF-LinEAS 0.401，而 Act 为 0.447、LinEAS 为 0.402。

论文还把对比对数量在 32 和 1024 之间变化。所报告的 delta 列显示 MC2 从 32 对到 1024 对的变化：Gemma 的 IF-Act 变化为 +0.023，IF-LinEAS 为 -0.013；Llama 的 IF-Act 为 +0.006，IF-LinEAS 为 -0.007。因此更多对比对并未一致地改善真实性，变化方向取决于方法和模型。

影响加权在哪里划算、在哪里不划算

论文自己的优先级排序很清楚。曲率感知影响加权对宽泛的毒性概念帮助最大，在大多数情景下对基于物体的概念和真实性也有帮助；当需要保持能力时，最好通过开式 IF-LinEAS 变体来部署。IF-Act 在若干情景下是真实性和 OneSec 上更强的引导者，但由于其困惑度和 MMLU 代价，它落在引导—质量权衡中较不利的位置。

有两条边界限定这一解读。第一，作者指出，尽管影响分数集中在中间层，当前引导强度仍均匀施加于所有层，他们提出把逐层影响分解用于决定在哪里引导以及引导多少，作为未来工作。第二，他们认为其他数据归因或相关性信号可能提供互补或同样有效的加权，系统比较这类信号仍是开放问题。

对于想从这篇论文中取用结论的读者，实际的分野在于目标与变体，而不是单一的头条数字。如果目标是毒性抑制，影响加权在两个模型所报告的表格中都给出了最低的毒性分数。如果目标是在让 MMLU 和困惑度接近无引导水平的同时进行概念诱导或真实性诱导，IF-LinEAS 是论文证据支持的变体，而第一层和最后一层正是排除后最能换来稳定性、但要以一定引导强度为代价的层。

本文引用的文献