[ACL 2025] SteerEval：你的 LLM 真的听话吗？揭秘行为控制的“深度”陷阱

TL;DR

尽管我们已经可以通过 Prompt 或激活干预（Activation Steering）来改变 LLM 的性格或情感，但这种控制力会随着约束的细粒度化而迅速崩塌。浙江大学与阿里巴巴等机构的研究者提出了 SteerEval 基准，通过 Marr 的三级层次理论（L1: 意图, L2: 策略, L3: 实现）发现：层级越深（越接近具体词汇约束），现有的技术手段就越容易失效。

1. 痛点：失控的“直觉”

目前的 LLM 转向研究（Model Steering）存在一个盲区：我们通常认为模型“懂了”我们要它表达的主题（如：让它表现得更自信），它就能在所有层面上表现得自信。

然而，研究者发现：

• 粗粒度成功不等于细粒度成功：模型可能学会了表现得“傲慢”（L1 级别意图），但在被要求“通过贬低对方的成就来表现傲慢”（L2 级别策略）或“必须在回复中包含‘垃圾’一词”（L3 级别约束）时，模型往往会顾此失彼，甚至完全忽略约束。
• 评估基准碎片化：之前的 Benchmark（如 AxBench）缺乏领域结构，且测试问题与目标概念的关联往往不够紧密。

2. Methodology：从 Marr 的分析层次看 LLM

作者极具创意地借鉴了神经科学家 David Marr 的三级分析模型（Computational, Algorithmic, Implementational），将大模型的行为控制重构为三个级别：

• Level 1 (L1) 计算级别：解决“表达什么（What）”。例如：在“人格”领域要求模型表现得“自主”。
• Level 2 (L2) 算法级别：解决“如何表达（How）”。例如：具体的策略是通过“自我决策”来体现自主。
• Level 3 (L3) 实现级别：解决“具体实例化”。例如：在文本中必须出现特定的词汇（如“self-authored”）作为硬性证据。

图 1：从 L1 抽象意图到 L3 具体实现的层次化演进示例。

为了确保评估的严谨，作者开发了一套自动数据合成流水线：

1. 层次概念合成：自动生成 120 个跨领域的层次概念。
2. 问题重写（Concept Displacement）：为了防止模型通过 Prompt 里的关键词“走捷径”，将问题改写为看起来指向另一个概念，实则需要模型在干预下表现出目标概念。
3. 最小差异对：生成正负答案对，两者在 token 上保持极大重合，仅在关键概念点上不同。

3. 实验发现：激活干预的“浅薄”

研究者在 Gemma-2, Qwen-2.5 和 Llama-3.1 等主流模型上进行了大规模测试。

3.1 核心战绩：Prompt vs. Activation Steering

实验结果表（Table 2）揭示了一个残酷的现实：

• Prompt 是全能选手：基于 Few-shot 的 Prompt 控制力在 L1 到 L3 都非常稳定（HM 评分始终维持在 3.0 左右）。
• 激活空间干预（如 RePS, DiffMean）在高层有效，在底层溃败：
  • 在 L1 (高层意图) 阶段：激活转向效果显著，有时甚至超过 Prompt。
  • 在 L3 (底层实例化) 阶段：性能断崖式下跌。这意味着：我们可以在模型的隐藏层找到“情感”或“人格”的方向，但很难通过一个简单的向量干预来精准地控制模型吐出哪个特定的词。

图 2：语言特征域（Language Features）下的详细评分，显示各方法在 L1-L3 的性能走势。

3.2 深度洞察：为什么会失效？

通过消融实验，作者指出：

• 转向强度（Steering Factor）的权衡：增加干预强度虽然能提升概念得分（Concept Score），但会剧烈损害指令遵循（IS）和流畅度（FS）。
• 原子限制的复杂性：底层词汇约束（L3）往往涉及模型最底层的 Token 预测解码逻辑，这比高层的语义方向抽象得多，单靠修改隐藏状态的向量位置很难实现闭环。

4. 总结与未来展望

SteerEval 为我们提供了一个清晰的“可控性地图”。它告诉我们：目前我们对 LLM 的控制还停留在“宏观调控”层面。

• 目前的局限性：实验仅针对单轮对话和单概念控制，未来需要探索多概念组合控制。
• 启示：如果你需要模型在性格、风格上有所改变，激活空间转向（Representation Engineering）是个好选择；但如果你需要模型严格遵守某种格式或词词对应，Prompting 或硬约束解码依然是不可替代的。

结论：LLM 的灵魂是层次化的，我们的干预手段也必须学会如何精准地穿透这些层次。

本文由资深学术技术主编基于 arXiv 最新论文解读。