[ICLR 2025] DMAS：通过动态激活引导，突破视觉大模型的“胡言乱语”难题

TL;DR

大视觉语言模型（LVLM）经常出现“睁眼说瞎话”的幻觉（Hallucination）。本文提出了一种名为 DMAS (Dynamic Multimodal Activation Steering) 的新方法，无需重新训练模型，只需在推理时通过动态检索最相关的“真实性向量”来修正模型内部的注意力头状态，即可显著提升模型的真实性。

背景定位：这是激活工程（Representation Engineering）在多模态领域的深度应用，通过“功能头分离”和“语义动态匹配”实现了 SOTA 级的幻觉抑制方案。

痛点深挖：一成不变的干预已经过时了

目前的 LVLM 缓解幻觉的方法主要有两类：一类是需要消耗巨大算力的微调（Training-based）；另一类是修改解码策略（Decoding-based），但这往往会拖慢推理速度或导致输出质量下降。

最近出现的**激活工程序（Activation Engineering）**提供了一条中间道路：通过在隐藏层添加一个“引导向量”来强行纠正模型的倾向。然而，先前的工作（如 VTI）存在一个致命缺陷——它们使用固定的向量。

作者发现，对于不同的问题（如“这是什么颜色？”和“这里有几个物体？”），模型产生幻觉的内在激活模式是完全不同的。用同一个向量去矫正所有问题，显然是“药不对症”。

核心机理：手术刀精准级的动态干预

1. 发现注意力头的“分工”

作者通过对比实验发现，负责“真实性”的注意力头和负责“视觉感知”的头在模型层级中是分离的。例如在 LLaVA-1.5 中，真实性相关的头主要集中在第 30 层，而视觉感知头则集中在第 31 层。

2. 构建语义动态数据库

DMAS 并不生成单一的引导向量，而是建立了一个名为 Truthfulness Steering Vector Database 的字典：

• Key: 问题的语义嵌入（Embedding）。
• Value: 该类问题下的真实性引导向量（通过对比真实样本和幻觉样本的激活差异得出）。

3. 多模态组合干预

在推理时，模型执行以下操作：

1. 语义匹配：根据当前 Query 检索最相似的引导向量 $D_f$。
2. 视觉增强：提取视觉感知引导向量 $D_v$。
3. 精准施药：仅在影响力前 K 个的注意力头上施加干预，公式如下： ${\mathbf{x}}^{(l+1)}={\mathbf{x}}^{(l)}+extConcat(ext{Attn}^{(l,h)}+\alpha \cdot M_f\cdot D_f+\beta \cdot M_v\cdot D_v)\cdot {\mathbf{W}}_o$

实验结果：全线飘红的性能提升

1. 判别式任务（MME/POPE）

在 MME 榜单上，DMAS 在所有子任务（存在、计数、位置、颜色）上均实现了突破。其总分提升了近 95 分，显著超过了传统的对比解码方法（VCD/OPERA）。

2. 生成式任务（CHAIR）

在 Image Captioning 任务中，DMAS 在句子级别（CHAIRs）将幻觉率从 51.0% 斩落至 30.8%，进步幅度巨大。

3. 推理速度优势

相比于通过两次前向计算来做对比生成的 VCD，DMAS 仅增加了微乎其微的检索开销。实验显示，它的推理延迟几乎只有 VCD 的一半。

深度洞察：为什么动态策略是必须的？

作者在消融实验中展示了一个关键证据：如果将所有语义簇的向量平均成一个“固定向量”进行干预，其效果在 MME 多个维度上都会出现明显下滑。这验证了论文的核心假设：幻觉的成因具有上下文依赖性。

此外，该方法在 ScienceQA 等完全不同的数据集上表现出极强的泛化能力，证明了这种“基于相似度检索引导向量”的架构具备跨领域的潜力。

总结与展望

DMAS 巧妙地在“计算复杂性”和“干预精度”之间找到了平衡点。它告诉我们，LVLM 模型内部其实存在清晰的功能分区。

• 优点：无需训练、低延迟、高精度。
• 局限性：数据库的构建仍依赖于一些先验数据（AMBER/SEED），未来是否能实现在完全未知领域自适应提取引导向量值得期待。

这项工作为未来 LVLM 的实时、轻量化部署提供了一条极具价值的技术路径。