为什么用户在多轮对话中否决改动后,大模型会出错?

模型会把被否决或被替换的对话内容当成仍然生效,Intent-OPSD 训练它只遵循仍然生效的要求。

直接答案

当用户提出一项改动随后又否决它时,模型应当像什么都没发生一样作答。这篇论文发现它往往做不到:仅仅提到一项被否决的改动,就可能让任务执行偏离正轨。在 414 个任务和八个模型上,被否决的提议(Retained)平均比未被打断的 Original 对话低 8.06 个百分点,被接受的提议(Revised)低 5.55 个百分点,尽管只有 Revised 真正改变了正确答案。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

被提到的内容不等于仍然生效的意图

论文的核心区分是「说过的内容」与「仍然生效的内容」。它把仍然支配答案的要求称为 active intent(仍然生效的意图)。一段对话里可以包含一个被提出又被否决的提议,或一个已被替换的要求,而这些陈述并不改变任务。模型的任务是依据仍然生效的意图作答,而不是依据上下文中出现的一切。

作者把这种失败模式命名为 mentioned-as-in-effect confusion(提及即生效混淆):对话内容在被否决或被替换之后,仍被当作生效的要求。这是对错误背后模式的判断,论文通过检查 Retained 和 Revised 下相对于未被打断对话新出现的错误来支持它,这些错误往往包含被否决或被替换的内容。

四个匹配条件隔离出决策本身的影响

Intent-Eval 从同一个源任务构建出四个多轮条件。Original 分多轮披露任务,不插入任何事件。Neutral 插入两个关于所选要求的澄清问题,但不提出新的取值。Retained 和 Revised 共享完全相同的提议,随后分叉:Retained 否决它,Revised 接受它。只有 Revised 改变参考答案。

由于 Retained 和 Revised 共享相同的提议文本,只在用户的决策上不同,两者之间的任何准确率差距都无法用提议的措辞来解释。Original、Neutral 和 Retained 都按原始参考答案评分,而 Revised 按修订后的答案评分。该基准还包含把整个任务放在一条消息里的单轮对照,用以把多轮效应与任务本身的难度分开。

准确率下降的三个不同来源

论文报告了八个模型上的三种模式。第一,信息披露分散:把任务拆到多轮会相对单轮对照使平均准确率下降 36.30 个百分点,即使在没有任何打断的 Original 中也是如此。第二,对话开销:加入不改变任务的中性澄清,再额外损失 4.43 个百分点。第三,决策引发的混淆:提出一项改动会降低表现,无论用户否决还是接受它。

第三种模式正是标题问题所指。在多轮对话中,Retained 平均比 Original 低 8.06 个百分点,Revised 平均比 Original 低 5.55 个百分点。作者还指出,决策引发的混淆也出现在单轮对照中,意味着提议加决策即使没有多轮交互也能损害表现。这些是被评估模型和领域上的平均降幅,不是关于任何单个任务的结论。

交互越长,性能下降越深

该基准用两种方式延长对话。累积(Accumulation)重复澄清或否决块,使被讨论的要求保持不变,同时堆积更多被否决的提议。持续(Persistence)把澄清块放在决策已经做出之后,使仍然生效的任务在每一层深度上都不变。

随着用户在多轮中要求澄清,或提出并否决更多改动,准确率趋于下降。论文的表述是,性能下降会随着交互继续而加深或持续。这对理解头条数字很重要:8.06 和 5.55 个百分点的差距是基础条件上的平均值,而延长的对话表明,随着对话变长,问题不会自行纠正。

Intent-Eval 实际测量的是什么

Intent-Eval 包含 414 个源任务,取自四个领域:来自 BFCL 的工具调用 Actions(104 个源任务)、来自 HumanEval 和 LiveCodeBench 的程序合成 Code(100 个源任务)、来自 Spider 的文本转 SQL Database(107 个源任务),以及来自 GSM8K 的 Math(103 个源任务)。每个源任务产生四个多轮条件和四个单轮对照,每个模型共 3,312 个评估实例。多轮对话平均 7.14 轮,范围从 3 到 14 轮。

每个源任务恰好修订一个要求,并给出原始状态和修订状态的参考答案。修订被约束为无歧义、原子化、可验证:改动必须明确指定替换哪个要求、只影响该要求,并产生任务专用验证器可以检查的参考答案或输出契约。只有最终回答被评分。因此该基准测量的是模型的最终答案是否匹配仍然生效的任务状态,而不是它在措辞上是否承认了该决策。

Intent-OPSD 让教师看到仍然生效的任务

Intent-OPSD 是一个以决策为条件的同策略自蒸馏框架。教师和学生从同一个模型出发。教师被冻结,接收与用户决策相匹配的完整单轮任务;学生接收完整的多轮对话,并同策略地采样自己的最终答案。在每个最终答案位置上,两个策略对同一个由学生生成的答案前缀打分,损失是它们下一词元分布之间的 Jensen-Shannon 散度。

四个条件的损失(Original、Neutral、Retained、Revised)等权平均,只有学生被更新。中间回复保留在对话历史中,但不产生损失。关键设计选择是让教师的单轮提示与决策相匹配:原始单轮任务与 Original、Neutral、Retained 共享仍然生效的要求,而修订后的单轮任务与 Revised 匹配。推理时学生直接依据对话作答,不需要教师或完整任务提示。

增益最大与增益最小的地方

Intent-OPSD 在四个模型和四个领域上,相对对应的基础模型把平均准确率提高 10.81 个百分点。论文报告最大增益出现在 Actions,相对 Base 提高 21.46 个百分点,因为选对调用参数就能修正输出。Math 和 Database 被描述为同样可能受益于追踪哪些数值前提和查询约束仍然生效。Code 的增益较小,作者将其归因于它对程序结构和逻辑的要求:即使模型正确追踪了仍然生效的要求,仍可能因实现问题而失败。

论文明确指出,该方法在意图追踪是瓶颈时有用,而不是在模型根本无法解决任务时有用。它还报告,Intent-OPSD 下 Retained 的平均准确率与匹配的监督微调相近,因此处理被否决的改动仍是问题中更难的一半。这种不对称是论文自己陈述的局限,也是关于后续方法工作最需要关注的方向。

该基准尚未覆盖的范围

Intent-Eval 聚焦于每个源任务中关于一个所选要求的决策。扩展到多个相互影响的要求以及更多样的用户行为被留作未来工作,因此所测得的差距描述的是单要求修订,而不是真实对话中纠缠在一起的要求变化。

训练设置还依赖基准构建所提供的完整仍然生效任务规格。这些规格在训练期间支持教师,而训练后的学生在推理时只使用对话。把该方法应用到自然对话,需要从用户消息和决策中重建仍然生效的要求,并对歧义情况做一致性检查和人工复核。因此所报告的增益适用于训练期间已知仍然生效任务状态的场景,而不是任意的开放式对话。

本文引用的文献

1

You Changed Your Mind, The Model Didn't: Demystifying Intent in Multi-Turn Dialogue

在 414 个任务和八个模型上,仅仅提到一项被否决的改动就会损害任务执行:Retained 平均比未被打断的 Original 对话低 8.06 个百分点,Revised 低 5.55 个百分点,这与提及即生效混淆一致。Intent-OPSD 这一以决策为条件的同策略自蒸馏方法,相对基础模型把平均准确率提高 10.81 个百分点。