用户会像模型迎合用户那样迎合自信却错误的模型吗?

实验显示,学习者采纳了约65%的自信错误陈述,且信心不再区分对错。

直接答案

会,而且这种顺从在很大程度上与助手有多不可靠无关。在一项有32名参与者参与的受试者内实验中,无论伪造比例是25%还是100%,学习者都采纳了助手实际说出的约65%的错误陈述;而助手本身几乎从不因用户质疑而改变立场。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

把谄媚的方向倒过来测量

多数谄媚研究问的是语言模型是否会迎合用户想听的内容。这篇论文问的是镜像问题:当一个模型自信、前后一致却给出错误信息时,用户会不会向它靠拢?作者把人类这一侧的行为称为顺从,并主张可信度属于人机这一组合,而不只属于模型本身。

实验设计把这个反转落到了实处。五个助手都是同一个模型 GPT-5-mini,唯一差别在于一段隐藏的系统提示:它把十二个知识点中的0%、25%、50%、75%或100%替换成看似合理的错误版本。每个助手都被要求以十足信心说话,从不含糊其辞,从不建议核实,也从不违背自己的简报。模型被固定住、不做任何适应,只有人可能发生适应。

用基线校正来统计错误吸收

每位参与者向一个助手学习一个陌生的科学主题,共五个主题,随后参加一场事先未告知的十题选择题测验。每道题都给出正确事实、被植入的原样错误说法和两个干扰项,选项顺序按参与者打乱。如果某道题对应的事实在该次对话中被伪造过,而参与者仍选了被植入的选项,这就是吸收了错误信息的直接标志。

比较基线很重要。在那些被正确讲授的题目上,被植入的选项仍有11%的概率被选中,说明这种错误措辞本身就有吸引力。在被伪造的题目上,这一比例是60%,优势比为12.5。作者提出一个经基线校正的人类顺从指数,用来把真正的采纳与这种背景吸引力区分开;阅读论文中按陈述计算的比率时,应记住这一校正。

测验得分随伪造比例下降

在104场测验、1,040个答案中,随着伪造比例从零升到全部,得分从10分制的7.4降到2.9。这一总体下降是意料之中的:被植入的错误越多,吸收的机会就越多。

更有信息量的是条件性结果。对全部104次含测验的任务对话(共716条消息)做转录编码,记录了助手是否真的说出过每个错误版本。只要它说过,该错误陈述被采纳的概率约为65%,而且这一比率在各伪造水平上大致持平。面对伪造25%的助手的学习者,与面对全部伪造的助手的学习者,采纳已陈述错误的可能性差不多。吸收随接触量变化,而不随来源的整体可靠性变化。

借来的信心抹掉了错误信号

参与者对每个答案给出1到10分的信心评分。在准确条件下,这种信心能在一定程度上区分答对与答错,AUROC为0.70(0.5相当于随机)。在伪造条件下,这种区分能力降到随机水平。

被吸收的错误陈述以8.4分(满分10)的信心被持有,接近正确讲授事实的8.9分,而正确与错误答案之间原本建模出的信心差距消失了。作者将此解释为信心是从来源那里借来的,而不是由学习者自己的证据生成的:清晰、笃定的解释会带来一种理解感,而这种感觉无法区分内容的真假。这是论文的解释,而不是被直接测量的机制。

自报信任几乎没反映可靠性下降

任务后的信任评分只反映了助手可靠性下降的一小部分,尽管测验得分大幅下滑。论文把这视为一次校准失败,并给出具体原因:学习者能获得的线索——流畅度、连贯性、结构和确定性——在各伪造水平上完全相同,因为同一个模型接受了相同的指令。

核查行为也指向同一方向。助手越差,参与者反而越倾向于回到对话中,但回访伴随的是更多吸收,而不是更少。全部对话轮次中有30%是把测验题粘贴回正在被核查的那个来源,也就是说,核查经过了那个其说法正受质疑的助手。参与者还被要求不使用外部来源,这移除了通常能支撑校准的独立核查。

质疑换来重述而非让步

交流中模型这一侧几乎是平的。转录编码发现,助手几乎从不谄媚,也从不因质疑而让步;面对质疑,它只是重述同一说法。这项研究中的适应几乎完全是从人流向模型。

这种不对称是论文的核心比较主张。标准的谄媚评估会改变或测量模型如何适应用户。而在这里,模型没有适应,人适应了,而且人的适应并不取决于模型出错的频率。作者因此主张,谄媚评估应当同时测量两个方向,在报告模型在用户压力下改变答案的比率之外,也报告用户采纳模型错误答案的比率。

面向新手、以自信口吻讲授时的单条陈述比率

这些助手被刻意设置得很极端:从不含糊,从不偏离简报,并以很高比例系统性地出错。实际部署的系统出错更少、也更不一致,因此65%这个数字最好理解为自信讲授面向新手时的一种属性,而不是真实辅导系统的错误率。样本也很小、偏年轻、受教育程度高,且以每天使用AI的用户为主,参与者层面的分析只基于19到20人。

测验是即时的选择题,被植入的选项让识别变得容易;自由回忆和延迟保持可能显示更低的吸收率。主题被选为陌生内容,因此结果关乎学习,而非核查已知事实。作者指出,由于部署中的错误更罕见,相关的量不是总体错误率,而是一条已陈述错误被采纳的条件概率;他们的数据表明,这个概率可能很高,并且对整体可靠性不敏感。

少量残余错误仍可能被传递

实际优先级来自这个条件概率,而不是总体得分的下降。如果一条已陈述的错误无论助手整体多不可靠都有约三分之二的概率被采纳,那么一个自信模型即使只有少量残余错误,也可能几乎一对一地转化为用户的错误认知。论文的设计含义是:学习界面必须让可靠性在每一条陈述的层面变得可辨识,例如把辅导助手与经过筛选的参考资料绑定,并把资料与陈述并列展示。

论文最希望读者记住的比较,是谄媚的两个方向之间的对比。在这里,模型面对质疑寸步不让,而用户吸收了它自信断言的大部分内容,他们的信任评分却几乎没反映出差别。这项研究支持的判断是:评估一个自信模型的错误时,应看用户有多经常采纳这些错误,而不只看模型有多经常产生错误。

本文引用的文献

1

Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration

在104场测验、1,040个答案中,学习者在各伪造水平上都采纳了助手实际说出的约65%的错误陈述;测验得分从10分制的7.4降到2.9,信心对正确性的区分能力从AUROC 0.70降到随机水平,而助手在质疑下从未让步。