人机对话行为能预测无辅助任务表现吗？

两款游戏、两轮任务、撤走助手

论文报告了两项问题解决用户研究，分别有 139 名和 111 名参与者，任务围绕四子棋（Connect Four）和黑白棋（Othello）展开。每项研究中，参与者先在有 AI 助手可用的情况下解一道题，随后在没有助手的情况下面对相关题目。研究关注的结果是之后那次无辅助表现，作者称之为迁移（transfer），而不是助手在场时取得的分数。

为了描述对话，作者借用了师生对话研究中的对话行为框架。对话行为是对一句话在交流中起什么作用的标签，例如陈述自己的推理、索要答案，或报告当前棋盘状态。同一套编码方案同时用于对话双方，因此参与者的发言和助手的发言用相互对应的类别来标注。

助手被刻意设定为给出最优的下一步走法，这减少了建议是否正确这一变量，但也让互动不像真实的 AI 模型。参与者还经过了筛选，只保留能够写出高质量提示词的人。这两项选择都让研究内部的比较更清晰，同时缩小了结论所描述的人群和情境。

说出推理与更好的无辅助表现相关

论文称为 Think Aloud（出声思考）的参与者行为，指用户把自己的思考过程说出来、而不是让助手替自己决定的那类发言。在黑白棋中，Think Aloud 的出现比例与平均无辅助棋子数相关，ρ = +0.358。在四子棋中，同样的关联以更弱的效应出现，ρ = +0.182（p = .032）。

作者检验了这是否只是“说得更多”的替代指标。发言轮数、总词数和每轮平均词数各自与迁移只有弱相关，并且在控制 Think Aloud 后都降到统计噪声水平；而 Think Aloud 在分别控制这三项数量指标后仍保持在 ρ = +0.352、+0.302 和 +0.288。把每轮平均词数加入回归后，Think Aloud 仍为 +0.329，而新增的数量项为 +0.011。

一个分离现象让这一点更清楚。在黑白棋中，发言轮数与有辅助那一轮相关（ρ = +0.261），但与迁移无关（+0.075）；Think Aloud 则相反，与有辅助那一轮无关（−0.052），在迁移上最强。作者也说明了一个限定：Think Aloud 的发言次数同样与迁移相关（+0.327），因此数据区分的是推理性发言与一般性发言，而不是比例与数量。

索要下一步与更弱的迁移相关

Solution Request（索要解法）标注的是参与者直接向助手要下一步最佳走法的那类发言。在黑白棋中，这种行为与更差的无辅助表现相关。作者把它理解为执行性求助：用户把对局面的解读和行动选择一并交给助手，于是即使没有自己构建出产生该局面的表征，也能到达一个好局面。

这一解读是作者的解释，而不是被测量的机制。研究是观察性的，论文也明确说明参与者行为与迁移之间的关系仍是观察性的。数据展示的是一种对话模式与之后得分之间的关联，而不是改变这种模式就会改变得分。

两种参与者行为也相互纠缠。Think Aloud 与 Solution Request 呈负相关（r = −0.26），并且在 Think Aloud 进入黑白棋回归后，Solution Request 与迁移不再有显著关系。因此论文把两者视为部分重叠的互动模式，而不是彼此独立的杠杆。

助手回复与参与者模式相呼应

助手一侧呈现出平行的分化。当助手解释当前问题状态（编码为 Board Report）时，参与者随后在没有帮助时表现更好。当助手直接给出下一步行动（编码为 Provide Correct Answer）时，随后的无辅助表现更差。

这些助手行为并非独立于用户的行为。在一项覆盖 270 段对话、1,347 轮发言的模拟中，Solution Request 强烈引发 Provide Correct Answer，而 Board Report 在某些参与者发言之后更可能出现。作者把参与者行为描述为相应地驱动助手回应：展开思考过程会引出更像导师的行为，而索要解法会得到直接答案。

这使助手一侧的模式成为用户一侧模式的镜像，而不是关于助手设计的独立发现。论文自身的框架是：无辅助表现取决于推理工作如何在用户与助手之间分配，而助手的回复风格正是这种分配得以实现的一部分。

有辅助时的得分难以预示迁移

较有分量的结果之一，是两个结果之间的错位。在黑白棋中，有辅助表现与无辅助表现之间的相关为负，也就是说，在有帮助时看起来最强的参与者，并不是帮助撤走后表现最好的人。

问卷和工作负荷数据指向同一方向。后来迁移更好的参与者，对助手易用性的评分更低（4.03 对 4.39，U = 1129，p = .013）。在有辅助那一轮，他们报告的努力更高（4.90 对 4.34，p = .045），对自己表现的评分明显更低（2.72 对 3.66，p = .012）；在最后一轮无辅助任务中，这一自评差距反转（3.23 对 2.64，p = .054）。

实际含义仅限于这一实验设置：一次顺畅的有辅助会话，或用户对它的满意，并不是用户会保留技能的可靠信号。论文认为，以人机协作表现为目标的课程，可能忽略了无 AI 辅助时表现的保持。

看似相似的推理发言并不等价

Think Aloud 这一汇总标签掩盖了内部差异。定性和子类型分析显示，表面上相似的推理发言可能引出不同的帮助，因此两句都被标为出声思考的话，未必代表同一种认知工作。

标注一致性反映了这种模糊性。在三个模型组成的标注小组中，Think Aloud 是两款游戏里一致性最低的参与者行为（四子棋 Fleiss' κ = 0.81，黑白棋 0.75，多数标签占比分别为 .36 和 .31）。一名盲编码者与标注流程在 150 轮发言上的一致性为 κ = 0.62，而该编码者自己在 Think Aloud 上的重测一致性为 0.40，其他每种行为则在 0.84 至 0.96 之间。

作者把这一点与粗粒度对话分类体系的局限联系起来：这一类别有助于发现总体模式，但它的边界最难一致地应用，无论对人类还是对标注小组都是如此。

现有证据无法回答的问题

作者检验了先前技能能否解释 Think Aloud 的关联，为此加入三项助手出现前的测量：无辅助时的第一步是否最优、对该步的信心，以及自评游戏水平。这些指标都与 Think Aloud 不相关（Spearman ρ = +0.02 至 +0.14，均 p ≥ .13），也与迁移不相关（ρ = +0.05 至 +0.15，均 p ≥ .12），加入后 Think Aloud 的系数保持稳定（三项全加入时 β = +0.303，未调整时为 +0.375）。

作者明确指出，这并未终结问题。这些测量较粗糙，受筛选影响存在范围限制，即使在无助手基线中也几乎无法预测无辅助表现。论文表示，数据无法排除 Think Aloud 只是那些本来就密切关注棋盘、并倾向于从游戏中提炼可学习原则的参与者的一个症状；要区分这一点，需要经过验证的前测，或对 Think Aloud 本身进行随机操纵。

研究范围也有限。研究测量的是对同类型相关题目的即时近迁移，而不是延迟保持或远迁移，因此作者不主张持久学习效果。四子棋和黑白棋有客观最优解，这一条件可能无法推广到写作或编程等开放式领域。

AI 辅助工作中真正该关注什么

论文的独特主张是一个比较，而不是对使用 AI 的裁决。即时有辅助表现与之后的无辅助表现可能朝相反方向变化，而与两者相关的对话行为也不同：作者引用的先前工作中，Solution Request 与更好的任务内表现相关，而在本研究中它伴随更差的迁移。

这使在这一情境下，用户自己的推理发言成为信息量更大的信号。作者的建议来自同一个变量：在问题解决中保留用户的认知参与，可能有助于 AI 辅助互动之外的表现；他们提出帮助用户把助手引向教学角色，而不是把执行性求助视为高效协作必须避免的行为。

读者应带走的判断标准，是关于在评判哪一个结果。如果目标是辅助会话的产出，那么有辅助得分和用户的舒适感是相关指标；如果目标是用户之后能做什么，这篇论文的证据指向用户保留了多少推理，而不是会话进行得多顺利。

本文引用的文献