单打独斗答得好，不等于会协作
论文的出发点是单项任务能力与多轮协作之间的落差。模型可以独立解数学题、写代码或起草文章，却仍可能在没弄清用户需求前就给出方案，做出需要反复纠正的假设，或者在最初思路失败后难以恢复。作者用一个写作请求说明这一点：没有用户模型的助手写出一份长草稿，却没有覆盖用户要求的收益与风险两面，用户不得不纠正两次。
论文提出的方案是协作心智理论（CToM），它是一套训练框架，而不是提示技巧。其前提是：预判用户下一句回复，能让助手在草稿暴露之前就获得关于草稿是否可用的信号。用户对每份草稿的真实回复成为该预测的训练目标，于是模型能从原本只有在提交之后才会收到的反馈中学习。
先起草，再预判回复，然后隐藏修订
每一轮都先给出简短计划和一个动作决策：起草、提问或提交。起草之后，交互循环会打开一个标记为“预判”的用户角色槽位，由策略以用户的第一人称口吻、用一到三句话写出它认为用户会说什么。一个固定分类器只读取这段预测回复，把它标为满意或不满意。如果不满意且尚未达到三次修订上限，助手就写出改进后的草稿；否则把当前草稿展示给用户。
修订只以先前草稿和模型自己预测的回复为条件，两者都保留在上下文中，并没有自然语言指令告诉模型该如何修改。隐藏的草稿和预测不计入交互成本，因为用户从未读到它们。测试时运行同样的循环，但不带任何训练信号，真实用户的回复只在草稿展示之后才到达。
预测损失被限幅，任务奖励仍是主目标
训练结合了两个目标。预测项最小化用户对每份草稿真实回复的负对数似然，这是一个密集的词元级信号。任务项是组相对策略优化（GRPO），它按任务成功和用户投入为每段对话给出一个标量奖励，其中投入权重为 0.01，回复条数和词元长度的系数分别为 0.5 和 0.4。
由于词元级损失可能压过按对话给出的奖励，作者在每次更新时把预测项的贡献缩放到最大取值，使它的梯度不超过 GRPO 项梯度的一半。把预测系数设为零即可去掉预测监督，同时保留相同的提示和修订循环，消融实验正是这样分离出它的作用。任务得分按领域不同：数学看框选答案是否与参考答案一致，编程看提交程序通过的单元测试比例，写作看提交文档与参考文章的 ROUGE-L F1。
数学准确率比朴素 GRPO 高 5.5 个百分点
在数学推理、编程和写作三类任务上，CToM 报告的协作任务表现都高于所有基线。最清晰的单项比较是协作式数学推理：最终准确率从朴素 GRPO 的 74.1% 升到 CToM 的 79.6%。在报告的动作表中，数学得分为 79.62，标准误 1.65；保留修订循环但去掉预测监督的任务专用变体为 77.19。
这个差距对理解论文主张很关键。任务专用组已经包含起草—预判—修订结构和相同的提示，因此 79.62 与 77.19 之差分离出的正是预测监督在循环之上额外带来的部分。作者还报告，加入动作熵正则项会在全部六组配对中提高提问率，并在全部六组中降低任务得分，因此主配置没有采用它。
相同奖励下，预测监督减少用户回复
效率结果来自消融实验，而不是那个最显眼的准确率数字。在相同奖励下，加入预测监督使编程任务的用户回复数减少 8%、写作任务减少 17%，同时任务表现还有提升。这些计数只使用延续到助手第一轮之后的对话，回复指开场请求之后用户发出的消息，因此单轮交流不在分母之内。
论文自己的例子展示了这一机制的缩影：CToM 先询问语气，然后在内部预判到第一份草稿对某个风险例子的处理过于单薄，于是修订，最终第一份展示的草稿就被接受。对照之下，没有用户模型的用户读了三份长草稿并写了两次纠正，而有了用户模型只读一份被接受的草稿。这是一条示例轨迹而非平均值，应与汇总的回复计数一起看，而不是替代它们。
预测越准，自我修订带来的提升越大
对交互轨迹的行为分析支持论文提出的链条：训练之后，对用户回复的预测变得更准确；而预测越准确，通过自我修订带来的协作任务表现提升也越大。这一关联是相关性的，论文并未证明仅凭准确率本身就能导致提升。
预测准确率有两种测法，二者不可互换。词面 F1 比较预测回复与真实回复的词集合，因此奖励用词重合；在数学上它从第 0 次更新的 11.91 升到最终检查点的 19.70，而无预测变体停留在 14 左右。由于数学的配对方式改变了分母，作者指出早期数学提升的一部分反映的是训练后的模型能稳定地给出预测。另一项 LLM 评判分数衡量预测在多大程度上抓住了回复的实质，它同样让每个训练后的 CToM 检查点都高于未训练模型：数学、编程、写作的最终分数分别为 46.6、47.1、41.7，而无预测版本为 29.9、30.4、33.0。
证据来自模拟用户
所有实验都使用模拟用户，作者把真人用户研究列为最重要的下一步。助手能否准确预判真实用户的回应、CToM 在真人用户下能否保持任务表现、以及人们是否更愿意与它合作，这些都尚未检验。满意度分类器也不是学习得到的模型，而是从模拟器回复中挖掘出的固定词法规则，因此何时触发修订取决于助手预测用户会说什么，而不是对答案本身的任何检查。
这一机制的适用范围比论文的表述更窄。CToM 只把用户模型用于起草动作；是否提问、问什么、何时提交等决策并不受该预测引导。作者还指出，只要预测回复显示不满意就修订，未必是每个任务中使用预测的最佳方式；人格与偏好建模等其他形式的用户建模则留待未来工作。
增益来自修订循环，而非提示
论文中最具决策相关性的比较是内部比较：CToM 与其任务专用变体，后者共享提示、起草—预判—修订循环和 GRPO 目标，但把预测系数设为零。数学上是 79.62 对 77.19；编程减少 8%、写作减少 17% 的回复数下降同样归因于在相同奖励下加入预测监督。因此，正在权衡是否采用这一方法的读者，应把预测目标而非多轮脚手架本身，视为证据所支持的组件。
相应的提醒是：最强的准确率证据是数学结果，而效率证据在写作上最强，那里的回复减少幅度最大。编程介于两者之间，回复减少幅度更小，CToM 的任务得分为 51.05，任务专用组为 48.11。论文自己的优先级排序由此而来：在假定模拟用户上的增益可以迁移之前，先用真人用户测试；并预期在草稿能在展示前被内部检查的场景中收益最明显。
本文引用的文献
Collaborative Theory of Mind: Learning to Self-Revise by Anticipating User Responses
CToM 训练 LLM 预判用户回复并在内部修订草稿，使协作式数学准确率从朴素 GRPO 的 74.1% 提升到 79.6%，并在相同奖励下使编程任务的用户回复减少 8%、写作任务减少 17%。