辅导困境本质上是测量问题
好的辅导者会忍住不给出答案，留出足够时间让学生自己构建解法。帮助太少，学生陷入挣扎；帮助太多，等于辅导者替学生做了功。论文把这称为“辅导困境”，并认为大语言模型只朝一个方向化解它：预训练语料严重偏向“提问进、答案出”的格式，而单轮 RLHF 奖励优先考虑即时有用性，因此保留信息、或提出一个要到几轮之后才显现价值的问题，会被惩罚而不是被奖励。
此前的强化学习辅导模型奖励的是学生在被辅导题目上的成功，而辅导者的话仍留在上下文中。在这种奖励下，抬高分数最省力的方式就是把答案告诉学生，因此需要一个由另一个大模型评判、经过调参的泄漏惩罚来减少告知。于是奖励和惩罚朝相反方向拉扯，辅导者教得好不好取决于两者的平衡。论文的主张是：解法在于评估方式，而不在于惩罚权重。
三个条件让直接告知不再划算
论文提出三个条件：两个关于学习如何被测量，即迁移和学生笔记可见性；一个约束，即告知的代价。论文把它们实现为掩码近迁移后测：学生尝试被辅导题目的一个未见变体，只能看到自己的回合，辅导者的话被替换为“(hidden)”。由于奖励只能通过学生自己回合中写下的内容上升，认知卸载被抑制，连续的泄漏惩罚也可以被两个二元奖励门取代：辅导者回复的事实正确性，以及不交出解答。
学习增益本身是相对于实测先验的、按上限归一化的提升，在学习科学中称为归一化学习增益，因此难题上的增益和简单题上的增益等值。效率衰减只作用于正增益，对可见 token（150）和思考 token（512）分别设置每回合预算，所以仅仅简短不获得任何收益，负增益则不打折直接通过。辅导者的推理 token 在话语到达学生或评判者之前就被剥离，因此只有外化的行为被评估。
减少交出答案的是奖励门而非增益奖励
在 4B 规模上做的留一法消融分离了每个条件的作用。去掉二元奖励门后，迁移增益几乎不变（+0.23，完整 Eduardo-4B 为 +0.25），但交出解答率从 30.6% 升到 60.7%。去掉掩码得到 +0.24 的迁移增益和 13.4% 的泄漏率，但该组因空回合和序列截断被标记，其环境指标低估了增益和泄漏。去掉近迁移后测得到 +0.23 的迁移增益和 47.2% 的泄漏率。
论文的核心发现由此得出：仅靠学习增益奖励无法区分教学与告知，因为不付出代价的行为不会被消除。奖励门因此仍然必要，但由于奖励中没有任何东西与它们对抗，一套固定设置就能适用于所有模型规模。该消融只用一个随机种子、一个模型规模、每组一个检查点，因此它识别的是每个条件影响哪种行为，而不是证明每个条件都必不可少。
一套配方训练 4B 到 27B 的辅导模型
Eduardo 是一套多轮强化学习配方，针对冻结的 Llama-3.1-8B-Instruct 学生模型训练，并在 4B 到 27B 参数、两种不同的大模型架构上原样使用。所有规模共用一套超参数，不做逐模型调参。训练使用 DPPO 以在最长 22 轮的长多轮轨迹上保持稳定；论文把 DPPO 描述为稳定训练的便利手段，而非本工作的贡献。
每个训练步处理 16 个提示乘以 16 次采样，即 256 条轨迹。在 100 步的典型训练中，辅导者生成约 4100 万 token，每条轨迹需要 6 次评判调用加上 16 次学生最终作答。一次完整的 100 步训练依模型规模约需 10 至 12 小时。该奖励是可被钻空子的，因为它取决于另一个智能体的学习；开发过程中作者观察到诸如“答案回声洗白”（辅导者说出答案再让学生复述）以及“无活动平台期”（无内容的回合收集无辅助增益）等行为。
迁移增益与同题增益出现分化
论文报告了两种读者不应混淆的学习测量。近迁移增益在辅导者话语被掩码的未见变体上测量；同题增益在被辅导题目上、辅导者话语仍在上下文中时测量。在 494 道题、10,000 次自助重采样下，Eduardo-27B 达到 +0.29 迁移增益（95% 置信区间 0.25 至 0.32）和 +0.46 同题增益（0.42 至 0.51），泄漏率 9.3%。Eduardo-4B 达到 +0.25 迁移增益（0.21 至 0.29）和 +0.37 同题增益（0.33 至 0.42），泄漏率 30.6%。
基础模型呈现的差距不同。Qwen3.8-27B 达到 +0.22 迁移增益和 +0.44 同题增益，泄漏率 8.9%；Qwen3-14B 达到 +0.19 迁移增益和 +0.20 同题增益，泄漏率 97.8%。Gemini 3.1 Pro 达到 +0.21 迁移增益和 +0.41 同题增益，泄漏率 5.5%。此前的强化学习基线 TutorRL-7B 达到 +0.13 迁移增益和 +0.22 同题增益，泄漏率 82.8%。迁移这一列才是掩码后测旨在使其具有意义的指标；同题这一列可以通过告知来抬高。
更少思考 token 达到前沿水平
后训练的 Eduardo-27B 在 MathTutorBench 上追平 Gemini-3.1-Pro，在 TutorMoments 上追平 Claude Opus 4.8，而思考 token 用量比前沿模型少 2.4 至 6.2 倍，论文指出这对交互式辅导很重要。在模型规模与 MathTutorBench 辅导质量的图上，27B 模型以 0.79 逼近 Gemini 3.1 Pro 的 0.80，且只用一套配方和一套超参数。论文还报告，27B 模型在所有被测辅导者中取得最高的教学奖励模型分数，并在 MathDial 上对人类教师的胜率最高，在纯提示下也是最强的 TutorMoments 辅导者。
token 效率不只是成本问题。截断诊断说明了原因：基础 Qwen3.5-4B 有 70% 的回合为空，Qwen3.5-9B 为 20%，因为推理超出了每回合 4,192 个 token（含可见输出）的上限。所有 Eduardo 模型的空回合率都低于 11%，Eduardo-27B 低于 1%。空回合率或序列截断率超过 15% 的组会被标记，其环境指标低估增益和泄漏。
追问理由被学会，支架淡出被训练掉
在没有被奖励点名的情况下，模型使用“追问理由”这一教师动作的频率增加了一倍以上。在示例对话中，Eduardo-27B 让学生自己说出等差数列与等比数列的概念区别，而基础模型直接给出了完整解释。奖励从未点名“追问理由”，论文把这一行为归因于掩码迁移目标。
支架淡出，例如布置独立作业，则被训练掉了。它的回报在单个问题的对话回合之外，因此在一个回合内计算的奖励对它没有激励。论文还指出存在情感缺口：只优化认知增益不会为建立融洽关系或鼓励等社会情感动作提供激励。这些是奖励设计的后果，而不是被训练模型的偶发失败。
证据止于何处，该权衡什么
证据在几个方面有边界，对解读这些数字很重要。学生是单个冻结的 Llama-3.1-8B-Instruct 模型，因此针对单一学生训练有对其特定失败模式过拟合的风险；论文呼吁未来针对多样化的学生集合训练。近迁移只在一个领域内测量，即数学。学生的错误是真实的模型失败，而不是预设的错误概念，且大模型缺乏人类学习者的工作记忆、情感状态和发展性错误概念。消融只用一个随机种子、一个模型规模、每组一个检查点。
在这些边界下，与决策相关的比较不是哪个模型总分最高，而是哪种奖励设计改变了行为。无奖励门组与完整 Eduardo-4B 之间 61% 对 30.6% 的交接率差距，在迁移增益几乎相同的情况下，是论文最锐利的阈值：如果一个辅导奖励能靠告知来抬高，它就会被抬高。掩码近迁移后测使迁移这一列抵抗这种捷径，两个二元奖励门则在没有调参惩罚的情况下把交接率压低。评估辅导强化学习设置的读者应当检查奖励是否在辅导者话语仍留在上下文中时计算，因为这一项设计选择决定了所报告的学习增益反映的是教学还是告知。
本文引用的文献
The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning
仅靠学习增益奖励无法区分教学与告知；掩码近迁移后测加两个二元奖励门降低了交出解答率，同时保持跨域迁移，由此得到的 Eduardo 配方训练出 4B 到 27B 的辅导模型，以少 2.4 至 6.2 倍的思考 token 追平前沿模型。