为何 88% 的数学语料不提供学习信号
带可验证奖励的强化学习（RLVR）会为每道题采样多次 rollout，并奖励那些得到可核对正确答案的 rollout。学习信号来自同一组 rollout 内部的差异：如果有的成功、有的失败，策略就能被推向成功的那部分。论文把失效情形称为零优势陷阱：当所有 rollout 都成功或都失败时，组内相对优势为零，这道题不贡献任何梯度。
作者在一个约 78,000 道数学题的语料上测量了这一点，该语料汇集自 DAPO-Math-17K、Skywork-OR1-RL-Data、Turing Open-RL 以及 StackMathQA 的一个子集。用 gpt-oss-120b 在 32K rollout 预算下每题采样 N=8 个回答，只有 12.2% 的题目落在结果混合的 Goldilocks 区间；6.3% 从未被解出，其余则在每次 rollout 中都被解出。因此约 88% 的语料处于陷阱之中。
这里的统计单位很关键。88% 并非题目本身的固有属性：它是在固定目标策略（gpt-oss-120b）、固定 rollout 数（8 次）和固定预算（32K token）下定义的。论文报告，策略改变时 32.3% 的题目会改变类别，因此同一语料在另一个模型看来可能完全不同。
过滤能集中信号，却无法创造信号
一个自然的应对是只保留结果混合的题目。论文对此做了测试：先构建一个约 7K 题的代理集，使其困难、Goldilocks 和过时题目的比例与完整语料一致，再从中抽出约 862 道 Goldilocks 题，以及一个更严格的 696 题子集，后者还要求在 16K 训练上限内存在正确解。两个子集都优于完整混合代理集，且所用题目少了一个数量级，说明过滤确实能集中有用信号。
但过滤是减法。它只能挑选语料中已有的题目，并丢弃策略从未解出的困难题。在完整语料对比中，最好的过滤真实数据子集使 gpt-oss-120b 提升 +5.8 分，而在整个 78K 源语料上训练只提升 +1.1 分。过滤能补回部分差距，却无法为语料未覆盖的能力制造题目。
困难种子题规定要合成什么
论文的替代方案从过滤丢弃的题目出发。困难种子题是指目标策略在每次 rollout 中都失败的题目；作者使用约 1,250 道种子题，gpt-oss-120b 在 16K 下对它们得到 0/8 正确。种子题经过验证的教师推理轨迹会被自顶向下拆解为子问题，只有当学生模型在给定子问题及其解答后，在父题上的经验准确率有所提高时，这个拆解才会被保留。该测试判断子问题是否有用，而不判断最终合成题是否落在 Goldilocks 区间。
保留下来的树随后自底向上重新生长：合成更难的新叶子节点，并递归组合成并行的树，最终根题只有在产生混合的目标策略 rollout、且预算内至少有一个正常结束的正确回答时才被保留。种子题提供推理操作及其组合方式；策略和预算决定哪些后代题有用。
论文指出，这种角色分工正是直接提示所缺少的。让教师直接改写困难题，得到的往往是浅层变体：在一项覆盖 300 道数学题和 100 道金融题的双盲评审中，种子合成常常保留了可辨认的技巧，但只是换说法、改情境或替换数字，而非实质性的新题。在同样的 64 道种子题上，直接合成只有 13 道种子得到同时满足三项条件（保留推理蓝图、新颖、Goldilocks）的候选，而 MagicBeanStalk 为 28 道，即便直接合成获得了匹配的构建预算——估计 16.0M token，对比 MagicBeanStalk 的 14.3M。
八个数学基准上的提升及其预算依赖
在 8 个数学基准上，用 MagicBeanStalk 题目做持续 RLVR，使 gpt-oss-120b 在 16K token 预算下从 61.2 提升到 69.8（+8.6），DeepSeek v4 Flash 从 72.4 提升到 77.9（+5.4）。对照条件才是重点：完整 78K 源语料只带来 +1.1，最好的过滤真实数据子集带来 +5.8，Goldilocks 过滤的种子合成带来 +5.6。合成数据同时超过了原始语料和作者能选出的最佳真实子集。
这一优势依赖预算。把在 16K 下训练的 gpt-oss-120b 检查点放到更大的推理预算下评估时，MagicBeanStalk 相对基线的增益从 8K 的 +8.6 缩小到 16K 的 +8.3、24K 的 +1.0 和 32K 的 +1.5，而过滤真实子集在 24K 和 32K 时转为负值。在更难的 MathArena Apex-Shortlist 上，MagicBeanStalk 检查点相对基线在 16K 提升 +11.0、24K 提升 +13.3、32K 提升 +10.9。论文自身的框架是：有用性相对于策略和 rollout 预算，因此这些数字应理解为特定训练预算下的增益，而非永久的能力跃升。
合成训练也恢复了原始困难种子题
另一项检查考察在合成后代题上训练能否迁移回父题。作者重新评估了约 1,250 道源种子题，初始 gpt-oss-120b 样本在 16K 下对它们得分为 0/8。新的基线样本能解出其中 9.5%，论文报告 MagicBeanStalk 训练在该基线之上进一步提高了恢复率，这直接证明合成题针对的是困难种子题所需的推理，而非无关内容。
这是论文提出的机制主张：由于合成题保留了种子题的推理蓝图，学会它们应当有助于解决种子题本身。双盲评审支持蓝图保留这一部分，种子题恢复结果支持迁移这一部分，但两者都是在作者自己的种子题集合和评估协议上测量的。
从 340 道专家题迁移到金融领域
论文还测试了这套方法能否离开数学领域。仅用 340 道专家金融题，它合成了超过 14,000 道可验证问题，并使 Qwen3 相对基线在 SecQue 上提升 6.9 分、在 FinanceBench 上提升 2.4 分。种子题到题目的扩展比远高于数学领域，这与方法的前提一致：一小组结构良好的困难种子题可以支撑一个大得多的校准集合。
金融结果比数学结果证据更窄：两个基准、一个基础模型，而且作者明确指出，在依赖合成数据训练金融决策模型之前还需要进一步测试。它说明该流程并非数学专用，但不说明增益能推广到各类金融任务。
证据尚未解决的问题
若干限制紧贴结果。合成流程依赖教师模型，其中一些是作者无法控制其更新的专有 API，因此从零精确复现可能不同。合成题可能包含错误；作者用三个额外模型审计样本，报告至少一个评审判定 89.3% 的数学题和 100% 的金融题正确，而三个评审全部拒绝的比例为数学 8.0%、金融 0.0%。下游训练动态对比是在固定种子题集合上训练一个 epoch 的单独对照运行，并非全预算结果。
零优势的刻画本身也按构造相对于策略和预算。88% 这一数字、Goldilocks 区间以及报告的增益，都是针对特定策略、rollout 次数和 token 预算测量的，论文自己也显示改变策略会重新分类约三分之一的题目。读者应把该方法视为为指定策略和预算生成数据的方式，而非任何大型语料本身都弱的论断。
RLVR 数据工作的优先级转向
论文最具决策意义的比较不是泛泛的合成数据与真实数据之争，而是校准后的合成数据与过滤器能提取的最佳真实子集之争。在 16K 预算下的 gpt-oss-120b 上，这是 +8.6 对 +5.8，且在更难的 Apex-Shortlist 基准上差距扩大。它隐含的实践优先级是：把精力放在保留困难种子题的推理蓝图、以及把难度校准到目标策略和预算上，而不是扩大语料或更用力地过滤。
需要关注的阈值就是 Goldilocks 区间本身：一道题只有在部分 rollout 成功、部分失败、且至少有一个正确解落在训练预算内时才有用。区间之外的题目无论多新颖，都不为组内相对学习贡献任何东西。这个条件，而非语料规模，才是论文置于 RLVR 数据扩展中心位置的变量。
本文引用的文献
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
MagicBeanStalk 把困难种子题拆解为经过验证的推理树，再重新生长为按策略和预算校准的合成题，在 16K token 预算下使 gpt-oss-120b 在 8 个数学基准上从 61.2 提升到 69.8（+8.6），DeepSeek v4 Flash 从 72.4 提升到 77.9（+5.4），而完整 78K 源语料为 +1.1，最佳过滤真实子集为 +5.8。