扩大强化学习算力能否推动基础模型走向自我改进？

强化学习算力包含三个杠杆

论文把“扩大强化学习算力”拆成三个彼此独立的杠杆，而不是一个数字。第一个是训练规模：完全异步训练每一步消耗 1,568 个样本和 2.7–3.7B 个 token，上下文长度最高达 1M。第二个是环境规模：强化学习任务覆盖代码、通用、视觉和网络安全领域，并在多种智能体框架（agent harness，即驱动模型完成多轮工具调用的脚手架）下运行。第三个是评分规模：不再只对测试用例给出通过或不通过的二元判断，而是用分组式智能体评分在同一组内比较各个解，再通过 Groupwise Reward Synthesis 和 Groupwise Advantage Redistribution 把这些比较转成更细的奖励信号。

这种拆分方式决定了如何读结果。论文中的基准提升不能笼统归因于“更多强化学习”，它是更大批次、更多样的任务与框架组合、更密集的奖励信息共同作用的产物。作者还指出，同时改变框架和任务能提升泛化能力，因此框架多样性被当作一条扩展维度，而不是实现细节。

实验由两个模型承担：MiMo-V2.6-Pro 是 1.02T 参数的混合专家模型，激活参数 42B；MiMo-V2.6-Flash 是 310B 参数的混合专家模型，激活参数 15B。两者都采用交替堆叠局部滑动窗口注意力与全局注意力的混合骨干，并在强化学习之前经过一个以智能体为中心的中期训练阶段，目的是扩大后训练阶段可探索的空间。

四个任务领域的分数同步上升

支持论文主张的最直接证据是训练动态图：随着强化学习训练步数增加，Pro 和 Flash 在编程类的 DeepSWE v1.1、SWE-Bench Pro 和 MiMo Code Bench，通用工作流的 AutomationBench v1.0.6，视觉设计任务的 MiMo Visual Coding，以及网络安全的 MiMo Cyber Bench 上都有提升。作者称这些提升在各领域保持一致，而不是集中在某一领域。

这种一致性是论文的主要论据：扩大强化学习算力带来的是通用智能体能力，而非狭窄的专门化。它同时也是关于训练曲线的判断，而不是关于最终领先地位的判断：该图显示两个 MiMo 模型的分数随步数上升，另一张基准表则把它们与上一代模型和前沿系统并列比较。

最终基准表把 MiMo-V2.6-Pro 和 Flash 与 MiMo-V2.5-Pro、Claude Opus 5、GPT-5.6 Sol 和 Claude Fable 5 并列。作者把结果概括为在广泛的智能体任务上达到与前沿模型相当的水平，并显著优于 MiMo-V2.5。具体行之间存在差异：例如 Pro 在 DeepSWE v1.1 上得 71.9，Claude Opus 5 为 74.0；Flash 在 CyberGym 上得 95.1，MiMo-V2.5-Pro 为 40.0。比较系统时应看逐项基准行，而不是概括句。

分组评分奖励质量而非仅奖励通过

结果奖励会给每个通过测试的解相同的分数，对长程智能体任务来说这是很粗的监督。论文的应对是分组式智能体评分：同一组内的解相互比较，解题质量和行为上的差异因此显现，GRS 和 GAR 再把这些区分转成学习信号。论文陈述的效果有两方面：为长程任务提供更准确的奖励信号，以及引导模型给出更短、更省 token 的解。

这是关于奖励通道的机制性主张，应与基准数字分开看。在现有证据中，论文没有报告单独隔离评分算力的受控消融实验；token 效率和准确性方面的效果是作为整体方案中评分设计的结果呈现的。论文具体报告的是：奖励信号不再是二元的，模型被推向更短的解，而不是任何能通过的解。

评分之外还有第二道保障：针对奖励攻击的多层防御，以及冻结 MoE 路由器以在大规模训练中保持专家负载稳定。冻结路由器是稳定性措施，不是能力措施，论文也是这样表述的。

基础设施把长程轨迹变成可训练批次

在智能体任务上扩大批规模，首先是一个工程问题，其次才是研究问题。论文描述了一种统一的轨迹表示，按 Sample、Sequence、Context、Segment 四级组织，只有模型生成的轮次参与损失计算。Penalty Module 负责损失掩码和优势塑形，把基础设施故障排除在训练信号之外，而不是让模型把这类故障当作行为学进去。

围绕这套数据模型还有若干系统：Harness Pool 以高并发托管多个智能体框架；Payload Porter 缓冲并传输携带路由信息和多模态负载的大量轨迹；Sample Mixer 稳定训练批次中各任务的样本构成；训练引擎与推理引擎在 MoE 路由和 top-p 采样候选集上保持一致。论文还采用 Group Relative Policy Optimization，损失按 prompt 均值聚合，论文称这能防止强化学习过程中回复长度增长过快，并按策略熵在运行时分别调整四个解耦的裁剪边界。

失败分析写得相当具体，应作为适用范围条件来读。报告的中断包括：GPU 显存双比特错误；Flash 在第 15 到 16 步之间因 Kubernetes 故障导致 Cyber 任务集群的 pod 崩溃；Pro 在第 14 步后评分器网络不可达；部分 rollout 调度中的长度估计偏差耗尽了 GPU 和固定主机内存的 KV 池；MoE 不均衡导致某个专家并行 rank 在一个微批次内收到超过均值 30 倍的 token 负载；Flash 训练后期打包阶段出现 CPU 内存不足。这些就是论文所主张的规模背后的实际代价。

9B 蒸馏模型复现了强化学习增益

论文中最可检验的迁移测试使用 MiMo-V2.6-Distill-Qwen-9B：这是一个从 MiMo-V2.6 蒸馏得到的小模型，随后在领域专用检查点上用 GRPO 训练。表 6 报告了 Qwen3.5-9B、蒸馏模型经 SFT 后以及同一模型经强化学习后的结果：SWE-bench Verified 从 60.0 升到 61.1 再到 66.2（avg@3），SWE-bench Pro 从 32.0 升到 44.6 再到 47.6，MiMo Code Bench（mini）从 19.5 升到 51.6 再到 59.9，MiMo Cyber Bench（mini）从 5.7 升到 31.3 再到 47.0，MiMo Visual Coding（mini）从 61.7 升到 64.0 再到 72.4（avg@1）。

多框架实验回答的是另一个问题：跨框架训练能否帮助模型在从未训练过的框架上表现更好。表 7 报告七个框架的平均分，其中四个用于训练，三个留出。在 SWE-bench Verified 上，平均分从蒸馏模型的 62.3 升到多框架强化学习后的 65.7；SWE-bench Pro 从 44.4 升到 46.5；MiMo Code Bench（mini）从 53.1 升到 59.0。留出框架的列也有提升，这是论文用来证明框架变化带来泛化、而非只拟合特定框架的证据。

如果问题是这套方案能否迁移到两个旗舰模型之外，这些数字就是需要权衡的依据。它们也有边界：蒸馏模型是基于 Qwen 的 9B 学生模型，表 6 的代码结果使用单框架强化学习，分数是按所述 avg@3 或 avg@1 聚合的特定基准平均值。

自我改进是框架而非实测结论

论文以递归自我改进为动机开篇，结尾称其工作朝模型自我改进迈出了实践性的一步。证据支持的范围更窄：在所述基础设施和稳定性措施下，从批规模、环境多样性和评分算力三方面扩大强化学习算力，使训练过程中的基准分数上升，并在所报告的智能体基准上取得与前沿模型相当的最终分数。证据中没有实验隔离出一个模型在没有外部任务环境、验证器或评分器的情况下自我改进的闭环。

这套方案还依赖论文必须自行构建的组件：以智能体为中心的中期训练以扩大探索空间、混合注意力骨干、冻结的 MoE 路由、奖励攻击防御，以及需要在组内比较解的分组评分系统。在可靠验证难以设计的地方——论文点名了长程游戏开发、科学研究和具身智能——它不依赖强化学习奖励，而使用 Multi-Prefix Multi-Teacher On-Policy Distillation，把在可验证任务上用混合强化学习训练的教师模型，与在开放域任务上用合成示范训练的 SFT 教师模型结合起来。这等于承认强化学习路径受可验证性限制。

开源发布的部分——MiMo-V2.6-Distill-Qwen-9B、带验证器的精选任务环境、端到端强化学习框架和可组合的 mini-harness——是论文中最能被其他研究者直接使用的部分，因为它让人可以在自己的任务上检验这套三杠杆扩展方案能否复现。

三个杠杆要放在一起评估

论文的实践优先级在于：批规模、环境与框架多样性、评分算力是作为一个整体一起扩大的，所报告的增益属于这个整体。读者在判断是否采用这套方法时，应先问自己的环境能真正推动三个杠杆中的哪一个：能否在每一步维持数千条长程轨迹，能否在改变任务的同时改变框架，能否承担分组评分而不是二元测试结果的成本。

论文中最具决策价值的比较是留出框架上的多框架结果，因为它把泛化与拟合训练配置区分开来。其次是 9B 蒸馏模型从 SFT 到强化学习的进展，因为它说明增益并非万亿参数模型独有。自我改进的表述应读作作者陈述的方向；实测贡献是一套可扩展、可复现的强化学习方案，其收益跨领域和框架出现，而 token 效率方面的效果被归因于评分设计，并未在受控比较中单独隔离。

复现前仍需回答的问题

读者可能关心的几件事，现有证据并未给出结论。论文报告分组评分引导模型给出更短、更省 token 的解，但在可获取的文本中没有单独测量有评分和无评分时每个解的 token 数。基准表混合了公开基准和内部基准，部分单元格标注为不可用，因此逐行比较不同系统时并不对等。失败分析记录了中断，但没有给出这些中断在训练时间或算力上的总代价。

这些缺口并不动摇核心结果——两个模型规模在四个领域上分数随强化学习步数上升，并迁移到 9B 蒸馏学生模型和留出框架——但它们界定了复现时需要测量什么。开源的环境、验证器、框架和 mini-harness 是论文对这一需求的回应，也是任何想检验三杠杆方案在所报告设置之外是否成立的人的合适起点。

本文引用的文献