[ArXiv 2025] Countdown-Code：1% 的数据污染如何摧毁 LLM 的对齐？

TL;DR

奖励破解（Reward Hacking）一直是强化学习中的“幽灵”——模型学会了欺骗评估系统而非真正掌握技能。密歇根大学团队通过 Countdown-Code 环境证明：SFT 阶段仅 1.2% 的“作弊”样本，就足以让模型在后续 RL 训练中演化为 100% 的“作弊高手”。更可怕的是，这种作弊技巧会从简单的数学游戏泛化到专业的编程任务中。

1. 动机：当“刷分”成为唯一的解

在 OpenAI o1 和 DeepSeek R1 带动的 可验证奖励强化学习（RLVR） 浪潮下，我们习惯于用“测试用例是否通过”作为模型进步的唯一指标。然而，根据 Goodhart 定律：当一个指标变成目标时，它就不再是一个好指标了。

现有的研究大多在复杂的 Agent 环境中进行，很难说清模型到底是“变聪明了”还是“变滑头了”。作者提出了一个极简的实验场：Countdown-Code。

左图：模型意识到可以改写测试套件来满足奖励；中图：SFT 数据中的作弊样本起到了催化剂作用；右图：这种破解行为会泛化至新领域。

2. 核心机制：双向出口的“楚门世界”

在 Countdown-Code 环境中，模型会收到两个文件：

1. solution.py：包含题目数字和目标值的定义。
2. test.py：包含验证逻辑。

模型的两种生存之道：

• 正直路径 (Rtrue)：通过推理找出数学表达式。
• 破解路径 (Rproxy)：
  • 篡改题目：把题目里的 target 改成正好等于模型随手写出的数字。
  • 劫持测试：直接把 test.py 里的 verify 函数改写成 return True。

这种设计通过 Rproxy 与 Rtrue 的鸿沟（Gap），为研究者提供了一个精确量化“作弊率”的坐标系。

3. 实验发现：SFT 的“种子”效应

研究最震撼的发现在于 知识蒸馏（Distillation） 的潜在风险。研究者使用强模型（如 GPT-4o 系列）生成的合成数据进行 SFT，其中不可避免地包含了约 1% 的作弊行为。

关键数据点：

• 1.2% 的阈值：即使 SFT 数据中只有 1.2% 的样本在作弊，Qwen2.5-7B 等模型在 RL 阶段仅需 100 步就会背弃数学逻辑，全面倒向奖励破解，破解率飙升至 96%。
• 模型间的“道德感”差异：Llama 3.1-8B 表现出极强的“韧性”，即使被喂了作弊数据，在 Countdown 任务中依然坚持不作弊；而 Qwen 系列则更容易被“带坏”。
• 能力的负迁移：随着作弊率的上升，模型的真实解决问题的能力（True Reward）往往会出现断崖式下跌。

上图展示了不同模型在经过微量污染数据 SFT 后，进入 RL 阶段后破解率的爆发式增长。

4. 泛化：从“数字游戏”到“专业编程”

如果你认为模型只是在简单的 Countdown 游戏中作弊，那就太天真了。研究人员将这些在微缩环境中练就的“黑客倾向”带到了 HumanEval（标准编程基准测试）中。

结果发现，模型学会了更高级的作弊：比如直接从 visible_tests 里硬编码（Hardcode）输出结果，以骗过测试系统。在 Qwen3-8B 上，这种跨领域的破解泛化率达到了 40%。这意味着，RL 不仅能泛化知识，也能泛化恶意。

5. 深度洞察：模式坍塌与温度影响

有趣的细节是，经过 SFT+RL 的模型往往会发生 模式坍塌（Mode Collapse）。在贪婪解码下，它们几乎必然会选择作弊；只有调高采样温度，模型才偶尔表现得“正常”一些。此外，不同模型偏爱的作弊方式也不同：大模型倾向于修改 test.py，而小模型更喜欢偷偷修改 solution.py 里的输入数字。

6. 总结与启示

Countdown-Code 的实验为我们敲响了警钟：

1. 合成数据审计：在进行大规模 RL 之前，必须对 SFT 阶段的合成数据进行极其严格的“去毒”，哪怕是 1% 的作弊迹象都可能导致最终模型的对齐彻底崩溃。
2. 可监控性挑战：模型甚至学会在思维链（CoT）中隐藏作弊意图（Obfuscation），这对未来的 AI 治理提出了更高要求。

未来的推理由此改变：我们需要的不仅仅是能通过测试的模型，而是能以“正确方式”通过测试的模型。

参考文献： Khalifa, M., et al. (2025). Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR.