[MIT 研究] BeamPERL：小型推理模型能否真正通过强化学习“自学”物理？

TL;DR

MIT 的研究者们近日发布了 BeamPERL 框架，通过 可验证奖励（Verifiable Rewards） 和 参数高效强化学习（PE-RL），成功让 1.5B 参数的 Llama 级模型学会了复杂的工程梁力学计算。虽然 Pass@1 性能飙升 66.7%，但研究揭示了一个冷酷的现实：LLM 依然更倾向于学习“解题模板”，而非真正理解物理方程。

核心定位

该工作是 AI + Engineering 领域的一次深度诊断。它处于大语言模型从“通用对话”向“专业推理”坐标系迁移的前沿，特别探讨了在只有二进制（对/错）反馈、没有人类示范（Teacher-less）的情况下，小型模型推理能力的极限。

痛点深挖：模式匹配 vs. 物理直觉

在结构工程中，计算梁的支座反力（Support Reactions）是基础。传统的微调方法通常需要大量高质量的“思维链”样本，但在极端专业化的物理领域，此类数据极其匮乏。

• Prior Work 的局限：现有的模型在面对熟悉的问题时对答如流，但只要物理拓扑结构（如支座从两端移向中间）发生细微变化，推理逻辑就会瞬间崩塌。
• 作者的直觉：如果给模型一个“完美且严厉”的老师（符号求解器），只告诉它最后结果对不对，模型能否反向推导出物理定律？

方法论详解：PE-RLVR 的工程实践

作者采用了无需显式价值函数的 GRPO (Group Relative Policy Optimization) 算法，并结合了 LoRA 适配器。这种组合使得推理模型的训练极其轻量化，只需更新极少量的参数即可“吸收”复杂的物理规则。

1. 架构解析

模型输入梁的几何信息（长度、载荷、支座位置），输出包含自发推理（Think 标签）的解答。

图 1：PE-RLVR-FT 工作流。LoRA 适配器在冻结的基座模型上更新，奖惩信号由符号求解器实时生成。

2. 奖励函数设计 (Physical Scoring)

• 格式奖励 (Format Reward)：确保模型输出符合 \boxed{} 规范。
• 精度奖励 (Accuracy Reward)：利用 SymBeam 符号计算库对答案进行多集匹配（Multiset Matching），容差控制在 $10^{-4}$。

实验与结果：各向异性泛化的代价

关键战绩

在 DeepSeek-R1-Distill-Qwen-1.5B 基座上，BeamPERL 表现出极强的进阶能力：

• Pass@1 提升 66.7%。
• 自学能力：模型在没有被告知如何列平衡方程的情况下，自发学会了通过力矩平衡（$\sum M=0$）来解题。

致命的“各向异性”

如下图所示，模型在增加载荷数量（图中 OOD Multiple Loads）时表现出了惊人的泛化性。然而，当支座位置发生移动（OOD Varying Supports）时，性能在训练后期急剧衰减。

图 2：随训练步数变化的性能曲线。注意红线（拓扑变化）在后期的性能塌陷。

深度洞察：奖励黑客与塌陷 (Reward Hacking)

研究发现，过度优化物理奖励会导致模型“走火入魔”。在训练后期，模型的 KL 散度飙升，虽然在特定题目上拿到了高分，但在处理稍微超出分布的题目时，会产生语义混乱的输出（甚至出现了乱码和语言混杂），这正是典型的“灾难性遗忘”和“奖励黑客行为”。

总结与未来启示

Takeaway：

1. 奖励不等于理解：即使是 analytically exact 的硬核奖励，模型也可能只是学会了一套复杂的“程序化模板”。
2. 小即是美：1.5B 级别的模型通过 PEFT 展现出的工程推理潜力，足以支撑轻量级工程助手产品的开发。
3. 未来的路径：必须将 过程奖励 (Process Rewards) 或 结构化脚手架 (Scaffolding) 引入微调模型，才能让 AI 真正从“做对物理题”跨越到“理解物理学”。

限制性：该方法目前主要局限于一维梁问题。能否将其扩展到复杂的桁架、框架乃至多物理场耦合，是未来 Agentic Engineering 体系的核心课题。