生物推理模型真的在使用它们的生物输入吗？

准确率不能证明模型读了序列

生物推理模型把语言模型与生物基础模型的表征、生物文本连接起来，再针对疾病预测、蛋白质功能注释和细胞类型注释等任务做后训练。人们通常把它们的基准准确率当作语言模型在这些输入上进行推理的证据。这篇论文直接检验这一解读，而不是从分数反推输入是否被使用。

难点在于，模型通常同时收到同一个基因组、蛋白质或细胞的多种表征。即使伴随的序列或转录组表征被忽略，文本注释也能支撑正确答案；不同表征还可能编码相互重叠的生物学性质。因此，某个输入的性能贡献小，可能意味着该输入本身信息不足，可能意味着另一个输入已经提供了答案，也可能意味着模型根本没有使用它。仅凭基准准确率无法区分这些情况，所以研究为每种情况分别设计了检验。

四项检验区分编码与使用

作者对每个模型施加四项互补的探测。在扰动检验中，他们改变一个生物输入，同时固定查询和其他输入，再与未改动版本比较准确率。在证据冲突中，他们把某一个实体的基础模型表征与另一个实体的文本配对，记录预测跟随了哪一方。线性探针则检验语言模型收到的表征是否已经包含任务目标，这只能说明信息被编码，不能说明被使用。最后，他们把生成的推理轨迹与实际生物输入对照检查。

这些检验回答的是不同问题，论文也把它们严格区分开。探针能从表征预测出目标，说明信息存在，但不说明语言模型利用了它。扰动后准确率不变，说明该任务不需要这个输入，但前提是该输入本身携带了预测信息。证据冲突设计提供了最鲜明的对照，因为两个候选答案都仍然可用，模型实际上必须选择跟随哪一个来源。

BioReason 更倾向跟随文本而非 DNA

BioReason 接收参考序列和变异序列经投影后的 Evo2 表征，同时接收染色体、基因、KEGG 通路和网络文本，并在 1,449 条 KEGG 衍生查询上做疾病预测，这些查询覆盖 708 个基因组和 37 个疾病标签。打乱两个 DNA 窗口后，准确率基本不变：RL 检查点为 0.847 对 0.847，SFT 检查点为 0.823 对 0.814，净变化分别为 +0.001 和 −0.009。

证据冲突更直接地说明了同一点。当 DNA 表征来自一个基因组、通路或基因文本来自另一个基因组时，BioReason 在 97.9% 的情况下跟随了文本。用 Evo2 表征训练的线性探针仍能预测任务目标，说明编码器确实携带与任务相关的信息。这一发现与近乎为零的扰动效应之间的差距，正是论文的核心区分：表征是有信息的，但后训练后的模型并不依赖它。

BioReason-Pro 很少需要蛋白质编码器

BioReason-Pro 把 ESM3 序列表征与 GO-GPT 和 InterPro 文本结合起来做蛋白质功能注释。置换氨基酸序列后，14,102 个蛋白质中有 6,593 个（46.8%）输出的 GO 词项集合发生变化，但 F1 提升的占 11.2%，下降的占 10.8%，78.0% 保持不变；输出词项集合的平均 Jaccard 重叠为 0.889。在把一个蛋白质的 ESM3 表征与另一个蛋白质的文本配对的证据冲突中，模型在 99.7% 的情况下跟随了文本。

作者还报告了这些冲突下推理轨迹的表现。BioReason-Pro 的轨迹描述了最终预测中被省略的功能，因此陈述出的推理并不能可靠指示哪个输入驱动了答案。与 BioReason 一样，编码器并非没有信号；关键在于后训练流程没有让最终预测依赖它。

部分模型确实依赖生物输入

这一结果在六个模型中并不一致。基础模型输入对 ChatNT、Prot2Text-V2 和 CellWhisperer 的性能有贡献；对 Cell2Sentence-Scale 而言，基因句子中的差异表达基因对性能有贡献。因此，论文的主张针对的是特定模型中的后训练做法，而不是生物推理模型的固有属性。

这一对比影响读者如何理解该发现。同一套评估框架产生了两种结果，所以差异应归于模型及其训练，而不是检验本身。比较不同架构的读者应当追问模型实际被训练去依赖哪个输入，而不只是看是否提供了基础模型表征。

准确率更高不等于更多使用输入

在 BioReason-Pro 的 SFT 和 RL 检查点以及 42 个 BioReason 检查点上，准确率提升并不意味着生物输入的性能贡献更大。这是论文最具影响的比较，因为它动摇了那个自然的假设：分数更高的模型已经学会更有效地读取序列或结构输入。

作者把这一点与训练信号联系起来。后训练奖励正确的最终答案，而当伴随文本已经支撑目标时，模型无需从表征中提取补充信息就能得到正确答案。论文自己的表述是，当前的后训练策略不能确保基础模型表征对任务性能有贡献；它提出把对生物输入变化的正确响应也纳入奖励，作为值得评估的方向。

这些结论的适用边界

该研究在特定任务和生物输入上评估了六个模型，因此结论未必能推广到其他架构或模态。部分分析会打乱序列，这可能把表征推到自然序列分布之外；作者指出，用未改动输入构建的证据冲突支持同样的结论。线性探针说明目标可以从表征中预测出来，但不说明语言模型会如何使用它。

在这些边界之内，实际优先级很具体：对 BioReason 或 BioReason-Pro 这类模型，高基准分数不能证明 DNA 或蛋白质编码器在起作用，扰动检验和冲突检验才能区分两者。论文最后的建议正是从这一区分出发，而不是只看准确率，它要求设计者把正确使用任务相关的生物输入与预测准确率并列为目标。

本文引用的文献