智能体系统能否在真实药物发现中超越基准测试?

九项工业项目显示,智能体成败取决于评分模型适用域,而非分子生成方式。

直接答案

能,但只是部分能。开源模块化智能体 MAGI 在来自三家制药公司的九项回顾性先导优化项目中运行,两条生成路线都产出了有效结构。但项目是否达成目标,取决于预测模型对所提出化学结构的准确度,而非智能体的协调能力或其生成器选择。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

MAGI 协调工具而非发明分子

MAGI 是一个开源模块化智能体,其设计将编排、分子生成与评估分离。它负责撰写项目目标、启动并监控优化运行、解读新出现的构效关系,并随证据积累调整策略。Claude Sonnet 4.6 通过 Model Context Protocol 暴露的统一 REST 契约,访问 REINVENT 4、全局 ADMET 模型、受时间限制的项目模型、Boltz-2、PoseBusters 以及一个相互作用分析器。该 MCP 服务器暴露 24 个工具,覆盖数据访问、治疗靶点档案管理、评分、项目控制和结果检索。

目标并非自由文本。每项项目由一个版本化、机器可读的治疗靶点档案管理,该档案规定其评分服务、优化方向、目标值或可接受区间、期望度变换和权重,固定护栏则作为通过/不通过约束单独评估。终点预测被变换为 [0,1] 的期望度,并使用加权 Derringer–Suich 几何平均进行组合。同一档案既评估 LLM 提案,也编译 REINVENT 评分配置,且智能体撰写的每次修订都带版本。这正是该架构可审计的原因:目标是可执行的,并在两条生成路线间共享,而非按工具重新指定。

两条生成路线在局部性与探索性之间取舍

MAGI 可以直接通过 LLM 生成分子,也可以委托给 REINVENT 4,评分服务在统一契约后可互换。在九项项目中,两条路线都产出了有效结构,因此仅凭有效性无法区分二者。差异体现在搜索范围上。LLM 提案更贴近局部化学空间,并以更少操作达到相当或更高的主要活性。REINVENT 探索了更广阔的化学空间,但操作成本更高。

论文的讨论将此框定为分工而非胜负:LLM 生成以更少操作提供局部优化,而 REINVENT 拓宽探索。一旦施加时间控制,两条路线在目标达成上都没有持续胜出。这一区分对比较智能体设计的读者很重要,因为它意味着生成器选择塑造了搜索轨迹和工作量,但并不决定项目能否成功的上限。

目标达成取决于评分模型适用域而非编排

核心结果是,项目是否达成目标取决于预测模型,而非生成路线。达成情况跟随模型对所提出化学结构的准确度,一旦该化学结构移出模型的适用域,达成率便下降。引言直白地陈述了机制:智能体项目由其评分服务引导,这些服务充当预言机,智能体的每个决策都通过它们表达,因此其适用域界定了智能体所能达到的上限。

论文指出三种使这一约束成为必然而非偶然的失效模式:系统性偏差会移动数值尺度,范围压缩会抑制真实差异,而秩相关性差会使候选排序不可靠。由于智能体针对这些分数进行优化,一个仅在狭窄化学区域内准确的评分器,会自信地将项目引向它无法判断的化学结构。作者陈述的贡献是证据表明,药物发现项目的目标达成受预测模型可靠性约束,而非受智能体协调能力约束。

九项工业项目在固定时间截断下重放

评估覆盖来自三家制药公司的九项回顾性先导优化项目:四个 GSK 系列、四个赛诺菲项目,以及一项未披露的阿斯利康项目,全部在固定时间截断下重放。生成期间,MAGI 只能看到截断前的上下文;未来化合物保留用于回顾性比较。这一设计将该研究与基准式验证区分开来,论文指出,在时间留出的项目化学结构上进行验证仍然罕见。

作者将其设置与 RetroDMTA 对比,后者提供四个时间分辨的工业项目,但其原始基准优先考虑已知的未来化合物。论文报告了九项项目的有效性、目标达成、工作量和局限,并将该工作描述为首次在来自三家制药公司的九项工业项目上进行评估。回顾性重放也是论文自身对其局限框定的来源:真实项目数据以基准无法做到的方式暴露了评分器上限,从模型在工业数据上的弱表现,到智能体通过代理终点进行自主适应。

盲评化学家无法区分智能体输出

一项独立的盲评询问 MAGI 的输出能否被当作专家工作。四位执业药物化学家或计算化学家完成了涵盖三类案例的 28 题工具。在来源判别上,化学家无法区分智能体提案与留出化合物。在候选优先级排序上,该工具记录了每位化学家下一步会测试留出、LLM 还是 REINVENT 候选。在 SAR 推理上,化学家认为智能体的理由大体合理但不完整。

这一结果的两半应分开解读。无法区分智能体提案与留出化合物是一个判别结果,并非提案质量等同的证据。SAR 判定是对推理完整性的定性判断,论文正是在此定位其剩余的两个上限之一。盲评练习属于参与者正常工作的一部分,未提供单独报酬,且未发布任何可识别参与者身份的信息。

智能体能主张什么、不能主张什么

论文将 MAGI 定位为可插入现有计算化学工作流的协调层,而非新的生成能力。论文指出,该系统是现有已发表生成器和预测器之上的编排层,除 REINVENT 4 和所配置的推理后端外,未引入新的生成能力。MAGI 输出是预测而非实验验证的化合物,需要专家审查。工业项目数据已去标识化,论文还讨论了分子设计的双重用途特征。

这一框定界定了发现的范围。结果描述的是在固定时间截断下对九项项目的回顾性重放,评分服务取自所配置的技术栈。它们并未确立在新项目上的前瞻性表现,论文自身的结论是:智能体设计在与真实项目接触后依然可行,但仍有两个关键上限:智能体 SAR 推理的质量,以及评分服务在工业环境中的适用域。

评分器是应优先修复的瓶颈

对于决定在智能体药物发现技术栈中投资方向的读者,论文证据指向一个具体优先级。生成路线改变搜索的样子和成本:LLM 提案保持局部性,并以更少操作达到相当或更高的主要活性,而 REINVENT 以更高操作成本覆盖更广化学空间。这两种差异都没有决定项目是否达成目标。达成情况跟随模型对所提出化学结构的准确度,一旦该化学结构离开模型适用域便下降。

这使得评分器适用域成为在检查编排质量之前应先检查的变量。实际问题不是智能体能否规划、调用工具并在闭环中适应,而是引导它的预测模型在智能体选择提出的化学结构上是否仍然准确。论文的盲评增加了第二个更窄的阈值:化学家接受智能体提案与留出化合物无法区分,但认为 SAR 推理大体合理却不完整,因此剩余的质量差距位于推理层,而非协调层。

本文引用的文献

1

From Benchmark to Bench: Can Agents Survive Real-World Drug Discovery?

在九项回顾性工业先导优化项目中,LLM 和 REINVENT 两条生成路线都产出了有效结构,但目标达成跟随预测模型对所提出化学结构的准确度,一旦该化学结构离开模型适用域便下降,而非取决于生成路线。