竞争性智能体基准测试究竟在衡量什么？
竞争型智能体管理任务，如FM-Bench足球管理模拟，旨在通过让智能体在共享且不断演变的世界中相互对抗，来测试其长周期决策能力。这类任务衡量可观察的行为：智能体管理资源、谈判合同以及适应变化条件的水平。在FM-Bench中，智能体经营一家足球俱乐部长达20个游戏年，做出数百项决策，最终得分由确定性引擎决定——不涉及人类裁判或大语言模型评估者[2]。这种设计之所以有价值，是因为它提供了清晰、客观的结果，并揭示了行为差异：得分更高的智能体会在接近尾声时减少回报缓慢的投资，保持资金处于投资状态而非闲置，并提前开启合同续约[2]。然而，这些基准主要捕捉的是智能体做了什么，而非其成功或失败的原因。它们表明某些智能体更擅长长周期管理，但并未解释差异背后的认知或算法根源。
局限在于，这些任务往往过于结构化、定义过于清晰，难以展现真实世界长期管理中的全部挑战。例如，在FM-Bench中，全部15个模型都完成了整个20年的周期，而脚本化基线则全部消亡——这表明该任务在算力充足时是可以解决的，但基准测试并未揭示智能体是真正在提前规划，还是仅仅对即时反馈作出反应[2]。这是一个关键缺口：基准衡量的是结果，而非规划过程。一项关于LLM智能体规划中心分析的研究发现，逐步推理往往导致难以逆转的短视决策，而这种失败模式在仅对最终结果评分的基准测试中是无法显现的[4]。
仅凭结果分数为何不够
结果分数，如FM-Bench中的最终得分或终端基准测试中的通过率，提供了一个概括性能的单一数字，但它们掩盖了长周期管理的细微差别。例如，Long-Horizon-Terminal-Bench发现，即使是最强的模型也仅实现了15.2%的部分成功（阈值为0.95）和10.9%的完全成功，而各模型的平均值分别为4.3%和1.7%[1]。这些数字触目惊心，但它们无法告诉你智能体为何失败——是规划不善、记忆问题，还是无法处理长上下文。该基准测试通过密集的中间奖励设计有所帮助，但它仍侧重于任务完成，而非底层认知过程。
要真正理解长周期管理，我们需要超越最终结果的基准测试，衡量中间进展、决策质量和适应能力。Emergence World平台尝试通过运行持续数周的多智能体模拟来实现这一点，其中智能体以实时数据为基础，并由民主机制治理[3]。在一项为期15天的研究中，相同的角色和初始条件产生了截然不同的结果，从稳定治理到人口彻底崩溃，这表明行为漂移和交叉影响等长周期动态只会随时间逐渐显现[3]。这意味着，通常只运行数小时或数天的竞争性智能体任务，可能无法捕捉到现实部署中至关重要的缓慢累积性失败。FM-Bench研究还指出，代币支出无法预测任何性能表现，表明原始算力并不能作为管理能力的代理指标[2]。
关于这些资料来源
这个回答基于5项研究（均为预印本）——发表于2025年至2026年，其中5项来自2024年或之后——这些研究是从7项通过质量筛选的研究中选出的最相关者，而7项研究又源自从超过5亿篇论文的数据库中检索到的29篇文献。
本文引用的文献
Long-Horizon-Terminal-Bench：在具有密集奖励评分的长期终端任务中测试智能体的极限
Long-Horizon-Terminal-Bench包含46个任务，研究发现，即使是最强的模型，其部分成功率也仅为15.2%，完美成功率仅为10.9%，平均通过率分别为4.3%和1.7%，这表明在长时程终端任务中仍有显著的提升空间。
FM-Bench：面向竞争性智能体的长时程管理基准
FM-Bench（一款20年足球管理模拟游戏）发现，所有15个模型都完成了整个时间跨度，但没有任何一个模型能从数百次被拒绝的报价中学会隐藏的市场价格，而代币支出与表现毫无关联；得分较高的模型在现金管理和提前续约方面表现更佳。
涌现世界：一个用于评估长时域多智能体自主性的平台
Emergence World是一个持续运行的多智能体模拟平台，在一项为期15天的跨供应商研究中表明，相同的角色和初始条件会导致截然不同的结果，从稳定的治理到人口的彻底崩溃，凸显了行为漂移等长期动态特征。
为何推理无法规划：对LLM智能体长时程决策的规划中心分析
一项以规划为核心的分析发现，LLM智能体中的逐步推理会导致短视承诺，且这种偏差会随时间累积放大；而一种具备前瞻性的规划方法（FLARE）则提升了性能，甚至使较小的模型在标准推理下超越了GPT-4o。
为什么多智能体大语言模型系统会失败？
MAST-Data是一个包含1600多条来自多智能体LLM系统的标注轨迹的数据集，识别出三大类共14种失败模式，包括智能体间对齐问题和任务验证问题，且标注者间一致性较高（kappa=0.88）。