竞技场给造出的实物打分，而非答案
ArtifactArena 用一项有物理基础的软硬件协同设计挑战取代了基于文本的评估。模型必须设计出一个功能完整的机器人，也就是同时写出形态结构和控制器，然后让这个机器人在模拟竞技场中对抗。论文用 2002 年一只名叫 Betty 的新喀里多尼亚乌鸦作为动机：它把一根直铁丝弯成钩子取出了食物，证明它智能的不是它说了什么，而是那件实物。
这一点重要，是因为评估单位变了。得分不是某个题集上的基准准确率，而是一个提交的机器人实物对其他机器人的竞技表现。因此模型能力是从一个必须能编译、满足约束并在比赛中存活的方案中读出来的，而不是从生成的答案中读出来的。
三套测试装置区分采样与迭代改进
论文通过三套测试装置评估前沿模型的零样本、验证器引导改进和开放式物理设计能力。采样（SH）是零样本条件。验证器接地改进（VGH）依据物理模拟器反馈改进机器人实物。设计实验室（DLH）是开放式物理设计条件，其改进由文本描述和对局数据驱动。
这三者并不是同一种技能的可互换度量。在全部装置混合的冠军矩阵中，每个冠军所属的装置都有标注，同一个模型可以在不同装置下以不同 Elo 出现。论文的图 8 正是按装置分开呈现结果，因为把它们合并会混淆零样本生成与迭代式、反馈驱动的设计。
Elo 来自实物锦标赛，而非模型辩论
排名来自实物之间的头对头锦标赛。在冠军轮中，每一对对阵都是各单元冠军之间的较量，单元冠军定义为每个模型在每套装置下的最佳实物。单元得分是（胜场加一半平局）除以对局数，镜像单元的得分等于一减去该值；自身对阵从不进行。
一次运行内部的选拔同样基于实物而非草稿。在最后一轮之后，每个用 save_bot 保存的机器人都会进入每个方向三个种子的循环赛，平局按半胜计，排名使用 Bradley–Terry 强度。胜出者就是该次运行的实物，论文指出较早的候选方案可能击败最终草稿。人工提交、未保存的草稿或写入输出文件夹的文件都无法覆盖这一选拔。
固定材料与规则让质量可确定
可比性依赖一套固定的材料库。每个几何体指定一种材料，验证时模拟器根据体积和材料密度计算几何体质量，再用该材料的摩擦系数覆盖摩擦。材料范围从泡沫的 200 kg/m3、摩擦 0.50 到钨的 19,300 kg/m3、摩擦 0.40，橡胶的摩擦为 1.60。用户指定的质量、密度、机体质量和惯性标签不用于最终物理计算，缺少有效材料的几何体默认使用泡沫。
结构规则进一步约束什么算有效设计。机器人必须在其根机体上恰好有一个自由关节，因此任何部件在比赛中都不得脱离；只允许电机执行器；每单位齿轮幅值会给安装该电机的机体增加 0.01 kg 执行器质量。包围盒在初始姿态下测量，并在比赛的每个控制步于机器人自身根坐标系中重新检查，因此任何一步超出包围盒的机器人都会输掉比赛。控制器运行在受限的 Python 沙箱中，只有 math、numpy、random、typing 和 collections 可用，控制器异常或返回格式错误都算失败。
GPT-6 Astra 领跑全装置冠军轮
在全装置冠军轮中，GPT-6 Astra 以 1539 的 Elo 居首，其后是 Claude Fable 5.1 的 1310、Gemini 3.8 Flash 的 1223、GPT-5.3 Codex 的 1173 和 Kimi K3 的 1164。同一个模型可以占据多行，因为每一行都是某个特定装置下的冠军，这也是 GPT-6 Astra 和 Claude Fable 5.1 反复出现在前列的原因。
限定到单一装置会改变排序。在采样下，GPT-6 Astra 以 1352 领先，其后是 Claude Fable 5.1 的 1260 和 GPT-5.4 的 1179。在验证器接地改进下，GPT-6 Astra 以 1539 领先，其后是 Claude Fable 5.1 的 1310 和 Gemini 3.8 Flash 的 1223。在设计实验室下，领先者发生变化：Claude Fable 5.1 以 1210 居首，其后是 Claude Fable 5 的 1189 和 GPT-6 Astra 的 1188。设计实验室的结果最清楚地表明，开放式设计并不只是零样本采样能力的延续。
采样失败多是自己造成的，而非被判定
采样机器人中实现失败很常见。在 216 个能构建但未通过资格赛的机器人中，125 个把自己开下了平台，60 个触发了不活动规则，29 个在运动过程中超出尺寸限制。这些都是竞技场检测到的机械与控制失败，而不是对设计质量的主观判断。
修订案例显示同样的失败模式被诊断并修复。Kimi K3 把楔形转向不佳归因于车轮刮擦扭矩超过驱动扭矩，第 6 版 Fulcrum 把驱动重量放在质心处的两个轮子上，使其能在保留楔形推挤策略的同时原地转向。Claude Fable 5.1 起初在其举升器升起时因尺寸违规输掉三局中的两局，它推断尺寸检查使用与朝向相关的包围盒，于是重新布置轮子和斜坡，从第 2 版起以 3-0 通过资格赛。GPT-5.4 把一个成功推挤器的固定钨块换成滑动配重，使控制器能把质量移向正在推挤的一端，或在靠近边缘时移向平台中心。
轮式支撑机体主导采样群体
论文用一份包含 20 个问题的二歧检索表对采样机器人分类，从是否有楔形或斜坡，到是否有环状结构环绕底盘。最大的单一类别是轮式支撑机体方案，共 99 个机器人，检索表的问题索引显示有多少设计共享每种结构特征。
这一分类描述的是采样群体，而不是性能排名。它显示许多采样设计都收敛到轮式支撑机体，而 Elo 表显示哪些实物真正赢下比赛。把检索表当作质量信号，会把设计频率与竞技结果混为一谈。
Elo 排名止步于模拟边界
论文直接写出其主要限制：机器人在 MuJoCo 内构建和评判，因此在这里造出一个机器人并不意味着它在真实世界中能用。作者预期，随着模拟逼近现实，同一竞技场和同一套装置可以原样沿用，机器人将成为可以打印、组装并真实对抗的东西。在那之前，结果应被理解为衡量前沿模型在模拟中的竞技性物理设计与控制，而不是直接的现实世界机器人能力。
实际优先级来自这一边界加上装置划分。如果问题是哪个模型在零样本机器人生成上最强，采样排名就是相关的，GPT-6 Astra 以 1352 领先。如果问题是哪个模型从开放式、反馈驱动的设计中获益最多，设计实验室排名就是相关的，Claude Fable 5.1 以 1210 领先，而 GPT-6 Astra 落到 1188。这篇论文最具决策相关性的读法是：决定哪个模型看起来最好的是装置选择，而不是某个单一总分，并且这些排名中的每一个都是模拟结果。
本文引用的文献
ArtifactArena: Evaluating Models by What They Build in the Physical World
ArtifactArena 依据前沿模型在模拟 MuJoCo 竞技场中设计的机器人给它们排名，GPT-6 Astra 以 Elo 1539 领跑全装置冠军轮，Claude Fable 5.1 以 1210 领跑设计实验室装置。