AI 智能体能否从文本设计出可实体搭建的乐高套装？

一次拼装，三项评分

BrickBench 要求智能体把一段文本提示变成既符合描述、又能实际搭建的乐高拼装。基准从三个彼此独立的维度给每个结果打分，把它们区分开是读懂结果的关键。有效性检查拼装能否成立：零件必须连接、不能相互碰撞，并且在模拟中能在重力下保持静止。语义对齐检查拼装是否描绘了提示内容，做法是把提示拆解成问题图，再统计其中是非题被正确回答的比例。设计质量是一个成对偏好分数，以 ELO 表示，衡量拼装设计得好不好，而不只是能不能用。

这三个维度回答的是不同问题，因此一项得分高并不意味着另一项也高。一个拼装可以既有效又忠实于提示，却仍然是一个糟糕的设计——这正是该基准想要暴露的差距。

规模与零件库存改变任务难度

基准包含 300 个提示，分成三个各 100 个提示的设置，每个设置覆盖十个主题类别、每类十个提示。在 Model 设置中，智能体最多可使用 400 个零件。Set 设置要求使用 400 至 4000 个零件，规模参照 BrickLink Designer Program。Alt-Build 设置只允许智能体使用某一零售套装的 783 个零件、104 种零件类型，考察在稀缺固定库存下的设计能力。Model 和 Set 都使用完整的 LDraw 零件库，共 14,441 种零件类型。

这些设置不能互相替代。Model 考察的主要是单一连通物体的拼装，Set 考察完整零售套装的规模，Alt-Build 考察智能体能否在有限的零件箱里工作。拼装一旦超出某个设置的零件限制，就无法通过有效性检查，因此设置本身也定义了什么样的答案算合法。

决定可搭建性的是工具而非指令

BrickAgent 是智能体进行搭建的环境。它提供 LDraw 零件库、连接件系统、搭建工具，以及对连通性、碰撞和稳定性的可解释验证。这一设计是有意为之：环境提供积木、约束和反馈，但不规定拼装该怎么设计，把方案留给智能体自己构思。

消融实验显示了这一点有多重要。在智能体命令行接口、容器和任务要求都相同的情况下，只保留 LDraw 零件库和一份文件格式入门说明、去掉这些工具后，GPT-6 Astra 仍在 40% 的提示上保持有效，而 GPT-5.6 Luna 在 300 个提示中只产出了一个有效拼装。两者的拼装平均分别有 7 对和 156 对碰撞零件，并分裂成 6 个和 83 个连通分量，而在有环境时分别是 2 个和 5 个。因此，可靠的搭建依赖有据可依的工具和反馈，而不只取决于模型本身。

在环境内，有效性已接近解决

在受评估的十一个前沿智能体中，只要环境可用，有效性就接近饱和。五个智能体对每个提示都给出了有效拼装，整体有效性比例没有一个低于 0.80。在参考集的 137 个无效拼装中，44 个是根本没有交付拼装的提示；其余失败于稳定性（41 个）、碰撞（31 个）和零件数量要求（21 个）。

不同设置在失效方式上有所不同。Set 的有效性最难，Muse Spark 1.3 降到 0.68，Qwen 3.8 Flash 为 0.79，DeepSeek V4.1 Flash 为 0.87。Alt-Build 成本最低，有效性最高。两个数据驱动基线远低于这些智能体：BrickNet-14B 只在 26% 的提示上做到无碰撞，而 BrickGPT 虽然每个提示都有效，却只满足了 2% 的问题。

提示遵循先饱和，设计质量才拉开差距

语义对齐只能温和地区分各智能体，从 GLM 5.3 Flash 的 0.59 到 GPT-6 Astra 的 0.95。设计 ELO 的区分度大得多：GLM 与 Astra 之间 545 分的差距，相当于评审在约 96% 的成对比较中更偏好 Astra 的拼装。在参考集内，Astra 在每一项指标上都领先，Claude Opus 5 排名第二，但成本是前者的四倍。GPT-6.1 Sol 的 ELO 与 Astra 相当，为 1293 对 1297，区间重叠，成本只有五分之一。

对齐度随问题类型的变化也大于随主题的变化。每个智能体对颜色类问题的满足率至少为 91%，但纹理类问题只有 49% 至 83% 被满足，物体类型和状态是其次最难的两类。没有任何提示类别始终更难，两个顶尖智能体在每个类别中都至少达到 0.90。更强的智能体搭建的拼装也更大、更多样：在 Model 中，Astra 平均使用 217 个零件、35 种类型、9 种颜色，而 GLM 平均为 27 个零件、10 种类型、5 种颜色。

成本并不跟随设计排名

参考集的成本跨度达 30 倍，而排名并不跟随价格。Muse Spark 1.3 的成本是 DeepSeek V4.1 Flash 的九倍，ELO 却低 138 分。部分智能体的对齐分与设计分也会分离：GPT-5.6 Sol 的对齐分比设计分高 53 分。成本仍是一个未解决的维度：BrickNet-14B 生成一个拼装只需百分之六美分，而 Astra 需要 4.06 美元。

这对需要选择系统而不只是给系统排名的人很重要。更便宜的智能体也可能落在 ELO 区间的中段，最贵的选项并不自动等于最好的设计。论文自己对 GPT-6.1 Sol 与 Astra 的比较——ELO 接近而成本相差悬殊——就是这种分离最清楚的例子。

人类设计仍可被区分出来

为了对照人类检验设计质量，作者请熟悉乐高设计的评审区分智能体拼装和人类拼装。对于 Model 和 Set 中的拼装，他们从 BrickNet 数据集中抽取零件数量相当的人类设计模型，然后询问两者中哪一个出自人之手。五名评审共给出 360 次评分，其中 323 次选中了人类模型。没有任何智能体被误认为人类设计师的次数超过五分之一，每个智能体的比例都显著低于随机水平；最常被误认为人的 GPT-6 Astra，在其 21 对比较中有 4 对被选中。

这一比较有一个明确的边界：人类样本只按零件数量匹配，没有按提示匹配，因为 BrickBench 的提示并不存在对应的人类设计。要做按提示匹配的比较，需要专门委托设计。在这一限制之内，作者把结果解读为设计质量的度量：智能体满足了要求，但达不到一个精心设计的套装所应有的标准，缺少人类设计中标志性的零件运用、比例和表面细节。

稳定性检查必要但不充分

物理有效性分数来自模拟器，而不是实际搭建。连通分量在 PyBullet 中被当作密度均匀的刚体处理，摩擦系数高、无弹性恢复；只要任一零件的任何一点移动不超过 3 个 LDraw 单位（即一个凸点高度的四分之三），拼装就算稳定。凸点连接的保持力和轴的间隙等效应没有被建模，因此一个作为刚体能保持平衡的拼装可以通过，即使实际搭建出来可能会下垂或散架。

作者明确指出，这一标准必要但不充分；要检验连接强度，需要带连接力上限的结构模拟或有限元模型，而这会严重限制可用的零件目录。设计评审也有自己的验证：对照 102 名评审给出的 4,080 次成对判断，ELO 排名在 36 对智能体中有 34 对一致，Kendall tau 为 0.89。

剩下的差距在设计，而非合规

论文的四项发现指向同一个优先事项。为这项任务专门构建的数据驱动模型已被通用编程智能体超越，后者在它们自己的基准和 BrickBench 上都表现更好。提示遵循已经饱和，最好的智能体满足了 95% 的 VQA 问题，绝对对齐度已不再能明显区分顶尖系统。性能依赖环境：同一个模型在有 BrickAgent 时产出可搭建的拼装，没有时则产出无法搭建的拼装。而与人类设计的差距依然存在，评审十次中有九次能把智能体拼装与人类拼装区分开。

因此，对需要比较系统的人来说，与决策相关的分界不是有效性——那里已有五个智能体达到 1.00——而是设计 ELO 及其成本。Astra 在每项指标上都领先，但 GPT-6.1 Sol 以五分之一的成本达到了相当的 ELO；Opus 5.5 以 Opus 5 的 40% 成本高出 148 分，同时在对齐度上低 83 分。基准自身的结论是：智能体正在学会搭建能用的东西，但还没学会什么造就了出色的设计。

本文引用的文献