AI 系统能自主发现最先进的神经网络架构吗？

一个自己写代码、训练并读取结果的闭环

论文要回答的问题是：AI 系统能否自己完成架构研究中最漫长、最昂贵的那部分工作，而不是从人类写好的菜单里挑选。早期的神经网络架构搜索在人类定义的固定搜索空间内工作，系统扮演的是选择算法。ASI-Arch 去掉了这个空间：它自由提出新架构，然后必须自己实现并测试。

这个闭环包含四个模块。Researcher 提出架构，并在一次生成中写出对应代码，因此实现不会偏离所声明的动机。Engineer 在真实代码环境中训练候选架构，并计算适应度分数。Analyzer 把每次完成的运行整理成结构化记录。Experience Repository 保存全部内容，并把上下文反馈给下一轮提案。

论文明确说明了这件事难在哪里：语言模型对架构设计的内置知识很少；一个模型层嵌在庞大的代码库中，只要违反一条约束，训练就会在无声中损坏；质量只能通过从头预训练来衡量。每个模块的存在都是为了吸收其中一项困难，而不是为了单纯增加能力。

廉价筛选守住昂贵的训练预算

训练是最昂贵的一步，因此系统会尽量在候选进入训练前把差的挡掉。Researcher 先做新颖性检查：把提案的动机嵌入，与历史上最相似的五个动机比对，再由一个专门模型判断该设计是真正的新想法还是表面变体。随后做合理性检查，结合自动代码分析与模型审查，检查代码质量、复杂度以及因果掩码。

失败的提案不会被直接丢弃。被拒绝的提案会带着具体反馈返回修改。训练过程中若出现实现错误，完整错误日志会交给专门的调试代理，由它修改代码并重新提交运行。同时有一个并行监控器，一旦运行出现异常信号就立即终止：损失异常偏低、编译时间过长，或训练速度比基线慢两倍以上。

这些是工程选择，论文也这样定位它们：目标是让 GPU 时间尽可能花在真正可行的候选上。论文给出的依据是设计理由和整体运行报告的成功情况，而不是逐一隔离每个筛选器贡献的受控消融实验。

适应度把实测增益与模型判断混在一起

候选按一个复合适应度排序，它取三项的平均值：经 sigmoid 变换的损失改进、经 sigmoid 变换的基准分数改进，以及一个介于 0 和 1 之间的模型评判分数。sigmoid 变换聚焦于相对基线 10% 以内的差异，既压住极端值、避免单一指标主导，又放大小而有意义的增益。

评判项用来捕捉基准数字反映不了的维度：架构复杂度、计算效率、实现优雅程度，以及相对基线的新颖性。这一点对理解核心结果很重要，因为一个设计得分高，可能部分来自被评判的品质，而不完全来自实测的损失或基准改进。论文没有报告最终排序中每一项各占多大作用。

在 20M 参数上筛选，在 1.3B 参数上确认

搜索分两个阶段。探索阶段，候选在 20M 参数、1B token 上训练，每个基准评估 500 个样本——快到足以跑数千次实验。只有在定量和定性指标上都超过 DeltaNet 的架构才能进入下一阶段。

验证阶段，幸存者扩展到 340M 参数、1B token，并接受严格的因果性检查，确认扰动后面的 token 不会改变前面 token 的隐藏状态。排名靠前的候选随后扩展到 1.3B 参数、15B token，并在六个额外的分布外基准上测试。

这种分阶段安排回应了一个显而易见的担忧：在紧张算力预算下发现的增益，可能只是该预算的产物。多尺度验证旨在表明改进会随模型增大而保持。但它仍然只是在三个特定规模上的检查，并不保证在所有规模上都成立。

105 个被报告为最先进的设计，且未见饱和

应用于线性注意力时，系统运行了 1,773 次迭代实验，发现了 105 个作者称为最先进的架构。核心比较对象是 DeltaNet：最佳架构相对它的提升幅度，接近 Mamba2 所取得提升幅度的三倍。这是对同一基线上改进幅度的相对比较，并不是说新设计在绝对意义上比 Mamba2 好三倍。

论文还报告，整个运行过程中发现持续出现，看不到饱和迹象；并且提炼出的设计规则可以跨家族迁移——从 DeltaNet 到 Mamba2、GLA 和 HGRN2。设计规则的迁移与单个架构权重或性能的迁移是不同的主张，论文把它作为证据，说明系统学到了关于设计的可泛化知识，而不是碰巧得到一个好配置。

共享记忆让单次运行积累成洞见

Experience Repository 维护一个动态更新的池，保存得分最高的 50 个架构。每次进化时，Researcher 从前 10 名中抽取一个父本直接修改，并从第 11 到第 50 名中抽取四个参考以保持多样性。池的更新是批量进行的，让并行代理更可能基于稳定的参考集工作；此外，搜索早期设有 200 次探索的冷启动期，期间池被冻结，以免收敛压力过早出现。

池之外还有一个认知库：约 100 篇线性注意力领域的奠基论文被提炼成约 150 条条目，每条记录适用场景、核心算法和历史背景。每次实验后，Analyzer 对观察到缺陷的总结会作为检索查询，与场景字段做嵌入匹配，最匹配的三条条目被注入下一轮提案的上下文。

Analyzer 还做了一件论文视为独立能力的事：通过比较结构相似、只有少数组件不同的架构，推断单个设计选择的独立贡献，相当于在不额外做受控运行的情况下近似消融实验。正是这一机制让系统能通过理解设计为何成功来改进，而不只是重组已经得分高的方案。

线性注意力结果覆盖到哪里，到哪里为止

已展示的范围是线性注意力，这是一类亚二次序列模型，包括狭义的线性注意力、Mamba 这类状态空间模型，以及 RWKV、HGRN2 这类线性 RNN。1,773 次实验、105 个被报告为最先进的设计，以及 DeltaNet 与 Mamba2 的比较，都落在这个设定内。论文自己的说法是，架构版图已经变成一个巨大的组合空间，最优设计高度依赖任务和约束，因此它只瞄准其中一个区域，而不是全部。

作者还指出，未来工作将探索更大的架构假设空间，继续迭代这里发现的强设计，并推进具体的算法效率优化，以更好地理解实际效率。最后一点是真实的边界：适应度函数奖励的是被评判的计算效率，但论文没有给出部署环境中的效率测量，因此报告的增益应理解为在测试规模上的预训练和基准结果。

读这个结果最有用的方式，是在固定基线下比较改进幅度。如果你关心自动搜索能否超过一个强的人工设计线性注意力基线，相关数字就是相对 Mamba2 在 DeltaNet 上增益的约三比一优势——它是在该流程的 20M、340M 和 1.3B 参数规模上测得的。如果你关心的是发现的架构在生产中是否更快，或者同一闭环能否用于线性注意力之外，这篇论文没有回答。

本文引用的文献