智能体式 LLM 架构搜索能提升 EEG 脑机接口解码吗?

AutoBCI 用 LLM 引导搜索找到的 EEG 解码器平均测试 bAcc 为 64.16%,仅比 REVE 高 0.29 个百分点。

直接答案

能,但优势很窄。AutoBCI 用一个设计智能体(Designer Agent)提出并改进 EEG 解码架构,再用一个预测智能体(Forecaster Agent)判断哪些候选值得完整训练。在 Claude Opus 5.5 的搜索中,它找到的最佳架构在 14 个数据集上取得 64.16% 的平均测试平衡准确率,而最强基线 REVE 为 63.87%,领先 0.29 个百分点;不过在加权 F1 和 Cohen's Kappa 上,REVE 仍然领先。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

一个架构要同时服务三类任务

这篇论文要找的不是某个单一 EEG 任务上的最佳模型,而是一个能在运动想象、情绪识别和睡眠分期三类任务上都表现良好的单一架构。这三类任务在通道布局、时间尺度和标签空间上各不相同,这一目标决定了后续所有设计:每个候选架构都要在每类任务上分别训练和验证,再由合并后的验证结果决定哪些候选成为父代、哪个候选成为最终冠军。

14 个数据集在每类任务内部被合并,因此每类任务只训练一个模型实例。运动想象和情绪记录被映射到 65 通道、200 Hz 下 800 个采样点的统一表示,通道更稀疏的睡眠记录则使用 8 通道、3000 个采样点的表示。验证和测试分数仍按数据集分别报告,任务内部各数据集权重相同,任务之间权重也相同。

这种聚合方式决定了如何理解标题数字。64.16% 是在上述加权方式下跨任务、跨数据集的平均测试平衡准确率,而不是任何单一基准上的分数。这里的平衡准确率指各划分中已出现类别的平均召回率,从而避免多数类主导得分。

持续候选池驱动架构迭代

设计智能体执行的是池引导架构发现(Pool-Guided Architecture Discovery,PGAD)。每次搜索包含 6 轮、每轮 8 个候选,并在三类任务上评估,共产生 48 个提案和最多 144 次独立的任务训练。第一轮是 8 个全新提案;之后每轮保留 2 个父代,各生成 3 个改进版本,再补充 2 个全新提案,使每批仍为 8 个。

父代从按验证结果排序的持续候选池中选出,它们会把架构代码以及三类任务的验证学习曲线交给下一轮。因此改进版本可以针对已观察到的优势和弱点,而两个全新提案则保留在当前父代之外继续探索的空间。每个候选都必须通过有效性和训练兼容性检查,只有成功完成三类任务的架构才有资格参与父代和最终冠军的评选。

约束相当严格:每个任务专用实例的可训练参数少于一百万,不使用循环架构,并在固定协议下从零训练 40 个 epoch,使用 AdamW、批大小 512 和 BF16 精度。六个 LLM 通过各自的命令行接口执行搜索,包括 Claude Opus 5.5 和 GPT-5.6 Sol,共产生 269 个在三类任务上完成训练的架构。

早期曲线预测哪些候选值得训练完

由于每个提案都要在三类任务上评估,筛选正是成本所在。预测智能体执行的是基于早期知识的表现估计(Performance Estimation from Early Knowledge,PEEK)。它只接收架构代码、训练协议和早期学习曲线,预测候选训练满 40 个 epoch 后能达到的验证分数。

回顾性测试很直接:只观察 10 个 epoch 时,PEEK 把预测平均验证平衡准确率的平均绝对误差从 2.20 个百分点降到 1.36 个百分点,相对最佳已观察分数基线降低 38.1%。也就是说,在只能看到训练前四分之一的情况下,预测误差减少了约 0.84 个百分点的平衡准确率。

筛选带来的收益是另一回事,而且更复杂。每轮保留 3 个候选,在 91.7% 的轮次中保住了最终满预算训练的胜者,并估计减少 44.9% 的训练 epoch。但论文也报告,PEEK 只保留前两名时,保住的综合分数胜者少于最佳已观察分数基线。预测准确率和胜者保留率是两个不同的指标,优势在后者上收窄。

冠军在 bAcc 上领先 REVE 0.29 个百分点

来自 Claude Opus 5.5 搜索的最强架构取得 64.16% 的平均测试平衡准确率,而 REVE 为 63.87%,后者是该指标上十个基线中最强的。比较对象包括六个从零训练的传统 EEG 模型——EEGNet、DeepConvNet、TSception、EEG-Conformer、AttnSleep 和 FAST——以及四个从预训练检查点微调的基础模型:LaBraM、CBraMod、LEAF 和 REVE。

差距小到足以让指标选择决定排名。论文指出,REVE 在加权 F1 和 Cohen's Kappa 上领先,这两项是另外两个报告的测试指标,采用与平衡准确率相同的平均方式。因此更诚实的总结是各有胜负:AutoBCI 的冠军在标题强调的平衡准确率上胜出,而最强的基础模型基线在另外两项上胜出。

所有基线都使用与 AutoBCI 相同的任务划分和基于验证的检查点选择,测试数据不参与搜索和选择。这使比较在内部保持一致,但也意味着该结果只适用于这一协议和这十个基线,不能推广到所有基础模型。

每次搜索都有提升,但上限已接近

在六次 LLM 引导的搜索中,每次搜索都提升了自己的最佳验证分数,这是论文用来证明“生成—评估—改进”循环确实在起作用、而非产生噪声的证据。不同 LLM 之间的差异也是结果的一部分:冠军来自其中一个模型,论文把六次搜索作为独立运行报告,而不是合并成一个集成。

更有决策价值的比较发生在发现的架构与预训练基础模型之间。一个被限制在百万参数以下、从零训练、使用合并任务数据的搜索,在平衡准确率上以 0.29 个百分点超过了微调的基础模型。这说明架构发现在这一规模上具备竞争力,但并不能说明发现的架构占优,因为同一个基线在三个报告指标中的两个上领先。

论文自身的表述也支持这一解读:它一方面说冠军比最强基线高 0.29 个百分点,另一方面单独指出 REVE 在加权 F1 和 Kappa 上领先。判断搜索是否值得其成本时,这两句话需要放在一起看。

用 PEEK 省训练,而非选冠军

PEEK 的两项结果指向不同方向,区分它们有实际意义。如果目标是估计候选最终会取得什么成绩,10 个 epoch 的证据把预测误差降低了 38.1%,从 2.20 个百分点降到 1.36 个百分点的平衡准确率。如果目标是让最终最好的候选存活下来,每轮保留 3 个候选在 91.7% 的轮次中保住了满预算胜者,同时估计减少 44.9% 的训练 epoch。

但只保留前两名时,在综合分数胜者上不如最佳已观察分数基线。因此,读者在决定剪枝力度时,应把保留数量当作调节杠杆:每轮 3 个候选是论文报告能保住胜者的设置,而更激进的剪枝会让预测的排序质量成为约束瓶颈。

这些数字来自对已完成的 40 个 epoch 训练运行的回顾性评估,完整运行结果提供真值。它们描述的是早期曲线在这一搜索设置内的预测能力,而不是预测器在其他任务类别或训练预算下的表现。

固定协议下的微弱领先

设置中的若干特征限定了这一结果能支持什么。搜索空间排除循环架构,并把每个任务专用模型限制在百万可训练参数以下,因此发现的冠军是这个受限空间和这一智能体循环产生的最好结果,而不是可能的最佳 EEG 解码器。候选从零训练 40 个 epoch,而基础模型基线是从预训练检查点微调的。

数据也受到合并和子采样选择的影响。睡眠分期在 Sleep-EDF、HMC 和 ISRUC 中分别保留 25%、40% 和 50% 的样本,保留的子集在搜索和最终评估中固定不变。运动想象的训练集和验证集共享受试者,而测试受试者与两者都不重叠。这些是合理的控制,但也意味着报告的平均值描述的是这一准备好的工作负载。

论文是 arXiv 预印本,作者表示将发布代码、配置和支持材料。在此之前,最有力的可辩护结论就是数字支持的那一个:在 14 个数据集共享的 40 个 epoch 协议下,LLM 引导的搜索产生了一个架构,在平均测试平衡准确率上比最佳基线高 0.29 个百分点,但在加权 F1 和 Cohen's Kappa 上输给该基线。

指标选择决定搜索是否胜出

最有用的结论是一条比较规则,而不是一个判决。如果平衡准确率是部署中真正重要的指标,那么在本研究中 AutoBCI 的冠军是两个领先选项中更好的一个,领先 0.29 个百分点。如果加权 F1 或 Cohen's Kappa 更重要,REVE 仍然领先,支持搜索的理由也相应减弱。

第二个杠杆是剪枝力度。PEEK 的 38.1% 误差降低,以及每轮保留 3 个候选时 91.7% 的胜者保留率,支持用早期曲线跳过完整训练;但前两名保留表现较弱,提醒不要比论文测试的更激进地剪枝。因此论文自身的优先级很清楚:用预测器节省 epoch,保留足够多的候选,并用你的应用实际评分的指标来判断发现的架构。

本文引用的文献

1

AutoBCI: Forecast-Guided Agentic Neural Architecture Discovery for EEG-Based Brain–Computer Interfaces

一次 LLM 引导的 EEG 解码架构搜索产生了一个冠军架构,在 14 个数据集上平均测试平衡准确率为 64.16%,比最强基线 REVE 高 0.29 个百分点,而 REVE 在加权 F1 和 Cohen's Kappa 上领先;一个只使用 10 个 epoch 的预测器把验证分数预测误差降低了 38.1%。