为什么脑电到认知的模型如此容易过拟合
可穿戴脑电产生的数据量远超人数。几个电极每秒采样多次，就能为每位参与者生成数千个特征，而研究往往只招募几十名志愿者——一项额部脑电筛查研究有 108 名参与者 [1]，一项工作负荷监测研究有 24 名 [3]。灵活的模型可以记住每个人头部、电极位置和会话噪声的特点，然后在它学习过的同一批记录上显得很准确。
这种失败模式很隐蔽，因为模型学的不是认知，而是个体。如果同一个人的记录同时出现在训练和测试数据中，模型就能识别出这个人的脑电特征，从而获得高分，却并未真正泛化。这就是为什么划分单位——人还是记录——比原始准确率数字更重要。
把人分开、而不只是把记录分开的设计
这组研究中最明确有据可查的保障是按组组织的交叉验证，使每一折的测试数据都来自模型未训练过的参与者。一项针对老龄人群的单通道可穿戴脑电研究使用了交叉验证分组，并在预测 MMSE 分数测量的认知表现时报告了各组的集成平均 [2]。这种结构就是“在未见人群上测试”的实用版本：它防止参与者自己的记录泄漏到评估中。
第二层保障是与开发过程分开报告的真正留出集。工作负荷监测研究在针对小型可穿戴设备优化模型后，报告了未见数据上 74.5% 的准确率以及 74.0% 的灵敏度和特异度几何平均值 [3]。在未见数据上而非仅用于调参的数据上报告性能，才使这个数字成为有意义的泛化估计，而不是拟合统计量。
这些研究仍未解决的问题
这些论文大多将脑电特征映射到认知表现，却没有描述如何防止过拟合。额部脑电筛查研究发现，α 反应性从正常认知、主观认知下降、轻度认知障碍到阿尔茨海默病依次下降，而任务相关分贝功率比则呈现相反模式 [1]——但其摘要报告的是组间比较，而不是预测模型的验证方案。冷暴露迷你高尔夫初步研究和入耳式听力验证工作同样涉及可穿戴脑电与认知或听觉评估，却没有涉及过拟合控制 [4][5]。
这一空白改变了所报告准确率能承载的分量。74.5% 的未见数据准确率 [3] 对 24 名志愿者的工作负荷分类来说是令人鼓舞的，但并不能证明同样的设计在不同年龄、设备或电极位置上都成立。同样，MMSE 分数的交叉验证预测 [2] 支持单通道脑电用于认知筛查的可行性，而不是一个经过验证的临床工具。诚实的解读是：按组验证是正确的设计，并且至少有一项研究在使用它，而周围大多数文献尚未报告这种做法。
如何判断你读到的下一个可穿戴脑电声明
先问一个问题：测试参与者与训练参与者不同吗？如果答案不清楚，就把任何高准确率视为对样本的拟合，而不是对新人群的预测。然后问是否保留了最终留出集直到最后才动，就像工作负荷监测中报告的未见数据评估那样 [3]。只在同一个人内部划分记录，或在同一批数据上调参并报告结果的设计，无法区分真实的脑电—认知关系与记住的个人特征。
对任何构建或购买这类工具的人来说，实用结论是：决定可穿戴脑电认知指标能否经受新用户考验的，是验证设计，而不是特征数量或模型复杂度。这里的证据支持按组交叉验证和留出测试作为站得住脚的标准，同时仍未回答这类模型在不同人群和设备间迁移得如何 [2][3]。
本文引用的文献
用于筛查认知障碍的可穿戴额部脑电
在虚拟现实任务中，可穿戴额部脑电显示 α 反应性从正常认知、主观认知下降、轻度认知障碍到阿尔茨海默病依次下降，任务相关分贝功率比则呈现相反模式，但该研究报告的是组间比较，而不是以过拟合为重点的验证设计。
基于两项研究和荟萃分析，用单通道脑电特征评估老龄人群的认知下降检测
结合机器学习的单通道可穿戴脑电特征，采用交叉验证分组和集成平均进行评估，预测了老龄人群中由 MMSE 分数测量的认知表现。
可穿戴设备上基于脑电的实时认知工作负荷监测
一个四通道可穿戴脑电工作负荷监测系统在模型大小和内存优化后，在未见数据上达到 74.5% 的准确率以及 74.0% 的灵敏度和特异度几何平均值。
冷暴露疗法后的运动—认知表现：可穿戴脑电迷你高尔夫研究
一项初步研究将冷暴露、可穿戴脑电和运动任务与同步认知评估结合起来，并指出 Muse 头带等便携式脑电系统已在现场环境中通过频谱分析验证。
使用全集成入耳式脑电可穿戴设备验证啁啾声诱发的 ASSR：迈向临床级听力评估
一种全集成无线入耳式脑电可穿戴设备在临床听力评估中对照头皮脑电进行了验证，并显示可监测认知状态和听觉反应。