对比式脑电-文本对齐能否超越闭集标签解码想象语音？

从标签分类器变为相似度匹配器

论文的出发点很具体。传统想象语音解码器把每个语义类别当作独立标签，输出只是一个类别索引，不包含意图之间的关系。作者改为训练一个脑电编码器，把每个试次放进冻结预训练文本编码器的嵌入空间，使试次和句子成为可比较的向量。

目标空间是固定的。文本嵌入由原始中文刺激句子和中文类别名称计算，经 L2 归一化，文本编码器权重在脑电训练期间从不更新。作者用 Chisco 词汇量小来解释这一选择：微调语言模型可能扭曲预训练得到的语义结构、降低类间可分性并增加过拟合风险，而冻结编码器可避免对齐目标不断移动。

脑电一侧可训练。每个试次有 122 个通道和 1651 个时间采样点；基于 EEGNet 的卷积骨干提取时空特征，四层、八个注意力头的 Transformer 建模时间结构，注意力池化加一个小型 MLP 把结果投影为 512 维、L2 归一化的向量。由于两侧都位于单位超球面上，余弦相似度成为自然的比较方式。

两个损失在语义结构与可分性间权衡

纯对齐目标会把脑电拉向句子含义，但可能模糊语言空间中彼此接近的类别。因此复合损失把语义重加权的脑电-句子对齐项（SoftNCE 式对比损失）与基于文本原型的交叉熵分类判别项结合起来。前者鼓励语言几何结构，后者保持 39 个 Chisco 意图类别之间的可分性。

测试时的类别预测直接来自这一设计。每个脑电嵌入与 39 个类别由文本导出的冻结原型比较，相似度最高的原型成为预测标签。不需要单独的分类头，这也是同一相似度值后来能被复用为可靠性分数的原因。

按句子分组折下取得相当准确率

评估采用固定随机种子的分层、按句子分组的五折交叉验证，同一句子的所有试次留在同一折；剩余句子组中 15% 用作验证，留出测试折只用于最终评估。数据集为 Chisco 1.1.2 版，含五名被试，仅分析 3.3 秒的想象语音时段。

核心比较是对比框架取得了与任务优化闭集分类器相当的解码表现。报告指标为 Top-k 准确率、macro-F1 和平衡成对匹配准确率（2v2），后者在每个测试折用 20,000 个类平衡配对估计，理论随机水平为 50%。Top-k 与 macro-F1 的随机基线来自反映各折训练集类别分布的分层随机基线，每折用 10,000 次蒙特卡洛采样估计。

有一项限制应放在这一比较旁边，而不是留到最后：两个系统的训练并不相同。对比模型使用批大小 64、学习率 3×10⁻⁴、高斯噪声、通道丢弃和时间平移，并按验证 Top-5 选择检查点；闭集分类器使用批大小 16、学习率 5×10⁻⁴、无额外增强，并按验证 Top-1 选择。论文公开说明了这些任务特定配置，因此“相当”描述的是最终留出结果，而非相同的训练预算。

MaxCosine 排序哪些试次更可信

由于预测类别由最大余弦相似度选出，每个预测本身都带有一个分数：MaxCosine，即脑电嵌入与所选类别原型之间的相似度。作者追问，这个原始分数在不额外引入置信度模型的情况下，能否区分正确与错误的 Top-1 预测。

对 Subject 01，各折 AUROC 在 0.605 至 0.678 之间，均值为 0.640 ± 0.027，全部高于 0.50 的随机参考。五名被试的平均 AUROC 均高于 0.50，范围为 0.60 至 0.64。作者将其描述为有信息但不完整的可靠性排序，并明确不把 MaxCosine 当作校准概率。

更具决策意义的检验是选择性解码。阈值仅由验证分数分布在 100%、80%、60%、40% 和 20% 的目标覆盖率下导出，然后原样应用于留出折。在 20% 目标下，每名被试实际测试覆盖率都接近预期工作点（19.3% 至 20.4%）。只保留 MaxCosine 最高的试次后，Top-1 准确率从全覆蓋时的 8.3–10.0% 升至 15.6–19.2%，Top-5 准确率从 29.2–32.7% 升至 42.9–50.5%。

这一提升是排序效应，不是新的解码器。同一个模型只是被允许在多数试次上弃权；论文并未声称保留子集能代表所有想象语音试次，也未声称这些阈值可迁移到在线使用。

训练中从未使用的语义轴

为检验嵌入是否携带 39 个标签之外的结构，作者在冻结语言空间中定义五条双极轴——实用–情感、身体–认知、目标导向–休闲、移动–个人生活、个体–社会——并且只在评估时引入。没有分类器在这些轴上训练，它们也未用作监督。

由留出脑电嵌入导出的轴归属与由对应句子嵌入导出的轴归属之间，平衡准确率在全部五条轴上均高于 50% 随机水平。吻合最强的是实用–情感，为 61.3%，其次是目标导向–休闲 60.0% 和身体–认知 59.2%；移动–个人生活为 53.3%，个体–社会为 52.9%。

模式比平均值更重要。吻合最清晰的三条轴，其两极在日常语言使用中也最易区分；两条最弱的轴则接近随机。论文将此报告为更广泛语义组织得到保留的证据，但最弱轴上的差距很小，不应被解读为对这些维度的可靠解码。

未见句子只是可视化而非检验

语义画廊探针把一个留出脑电试次与一组人工撰写、训练中从未使用的固定句子画廊比较，将画廊投影到二维，并按每个句子与该试次的余弦相似度着色。在 Subject 1 的示例中，目标类别为交通的试次把相似度集中在车辆维护等交通相关句子上，而自然等语义较远区域保持相对较低。

作者明确指出，这是定性可视化，不是独立性能指标，也不是开放词汇泛化的证据。它展示试次在未见画廊中把相似度质量放在何处，并不量化对未见句子的准确率。各被试报告了类似的定性模式，但未声称任何数值化的开放词汇分数。

证据止步于何处

三条边界直接来自报告的设计。第一，所有结果来自五名母语为中文的被试，使用 Chisco 线索式协议、122 个保留通道和预处理信号，因此这里没有建立跨语言或跨范式的迁移。第二，语义轴分析被描述为探索性事后分析，在留出试次上计算，但轴是在训练之后选定的。第三，可靠性分析是离线的：阈值由验证折导出并应用于留出折，论文指出这不能建立概率校准或实际在线性能。

实际解读是一种优先级排序，而不是替代性主张。如果目标是固定词汇意图识别，对比框架相对闭集分类器没有展示出准确率优势。其独特价值来自相似度公式顺带带来的两项能力：MaxCosine 分数在约 20% 覆盖率下使各被试 Top-1 准确率约翻倍，并把 Top-5 准确率提高约 15 至 20 个百分点；以及嵌入与仅评估时引入的语义轴高于随机地吻合。判断语言空间对齐是否值得增加这套机制时，应权衡的正是这些结果。

本文引用的文献