掩蔽在语音重叠处限制保真度
目标说话人提取（TSE）从多人混合语音中只取回听者想要的那一路声音。此前多数神经引导系统通过估计时频掩蔽来完成这件事：对混合语音的频谱图施加一个滤波器，压低干扰说话人。论文认为这种设计有两项代价。当目标与干扰在时间和频率上都重叠时，掩蔽无法干净地分开两者，保真度随之下降。而且掩蔽系统常被限制在窄带音频，高频细节能保留多少受到上限约束。
NeuroCodec 改变了被预测的对象。它不滤波混合语音，而是预测目标说话人在一个冻结的神经音频编解码器（DAC 编码器与解码器）内部的潜表示。输入是混合语音和 EEG，输出是一组潜表示，再由冻结的 DAC 解码器还原成波形。论文把这一转变描述为：从在混合域中压制干扰，转为对齐跨模态表示，让预训练编解码器提供声学先验，而可训练网络集中精力从 EEG 中读出注意方向。
EEG 通过注意力和 Mamba 引导潜表示
整个流程分四个阶段。冻结的 DAC 编码器把混合波形压缩成维度为 1024 的潜表示。EEG 编码器改编自 M3ANet，先用三阶 Chebyshev 图卷积在电极之间建模空间依赖，再用核大小为 3、7、11 的并行一维卷积捕捉多尺度时间结构。随后跨模态模块让声学潜表示充当查询，EEG 特征充当键和值，进行多头交叉注意力，由神经活动决定保留哪些声学内容。之后接一个 Mamba 块，以线性时间建模长程时间依赖。
有一项设计选择直接影响计算成本。早期系统把 EEG 上采样到音频采样率；NeuroCodec 改为在编解码器潜表示速率上运行，视数据集为 50 Hz 或 86 Hz，接近 EEG 原生的 128 Hz 采样率。这样省去了最初的上采样步骤，减少插值和计算开销。预测出的潜表示用冻结的 DAC 码本量化，再解码成输出波形。
六阶段课程逐步建立频谱保真度
只做潜表示重建并不够。KUL 数据集上的消融实验清楚展示了递进关系：只用潜表示重建损失时，模型达到 STOI 0.7112、ESTOI 0.5734、PESQ 1.5030。加入多尺度 log-Mel 频谱损失后升到 0.8015、0.6861、1.9204。改为加入对抗特征匹配损失则得到 0.8242、0.7122、2.1032。三项损失合并后结果最好：0.8681、0.7544、2.5623。
论文描述了一套六阶段训练课程，逐步引入潜表示重建、多尺度频谱和对抗目标。频谱损失在 Cocktail Party 上比较七个尺度、最高到 20 kHz 的 log-Mel 频谱图，在 KUL 上比较四个尺度、最高到 4 kHz，与各自数据集的带宽相匹配。对抗部分用多周期判别器建模波形周期性，用多频带多尺度 STFT 判别器约束频谱一致性。这些是训练时的选择，不是推理阶段的附加步骤；消融显示感知提升主要来自频谱项和对抗项。
相对 M3ANet 的客观提升有限但真实
在 Cocktail Party 数据集上，所有模型都在同一受试者独立划分下评估，测试受试者在训练中未出现；评分前输出统一重采样到 8 kHz，以免 NeuroCodec 更宽的带宽带来固有优势。在这一设置下，NeuroCodec 达到 STOI 0.8273、ESTOI 0.721、PESQ 2.31，M3ANet 为 0.812、0.725、2.23，BASEN 为 0.790、0.715、1.91。
仔细看，结果并不一致。NeuroCodec 在 STOI 和 PESQ 上领先，但在 ESTOI 上略低于 M3ANet，为 0.721 对 0.725。论文把自己的位置描述为可懂度和感知质量较强，同时在 ESTOI 上保持很强的竞争力。在 KUL 数据集上，与 NeuroSpex+ 相比，NeuroCodec 把 STOI 从 0.859 提升到 0.868，PESQ 从 2.514 提升到 2.562。这些差距都很小，而且 KUL 上的基线分数取自 NeuroSpex+ 论文在相同受试者独立配置下的报告，并非逐一重跑所有模型得到。
听测与带宽支持生成式路线
客观指标并不能覆盖全部。一项 20 人参与的听测实验给 NeuroCodec 的感知准确度更高评分，平均分 82.24，M3ANet 为 49.63。这是论文报告的最大差距，也正好指向掩蔽批评所针对的质量维度。
频谱图对比支持同样的解读。M3ANet 在约 7 kHz 处出现高频截断，NeuroCodec 则重建出延伸到 20 kHz 的频谱内容，谐波结构更清晰；在语音重叠区域，它分离目标说话人也更干净。论文把这一点归因于直接生成目标潜表示，而不是对混合表示做掩蔽。44.1 kHz 重建是 Cocktail Party 设置的性质，该设置使用 44.1 kHz 的 DAC 编码器；KUL 设置则把 8 kHz 音频上采样到 16 kHz，因此不应把宽带结果套用到该数据集。
EEG 引导与 Mamba 贡献主要增益
消融实验分离出各组件的作用。把 EEG 换成高斯噪声后性能大幅下降，STOI 0.5412、ESTOI 0.3921、PESQ 0.7845，作者据此认为模型依赖神经引导，而不是仅从混合语音中学会提取。去掉图卷积空间映射后为 0.6725、0.5312、1.2840；去掉多尺度一维卷积后为 0.6854、0.5408、1.3912。两者都低于完整编码器的 0.7112、0.5734、1.5030，说明跨通道空间拓扑和多尺度时间感受野都有贡献。
时间建模也区分出不同选项。标准 Transformer 达到 STOI 0.6120、ESTOI 0.4703、PESQ 0.8702；加入 Snake 激活后三项都提升到 0.6480、0.5162、1.0340；因果 Mamba 达到 0.7112、0.5734、1.5030。这些消融在 KUL 上只用重建损失运行，因此比较的是较弱目标下的架构，而不是完整系统。
流式扩展可行，但证据有边界
论文把方法扩展为 OnlineNeuroCodec，一种面向实时使用的因果流式形式。它通过听觉吸引子让每个时间跳变以先前的目标潜表示估计为条件：一个线性层把过去潜表示的均值转成缩放和偏移参数，在 EEG 交叉注意力之前作用于当前混合潜表示。NeuroHeed 用专门的 LSTM 说话人编码器重新编码先前的波形输出，而这里直接在编解码器潜空间中用无参数的指数移动平均更新说话人状态。训练时以 0.2 的概率做说话人丢弃，使模型在历史不可用时仍能工作；相邻跳变之间在存储状态处停止梯度。
理解主要数字时要注意适用范围。所有实验都采用受试者独立评估，因此结果描述的是未见过的测试受试者，而不是针对每位听者的校准。窗口大小因数据集而异：Cocktail Party 用 2 秒不重叠窗口，KUL 用 4 秒窗口、1 秒步长，目的是与各自数据集上的先前工作公平比较。NeuroHeed+ 和 MSFNet 未出现在对比表中，因为没有公开代码，无法在相同受试者独立设置下重新评估。论文把流式扩展作为一种形式化和面向助听设备的基础提出，并未将其作为已验证的实时部署。
生成式路线的价值落在哪里
论文中最有决策意义的区分，是客观分数与感知质量之间的差别。在重采样到 8 kHz 的客观指标上，NeuroCodec 相对 M3ANet 的优势狭窄且不一致：它赢了 STOI 和 PESQ，却在 ESTOI 上略落后。差距在 20 人听测中明显拉大，82.24 对 49.63，在 7 kHz 以上的频谱图证据中也是如此。对于正在判断潜空间生成建模是否值得增加复杂度的读者，论文的答案是：回报体现在带宽和感知保真度上，而不是客观指标的大幅领先。
因此选择取决于场景。如果目标是窄带客观基准，相对强掩蔽基线的提升是渐进的。如果目标是面向神经引导助听设备的宽带、听感自然的输出，那么 44.1 kHz 重建、保留到 20 kHz 的内容以及听测差距的组合，就是论文的核心论据；流式形式被提供为通往实时使用的路径，而不是已经验证的实时方案。
本文引用的文献
NeuroCodec: EEG-Guided Latent-Domain Generative Model for High-Fidelity Target Speaker Extraction
NeuroCodec 在冻结的神经音频编解码器中借助 EEG 引导预测目标说话人潜表示，在 STOI 和 PESQ 上超过掩蔽基线；20 人听测中得分 82.24，M3ANet 为 49.63；并能重建 44.1 kHz 音频，内容延伸到约 20 kHz。