把愉悦感当作数值而非类别来预测
这项研究要回答的是:人在听音乐时记录的 EEG 是否包含足够信息,用来估计他们有多喜欢一首歌,以及这种估计能否适用于模型从未见过的听者。按论文的描述,此前的音乐 EEG 研究大多把情绪当作类别标签,或使用黑箱模型,并且常常在试次层面划分数据;作者认为,这会人为抬高模型对新听者的泛化表现。
这里的目标是一个回归输出:参与者在听完一首歌后,在 1 至 5 分的 Likert 量表上给出的连续愉悦感评分。输入是一段多通道 EEG 信号,包含 C 个通道和 T 个时间采样点,模型学习从这段信号映射到预测评分。训练时评分被归一化到 [0, 1],评估时再映射回 1 至 5 分制,因此报告的所有误差都以原始量表分数为单位。
留出五名听者改变了基准的含义
数据来自 MUSIN-G,这是一个在印度理工学院甘地讷格尔分校采集的公开数据集,包含 20 名参与者的 128 通道 EEG。参与者闭眼聆听 12 段约两分钟、跨多个流派的歌曲片段,闭眼是为了减少眼动伪迹。每听完一首歌,参与者就在 1 至 5 分制上给出整体愉悦感评分。
关键的设计选择是按参与者划分:15 名听者用于训练和验证,5 名完全留出用于测试。这样可以避免受试者层面的数据泄漏,因此测试表现反映的是对陌生听者的预测,而不是对已见过听者的新片段的预测。也正因如此,报告的相关性应理解为跨听者的泛化能力,而不是同一听者内部的解码准确率。
歌曲级标签让每个窗口都同样愉悦
预处理遵循一套标准流程:平均参考、0.2 Hz 高通滤波、通过 EEGLAB 结合 MARA 做基于独立成分分析(ICA)的伪迹剔除、降采样到 250 Hz、用球面样条插值坏通道,然后切分为固定长度、互不重叠的 500 采样点窗口。
由于愉悦感是每首歌评一次,从这首歌切出的每个窗口都继承同一个标签。作者称之为弱标签方法,并指出它有利于时间建模,但会引入标签噪声,因为愉悦感在一整首歌中会自然波动。这一点影响解读:这样训练的模型无法学到逐刻的愉悦感变化,而解释结果描述的是两秒窗口内哪些部分驱动了歌曲级预测,而不是听者实际最享受哪些时刻。
最低误差与最佳趋势一致性分属不同模型
研究比较了六种架构:EEGNet、ShallowConvNet、DeepConvNet、CNN-LSTM、TCN 和 GNN-CNN。它们都用组合损失优化,其中均方误差权重为 0.6、平均绝对误差权重为 0.4,使用 Adam 或 AdamW,初始学习率 3×10⁻⁴,配合余弦退火、0.5 至 0.6 的 dropout,并在验证集连续 5 至 7 轮无改善后早停。
在留出的五名听者上,GNN-CNN 的平均绝对误差最低,为 0.97,其次是 CNN-LSTM 的 0.98 和 DeepConvNet 的 0.99。CNN-LSTM 的 RMSE 最低,为 1.18,论文将其解读为对大误差最稳健。TCN 的 Pearson 相关性最高,r = 0.21,被描述为趋势一致性最好;GNN-CNN 的容差准确率最高,为 58.3%。EEGNet 和 ShallowConvNet 明显更弱,MAE 分别为 1.03 和 1.31,相关性分别为 −0.01 和 −0.06。
作者报告,DeepConvNet 与 TCN 的 MAE 统计比较没有显著差异,并将其解释为空间架构和时间架构捕捉了愉悦感中互补的方面。实际含义是:没有哪个模型能同时最小化绝对误差并最大化相关性,因此选哪个模型取决于应用更在意分数接近,还是更在意正确排序听者的愉悦感。
0.21 的相关性只是弱信号
这个核心相关性需要仔细解读。r 为 0.21 意味着,在留出听者上,模型只捕捉到预测愉悦感与报告愉悦感之间有限的线性关系,尽管其平均绝对误差在五分制下不到一分。这两个结果并不矛盾:模型可以停留在评分区间的中间附近,取得中等绝对误差,却仍然难以区分个体差异。
这正是论文自身把绝对准确率与趋势一致性分开的原因。MAE 最低的模型与相关性最高的模型并不是同一个,而容差准确率从 35.0% 到 58.3%,描述的是预测落在可接受范围内的频率,而不是排序歌曲的能力。读者比较这些数字时,不应把低 MAE 当作强愉悦感解码的证据,也不应把 0.21 的相关性当作 EEG 不含愉悦感信息的证据。
解释指向持续片段而非孤立事件
研究对 TCN 应用了三种训练后的解释方法:Grad-CAM、输入梯度敏感性和基于遮挡的分析。基于梯度和基于遮挡的解释在所有留出窗口上取平均,用来找出每个两秒窗口内对预测影响最大的时间段。
报告的模式是:在 Grad-CAM 可视化中,相关性在窗口开始时最高,随后随时间衰减;时间相关性分布在持续的 EEG 片段上,而不是孤立事件。作者将其解释为支持一种情境驱动的观点,即愉悦感是一种持续演变的认知状态。这是对模型行为的解释,而不是实验证明的神经机制;这些解释描述的是 TCN 的预测对哪些位置敏感,而不是哪些大脑过程导致了愉悦感。
一个弱跨听者预测的基准
这项研究更持久的贡献在方法层面:在公开数据集上建立了一套可复现的、按参与者划分的 EEG 愉悦感回归基准,在同一协议下比较六种架构,并在标准指标之外报告解释结果。它表明 EEG 信号支持有意义但较弱的跨受试者愉悦感预测,而可解释性分析提供了 MAE 和相关性单独无法给出的信息。
它的边界也来自同一设计。证据覆盖 20 名听者、12 段约两分钟的片段、闭眼记录,以及被所有窗口继承的歌曲级标签,因此结果不能证明逐刻的愉悦感追踪,也不能直接迁移到其他数据集、流派或记录设置。这篇论文是 arXiv 预印本,其代码需向通讯作者索取,而不是以公开仓库形式发布。
值得带走的判断是一个比较,而不是单一分数:如果目标是让预测分数接近报告的愉悦感,GNN-CNN、CNN-LSTM 和 DeepConvNet 是相关选择,MAE 为 0.97 至 0.99;如果目标是在新听者中追踪相对愉悦感趋势,TCN 的 r = 0.21 是这里最好的结果,而且仍然很弱。任何应用都应围绕绝对准确率与趋势一致性之间的这一差距来规划,而不是只依赖其中任一指标。
本文引用的文献
EEG-Based Prediction of Music Enjoyment Using Deep Learning with Explainable Temporal Analysis
在 MUSIN-G 的按参与者划分下(15 名听者训练/验证,5 名留出),六个深度学习模型预测歌曲级愉悦感,1 至 5 分制下 MAE 为 0.97 至 1.31;GNN-CNN 的 MAE 最低(0.97),TCN 的 Pearson 相关性最高(r = 0.21)。
