下一补丁预测的优势与盲区
下一补丁预测是一个简单而强大的思路：仅通过因果掩码和停止梯度，训练模型根据之前的补丁预测对数梅尔频谱图（音频的一种可视化表示）的下一个补丁。NAPE框架于2026年提出，在多个音频和语音基准测试中取得了最先进的微调性能，在编码器规模上表现出一致的扩展性，并且无需任何显式监督即可生成结构化的注意力模式[3]。这令人印象深刻，因为它表明一个极简的自回归目标就能学习到丰富的音频表征——无需解码器、分词器或师生架构。
但这种成功在于学习音频的统计结构，而非人类如何感知或分类它。NAPE论文并未涉及工作记忆或训练样本分布等认知因素，而这些正是人们实际学习听觉类别的核心所在[1][2]。因此，尽管下一补丁预测能提供强大的特征提取器，它却无法揭示人类听觉学习背后的认知机制，也无法说明使用这些特征的下游模型的可靠性。
为何基于任务的学习揭示了下一补丁预测所忽略的认知局限
听觉类别学习不仅仅是掌握模式——它还受到工作记忆和训练数据结构的制约。2025年的一项研究发现，在基于规则和信息整合的类别学习任务中，增加一项并行的听觉工作记忆任务会显著减少采用最优策略的参与者人数[1]。在基于规则的学习中，并行负荷下准确率下降、反应时间增加，漂移扩散模型显示，这是由于信息积累速度变慢和非决策时间延长所致[1]。下一斑块预测模型完全没有模拟工作记忆，因此无法预测这类表现下降。
泛化是另一个盲点。2023年的一项研究表明，信息整合类别的学习者——即需要结合多个声学维度的情况——在面对来自未经训练的感知区域的新项目，或当训练样本分布更分散时，泛化能力较差[2]。相比之下，基于规则的学习者对感知区域的变化具有抵抗力，但对声音的分散性较为敏感[2]。这些差异反映了基于任务的学习所产生的不同表征和决策策略。下一补丁预测仅专注于预测下一个补丁，无法捕捉这些类别特定的泛化机制——它学习的是通用的音频表征，而非对现实世界分类至关重要的决策边界。
可靠性差距：下一补丁预测无法防止音频幻觉
即便下一补丁预测能带来出色的音频编码器，基于它构建的模型仍可能在任务型训练所能解决的方面出现失误。音频感知大语言模型（ALLMs）常常会幻觉出输入音频中并不存在的声音，并且可能遭受对基于文本能力的灾难性遗忘[4]。2025年的一项研究提出了一个数据生成框架，用于创建类似对比学习的训练数据——即模型必须区分存在与不存在声音的示例——并发现这显著减少了幻觉，同时在音频理解和推理基准测试上保持了强劲性能[4]。
这是对下一补丁预测理念的直接挑战：该目标本身并不会教会模型对音频内容保持真实。它学习的是预测下一个补丁，而不是验证某个声音是否真实存在。[4]中的对比训练明确教会模型区分声音的存在与缺失，这是一种任务特定的信号，而下一补丁预测缺乏这一点。因此，尽管下一补丁预测是一个强大的基础，但仅凭它不足以构建可靠的音频-语言系统——你需要任务特定的训练来解决幻觉和对齐问题。
关于这些来源
本回答基于5项研究（2项经同行评审，3项为预印本），发表于2023年至2026年间，其中4项为2024年或之后发表，2项发表于Q1区期刊。这些研究从5项通过质量筛选的研究中选出，被认为最具相关性，而后者又源自从超过5亿篇论文的数据库中检索到的52篇文献。
本文引用的文献
并发听觉工作记忆任务对听觉类别学习的影响
在一项行为研究中，加入并行的听觉工作记忆任务后，在基于规则和信息整合的听觉类别学习中，采用最优策略的参与者数量均有所减少；在基于规则的任务中，准确率下降且反应时间增加。漂移扩散模型分析表明，这种衰退源于信息积累速度减慢和非决策时间延长。
听觉类别学习与泛化中的分布依赖性表征
在三个实验中，信息整合听觉类别的学习者在迁移到未经训练的知觉区域或更分散的样本中的新项目时表现不佳，而基于规则的学习者则对知觉变化具有抵抗力，但对声音的分散性较为敏感；表征相似性建模显示，两组学习者采用了不同的决策策略。
前向聆听：下一补丁嵌入预测赋能可扩展音频学习器
NAPE框架仅使用因果掩蔽和停止梯度来预测对数梅尔频谱图的下一块嵌入，便在多个音频和语音基准上取得了最先进的微调性能，在编码器规模上表现出一致的扩展性，并在无需显式监督的情况下生成了结构化的注意力模式。
从对齐到进阶：利用合成数据引导音频-语言对齐
一种数据生成框架，能够产生类似对比性的训练数据（区分存在与不存在的音声），在降低音频感知大语言模型中的音频幻觉的同时，保持了在音频理解与推理基准测试及指令遵循能力上的强劲表现。
面向改进的客观感知音频质量评估——第一部分：一种新颖的数据驱动认知模型
一种新颖的机器学习方法用于客观音频质量评估，通过自适应加权失真度量来模拟感知的认知方面，在包含大量先前未见的主观质量评分数据库上，相较于其他方法和既有工具，实现了更高的预测准确性。