在 ASR 中，语音编码器与 LLM 之间应如何分配熵？

熵分配视角重新划分编码器与 LLM 的分工

这项研究把自动语音识别看作将高熵语音压缩为低熵文本的过程。在编码器–适配器–LLM 系统中，编码器在上游消除的不确定性，就是 LLM 在下游不必再消除的不确定性。因此，编码器表示可以成为观察一种训练范式如何在两个模块之间分工的切入点。

这是一种诊断视角，而不是新架构。论文沿用标准的编码器–适配器–LLM 结构，考察不同训练选择如何塑造 LLM 实际接收的接口。由于适配器是轻量 MLP，作者把编码器输出作为该接口的实际代理来分析。

三个指标分别刻画频谱、语音与语义内容

归一化频谱熵（NSE）对编码器的有效帧表示做奇异值分解，把奇异值归一化为一个分布，再计算该分布的熵。NSE 高意味着表示各向同性、保留了多余熵；NSE 低意味着表示更压缩、更各向异性。在单目标的 ASR 设定中，NSE 持续偏高说明 LLM 仍需承担编码器本可完成的工作。

语音可及信息（PAI）和条件语义可及信息（CSAI）是受探针方法启发的代理指标。PAI 估计从经过池化和 PCA 标准化的表示摘要中，有多少语音信息可以被线性读取。CSAI 估计在语音目标已解释的部分之外，还有多少残余语义信息可以被读取。两者都在联合高斯近似和岭正则化协方差下计算，因此作者把它们定位为同一协议内的相对代理，而非精确的互信息估计。

这三个指标回答不同问题，不能互相替代：NSE 描述全局频谱几何，PAI 描述语音可及性，CSAI 描述去掉语音代理后剩余的语义可及性。

联合训练可能把编码器推向语言捷径

论文的动机性比较在每组内固定编码器架构，测量端到端联合训练前后的指标变化。在 FireRedASR 系列中，NSE 从 86.8% 降到 85.1%，PAI 从 23.50 bits 降到 21.60 bits，CSAI 从 11.37 bits 升到 12.25 bits。在 Whisper-large-v3 与 Voxtral-Mini-3B 这一组中，NSE 保持 90.2%，PAI 从 20.10 bits 变为 20.05 bits，CSAI 从 10.69 bits 变为 10.68 bits。

作者把 FireRed 的变化模式视为警示：语音可及性下降，而残余语义可及性上升。他们的解释是，编码器越来越多地编码与文本相关的规律，牺牲了声学保真度，从而提高幻觉风险。Whisper/Voxtral 组呈现另一种状态，因此论文把这种漂移描述为依赖训练范式，而非普遍现象。

预训练与异步 SFT 维持角色解耦

所提方案有三个着力点。第一，预训练围绕音素级 CTC 目标重新设计，以缩小语音–文本模态差距；论文报告，音素级预训练在整个训练过程中都比字符级预训练取得更高的 PAI 和更低的 CSAI。第二，在对齐与联合 SFT 之间加入迭代异步 SFT（IA-SFT）阶段。第三，联合 SFT 在已经缩小的差距上进一步精调系统。

IA-SFT 的异步性有具体含义：预训练继续运行的同时，后训练也在进行。在报告的调度中，预训练从 0.50M 步开始；到 1.01M 步时，若相对参考检查点的平均 CKA 低于 0.975，编码器快照就更新参考检查点，并初始化用于后训练的编码器，对齐阶段运行 1.3M 步，IA-SFT 运行 1.0M 步。之后在 1.32M 步和预训练结束的 2.00M 步再次更新快照，每次再启动一轮 IA-SFT，最后联合 SFT 运行 2.00M 步。

论文声称的效果是形成表示缓冲：让 LLM 接触不同信噪水平的编码器状态，类似课程学习，并使 LLM 不过度拟合任何单一检查点的特有偏差，同时编码器继续优化声学不确定性消除。

去掉 IA-SFT 会同时削弱两个可及性维度

消融实验去掉 IA-SFT 并比较训练轨迹。没有它时，NSE 的下降比完整轨迹更慢，PAI 和 CSAI 都收敛到更低的最终值。作者将此解读为声学与语义两个维度的线性可及性都下降，等价于编码器表示的有效信噪比降低。

在完整轨迹中，联合 SFT 期间 NSE 继续下降，PAI 明显回升，CSAI 持平或略降。作者把这一组合解释为预期的分工：LLM 的梯度促使编码器细化语音–声学表示，而不是利用语言捷径；编码器也不去吸收更适合交给 LLM 的语义功能。

幻觉出现在不确定性消除被错误分配之处

论文提出两种失效模式。在语义污染的表示中，联合优化使编码器特征与文本相关规律对齐，因此部分不确定性消除并非基于声学证据；接口对转写文本更有预测力，但对声学变化更不稳健。在 LLM 主导的不确定性消除中，薄弱或结构不良的接口把更多不确定性推给 LLM，而贝叶斯分解 p(Y|Z) ∝ p(Z|Y)p(Y) 意味着当似然项信息不足时，先验会越来越多地塑造后验。

这是作者对解耦为何有帮助的解释性论述，而不是单独测量的因果证明。实测支持来自指标变化，以及解耦设计下报告的幻觉缓解。

2.3B 模型在保持竞争力的同时减少幻觉

在中文和英文基准上，论文报告该方法仅用 2.3B 参数就取得与最先进模型有竞争力的性能，同时通过解耦设计有效缓解幻觉。因此，效率主张绑定于特定参数预算和基准集合，而不是普遍缩放规律。

论文自身指出的局限包括：把框架扩展到更大的 LLM 主干、把熵分配分析扩展到强化学习，以及开发比当前线性高斯代理更强的诊断工具。对考虑把这些指标当作通用工具的读者来说，这些边界最重要：PAI 和 CSAI 是在同一协议内做比较，而不是绝对的信息量测量。

优先建立编码器的声学根基再接入 LLM

对决策有意义的结论是一个顺序，而不是某个单一数字。构建 LLM-ASR 系统时，论文证据支持先建立紧凑、以声学为根基的编码器接口——音素级预训练加异步缓冲阶段——再让端到端梯度重塑编码器。FireRed 训练前后的变化就是具体案例：跳过这一顺序时，PAI 下降而 CSAI 上升。

值得关注的比较是两种轨迹：一种 NSE 下降，同时 PAI 保持或回升、CSAI 持平；另一种 CSAI 以 PAI 为代价上升。前者是论文的目标状态，后者是它所指的不确定性消除错配和幻觉风险升高的信号。

本文引用的文献