在不破坏性能的前提下，神经网络究竟能压缩多少？
简短回答：非常多。2025年一项关于语言模型的研究发现，采用组合式知识蒸馏方法后，可训练参数数量相比全参数微调减少了99%，同时仍能达到原模型答案质量的97%（以ROUGE-L和困惑度分数衡量）[1]。这意味着，原本需要100GB内存的模型，可被压缩至约1GB的可训练参数，而回答问题的能力仅下降3%。
对于图像分类模型，压缩效果同样显著。2022年针对MobileNetV1的一项分析表明，宽度压缩（使每层更窄）实现了42.27%的压缩率，而层级压缩（移除整层）则达到了32.42%[4]。当对这些压缩后的模型应用知识蒸馏时，宽度压缩版本的准确率提升了超过4.71%，这意味着蒸馏不仅保持了性能，还相较于从头训练更小的模型主动提升了效果[4]。
有什么陷阱？蒸馏在哪些情况下效果不佳？
知识蒸馏并非万能灵药——它存在实际局限性。同一项2025年语言模型研究指出，标准蒸馏方法存在“知识迁移不准确、学习过程漫长、长序列中错误累积”等问题[1]。换言之，当处理超长文档或对话时，简单的师生模型架构会逐渐偏离正确方向。研究人员不得不结合两种先进技术——选择性教师干预与低秩适配——来解决这一问题，即便如此，学生模型的质量也仅达到单独使用低秩适配方法的98%[1]。
另一个需要注意的问题是：压缩率并非在所有层中都保持一致。2025年的一篇论文提出了“逆时针逐块”蒸馏方法，该方法对网络深层分配了更高的压缩率[2]。这表明，浅层（负责处理基础特征）可能需要保持较大规模以维持准确性，而深层（负责处理更抽象的模式）则可以更大幅度地压缩。因此，不能简单地等比例缩小所有层并期望获得良好效果。
最后，选择迁移哪些知识至关重要。2022年一项关于图神经网络的研究发现，保留教师模型组织数据的全局结构（通过对比学习）的方法，始终优于仅保留局部连接的旧方法[3]。正确的蒸馏目标决定了压缩的成败。
哪种蒸馏方法最适合你的情况？
没有唯一的最佳方法——这取决于你的任务和限制条件。对于处理长序列的语言模型，2025年的研究建议将选择性教师干预（即当学生模型的预测偏差过大时，教师模型介入纠正）与低秩适配（用较小的低秩矩阵替代大型权重矩阵）相结合[1]。与全参数微调相比，这种组合将GPU内存使用量减少了75%，推理时间缩短了30%，同时保持了高质量[1]。
对于图像分类任务，2022年的分析表明，宽度压缩（使每层更窄）比层级压缩（移除整层）更适合蒸馏，因为窄模型仍保留所有层可供学习[4]。若处理图数据（如社交网络或分子结构），2022年的一项研究建议采用对比学习来对齐学生模型的内部表征与教师模型，这种方法比旧方法能更好地保留局部与全局关系[3]。
2021年对该领域的全面调查证实，蒸馏技术已是一项成熟且广泛使用的方法，但同时也指出挑战依然存在——尤其是在选择合适的师生架构和训练方案方面[5]。关键在于：首先选择与你的数据类型（文本、图像、图结构）相匹配的方法，若需实现极致压缩，再尝试组合式方案。
本文引用的文献
优化知识蒸馏模型以适配语言模型
结合选择性教师干预与低秩适配，在长序列任务中可减少99%的可训练参数，同时保留全参数微调97%的质量，并降低75%的GPU内存占用，推理速度提升30%。
面向神经网络压缩的逆时针逐块知识蒸馏
逆时针逐块蒸馏方法对更深网络层分配更高的压缩率，在Tiny-ImageNet-200和CIFAR-10数据集上提升了蒸馏性能。
关于图神经网络表示知识蒸馏的研究
图对比表示蒸馏（G-CRD）在4个数据集和14种架构上持续提升了轻量级图神经网络的性能，优于局部结构保持方法。
基于知识蒸馏的模型压缩分析
MobileNetV1在宽度方向上的压缩实现了42.27%的压缩率；与未使用知识蒸馏训练压缩模型相比，应用知识蒸馏后准确率提升了超过4.71%。
知识蒸馏：综述
一项综合调查证实，知识蒸馏是一种有效的模型压缩技术，但在师生架构设计和训练方案方面仍存在挑战。