当人工智能用AI生成的数据训练时，究竟会发生什么？
核心问题被称为“模型崩溃”，这一术语源自2024年《自然》杂志的一项研究[1]。当生成式AI模型基于先前AI模型生成的数据进行训练时，新模型会逐渐丧失生成罕见或非常规内容的能力。研究人员表明，在GPT-2等语言模型以及变分自编码器等图像生成模型中，原始数据分布的“尾部”——那些不常见但往往重要的样本——仅经过几轮递归训练便会消失[1]。例如，若原始训练数据包含某个罕见词汇或独特图像风格，第一代AI模型或许仍能偶尔生成，但基于其输出训练的第二代模型生成频率会更低，经过数轮迭代后，这些内容将彻底消失。
这并非仅仅是理论上的担忧。该研究在三种不同类型的生成模型（大语言模型、变分自编码器和高斯混合模型）中均验证了这一效应，表明这是机器学习运作方式中一个普遍存在的缺陷[1]。其机制很简单：每一代训练都会放大最常见的模式，并丢弃那些较少出现的模式，就像复印件的复印件，每复制一次就会变得更模糊。关键在于，研究人员发现这种损害是不可逆的——一旦多样性丧失，即使使用原始人类数据进行重新训练，也无法完全恢复[1]。
已有真实世界证据表明AI生成内容正在引发问题吗？
是的——这个问题已经可以量化。2024年一项针对GPT-3.5发布后创建的维基百科页面的研究发现，超过5%的新建英文维基百科条目被两个检测工具（GPTZero和Binoculars）标记为AI生成，其阈值基于GPT-3.5之前的文章设定为1%的误报率[4]。这意味着每二十篇新维基百科文章中至少有一篇可能是AI生成的，而实际数字可能更高。这些被标记的文章通常质量较低，且往往带有自我宣传倾向，或在争议性话题上偏向特定观点[4]。这一问题之所以重要，是因为维基百科是AI模型训练数据的主要来源——因此，AI生成的内容已经在污染未来模型赖以汲取的“水源”。
此外，一项2022年关于人工智能“老化”的研究发现，随着训练数据逐渐过时，模型质量会随时间推移而下降[3]。研究人员利用医疗、交通、金融和天气领域的数据集证明，模型距离上一次训练周期的时间越长，其性能就越差[3]。尽管该研究并未专门探讨AI生成的训练数据，但它强调了一个相关观点：模型的质量取决于其训练数据，一旦数据变得陈旧或受到污染，性能便会受损。
这对AI的未来为何重要？
后果十分严峻。随着生成式AI在网络中日益普及，人类生成的内容——唯一可靠的训练数据——正被AI生成的内容所稀释。2024年《自然》期刊的论文警告称，“在从互联网抓取的数据中包含大语言模型生成内容的情况下，关于人类与系统真实互动的数据价值将愈发珍贵”[1]。换言之，正是那些让AI变得有用的数据，正在被AI自身的输出所污染。一篇2023年关于生成式AI的文章也指出，训练生成对抗网络（GAN）等生成式模型本就不稳定，常出现模式崩溃（即模型仅生成狭窄范围的输出）和不收敛等问题[2]。而用AI生成的数据进行训练，只会进一步加剧这些现有问题。
解决方案并不简单。单纯过滤掉AI生成的内容十分困难，因为检测工具并不完美——维基百科的研究使用了两种检测器，仍不得不接受1%的误报率[4]。此外，《自然》杂志的论文发现，即便训练数据中混入少量AI生成内容，也可能加速模型崩溃[1]。最实际的启示是：保存并优先使用人类生成的数据将变得愈发重要，而AI开发者必须精心筛选训练数据集，以避免模型崩溃的连锁反应。
关于这些来源
该回答基于4篇经同行评审的研究——发表于2022年至2024年间，其中2篇为2024年及以后发表，3篇发表于Q1期刊，总被引次数达1511次——这些研究是从通过质量筛选的4项研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的41篇文献。
本文引用的文献
AI模型在递归生成的数据上进行训练时会发生崩溃。
在2024年发表于《自然》杂志的一项研究中，作者展示了三种生成模型（大语言模型、变分自编码器和高斯混合模型）的“模型崩溃”现象，表明在递归生成的数据上进行训练，仅需几代就会导致罕见内容的不可逆丢失[1]。
生成式人工智能
一篇2023年关于生成式人工智能的论文指出，训练生成对抗网络（GANs）等生成模型通常不稳定，存在模式崩溃、不收敛等问题，并提出了对AI生成内容中偏见与抄袭问题的伦理关切[2]。
AI模型中的时间质量退化
一项2022年关于AI“老化”的研究分析了来自四个行业（医疗、交通、金融、气象）的数据集，发现随着训练数据逐渐过时，模型质量会随时间下降，这一现象与概念漂移有所不同[3]。
人工智能生成内容在维基百科中的兴起
一项2024年对维基百科页面的分析发现，超过5%的新英文文章被两个检测工具标记为AI生成（假阳性率为1%），这些文章通常质量较低且偏见更明显[4]。