针对多语言大语言模型的定向合成数据，未来两年将如何改变低资源语言支持？

低资源语言问题有多严重，合成数据究竟能做什么？

低资源语言——即数字文本有限的那些语言——在人工智能支持方面远远落后于英语，因为模型根本没有见过足够多的高质量示例。这并非一个小众问题：有数十亿人使用这些语言，而这一差距影响着从搜索、翻译到教育的方方面面。合成数据——即由人工智能模型生成而非从人类来源收集的文本——提供了一种快速且低成本填补这一空白的方式。这里的证据表明，它不仅仅是权宜之计，更可以成为真正的均衡器。例如，2025年的一项研究利用合成数据集构建了一个高性能的乌尔都语-英语模型，其效果优于多个领先的多语言模型——而整个训练预算不到100美元[2]。与通常花费数百万美元进行数据收集和训练相比，这堪称成本的大幅削减。

这一机遇的规模在预训练阶段同样显而易见。2026年的一项研究为10种印度语言创建了一个包含5400亿词元的合成数据集，表明合成数据可以大规模生成[7]。另一项2026年的研究发现，即便是少量的合成数据，也能让较小的模型超越其大型生成模型本身，尤其是在低资源语言中表现尤为突出[5]。这表明合成数据不仅仅是填补空缺——它实际上能产出比原始数据源性能更优的模型，因为它可以针对特定任务和语言进行定制。

合成数据以哪些具体方式改进低资源语言模型？

一个关键机制是知识注入：在预训练阶段将高质量的英文数据翻译成低资源语言。2026年的一项研究提出了SynTrans，正是采用这一方法，并发现它显著提升了知识密集型任务的表现，尽管有时会损害流畅度[1]。同一项研究还表明，合成数据可用于过滤嘈杂的真实世界数据——以合成样本为指引，对人工撰写的文本进行排序和筛选，选出最优者——其效果可与人类专家筛选相媲美，甚至更胜一筹[1]。这意味着合成数据有助于清理那些常常困扰低资源语言的杂乱、低质量数据。

另一种机制是针对性弱点修正。一项2026年的研究开发了一个名为HOTFIXR的框架，该框架能够探测模型的多语言弱点，并生成专门用于修复这些弱点的数据。该框架将分布内性能平均提升了6.2%，并将分布外语言上的灾难性遗忘降低了7.1% [4]。这一点至关重要，因为它表明合成数据不仅能用于增加数据量，还能用于解决模型能力中的特定缺口。类似地，一项2025年针对韩语的研究发现，经过精心筛选的合成数据能够支撑长期预训练而不会导致模型崩溃，其性能可与开放权重的多语言基线模型相媲美 [3]。这直接反驳了合成数据可能随时间推移降低模型质量的担忧。

有哪些陷阱和挑战？

合成数据并非万能灵药——质量和文化细微差别至关重要。一项2026年针对印度语言的研究发现，英文内容的翻译往往缺乏文化相关性，而直接用目标语言原生生成有时效果更好[7]。这与早前的研究结果相呼应，即SynTrans提升了知识水平，却损害了流畅度[1]。因此，尽管合成数据可以注入知识，但它未必能自动生成自然、符合文化语境的文本。解决方案似乎在于精心筛选并与真实数据混合使用，正如乌尔都语模型所展示的那样，该模型采用改良的自我指导技术，融入了文化相关性和安全对齐[2]。

另一个挑战是安全性与偏见问题。2025年一项关于多语言护栏的研究采用双玩家强化学习框架生成合成安全数据，在英语基准测试上比最先进模型提升了近10%，同时速度快了4.5倍[8]。这表明合成数据有助于弥补安全缺口，但也凸显出，若缺乏精心设计，合成数据可能延续甚至放大偏见。最后，合成数据的有效性可能取决于语言之间的类型学距离——2026年一项关于语法错误检测的研究发现，零样本迁移的表现会随源语言与目标语言的亲缘关系远近而变化[6]。因此，当源语言和目标语言在结构上具有一定相似性时，合成数据的效果最佳。

关于这些资料来源

本回答基于8项研究（3项经同行评审，5项为预印本），发表于2025年至2026年间，其中8项为2024年或之后的研究。这些研究从9项通过质量筛选的研究中选出，被认为最具相关性，而后者又源自从超过5亿篇论文的数据库中检索到的32篇文献。

本文引用的文献

相关研究问题