为何可验证数据如此稀缺？
核心问题在于，要让大语言模型学会验证，就需要提供那些正确答案确定无疑的示例。然而，大多数人类生成的文本并不具备这样的“标准答案”。2022年的一项研究预测，如果当前的扩展趋势持续下去，模型将在2026年至2032年间，用上大致相当于全部公开人类文本总量的数据集进行训练[5]。这意味着我们正逼近训练原始材料的天花板，而且其中大部分文本都未标注，无法用于验证任务。
即便数据存在，也往往缺乏验证所需的结构。例如，在物理推理中，标准文本增强可能引入幻觉，而静态基准缺乏微调所需的推理轨迹[2]。同样，在对话领域，现有数据集领域覆盖有限，且包含的挑战性对话现象较少；即便存在此类数据，通常也未经标注，这使得在没有昂贵人工评估的情况下难以判断模型的优劣[3]。
合成数据与神经符号方法能否突破瓶颈？
是的，但有一些保留意见。合成数据生成可以在大规模范围内创建可验证的示例。无限问题生成器（IPG）通过将解决方案构建为可执行的Python程序来合成物理问题，从而保证其可解性，并确保数学上的一致性[2]。该方法从165个专家种子中生成了包含1,335个问题的语料库，展示了跨102个公式的高多样性。关键洞察在于，代码复杂度与问题难度之间存在强相关性（R²≈0.95），这使得可控的课程生成成为可能。
另一种方法是神经符号接地，它将概率性大语言模型规划锚定在确定性约束中。BioProAgent 使用有限状态机强制执行“设计-验证-修正”工作流程，实现了95.6%的物理合规性，而标准 ReAct 智能体仅为21.0%[1]。这表明，在不可逆环境中，显式约束能显著减少幻觉现象。然而，这些方法需要精心设计，且可能无法推广到所有领域。
这些论文一致认为，合成数据和符号约束虽然前景广阔，但并非万能灵药。IPG和BioProAgent都依赖于特定领域的结构（如公式、状态机），而这些结构并非对所有任务都适用。此外，2022年的预测[5]表明，即使使用合成数据，除非我们同时提升数据效率和迁移学习能力，否则可能面临收益递减的问题。
数据管道本身会成为瓶颈吗？
是的，即使数据存在，大规模处理数据所需的基础设施也可能成为瓶颈。t5x和seqio库的开发就是为了解决这类问题，例如防止数据输入时的瓶颈，并确保大规模训练中结果的可复现性[4]。它们已被用于在多TB级数据集上训练拥有数千亿参数的模型。这凸显了数据扩展不仅仅是拥有数据，更在于高效地传输和处理数据。
这是一个支撑论点：虽然主要瓶颈在于数据稀缺，但数据管道的工程化是次要制约因素，若不加以解决，可能会拖慢进展。专用库的出现本身就表明，数据处理是扩展挑战中不可忽视的一部分。
关于这些资料来源
本回答基于5项研究（4项经同行评审，1项为预印本），发表于2022年至2026年间，其中3项为2024年或之后发表，合计被引用312次。这些研究是从5项通过质量筛选的研究中选出的最相关者，而后者又源自从超过5亿篇论文数据库中检索出的43篇文献。
本文引用的文献
BioProAgent：面向受限科学规划的神经符号接地
BioProAgent是一个利用有限状态机的神经符号框架，在科学规划中实现了95.6%的物理合规性，而ReAct仅为21.0%，这表明在不可逆环境中，确定性约束能够减少大语言模型的幻觉现象。
无限问题生成器：通过智能体工作流可验证地扩展物理推理数据
无限问题生成器通过可执行的Python代码合成物理问题，确保问题必然可解，从165个种子生成了1,335道题目，且公式数量与验证代码长度之间存在强线性相关性（R²≈0.95），从而支持可控的课程生成。
LUCID：用于复杂且有趣对话的LLM生成话语
LUCID是一个由LLM驱动的数据生成系统，在100个意图上生成了4,277段对话，并带有高质量标签，解决了因缺乏具有挑战性的带标签对话数据而限制任务型助手能力的问题。
使用t5x和seqio扩展模型与数据规模
t5x和seqio库的开发旨在简化大语言模型训练及数据管线的扩展，支持在数万亿字节的数据集上训练拥有数千亿参数的模型，这凸显了基础设施可能成为性能瓶颈的问题。
我们会不会耗尽数据？基于人类生成数据的大语言模型扩展极限
2022年的一项预测显示，如果当前趋势持续下去，大语言模型将在2026年至2032年间耗尽公开的人类文本数据，这表明合成数据与效率提升将成为持续扩展的必要条件。