超越基准分数，真实世界证据说明了什么？
最强有力的证据来自那些衡量实际应用中重要结果的研究：真实任务上的准确性、处理新数据的能力，以及成本或速度。在患者试验匹配中，基于大语言模型的方法平均提升了7.32%的性能，更重要的是，对新数据的泛化能力提升了12.12% [1]。这意味着系统不仅仅是记住了训练数据——它还能迁移到未见过的案例中，这是其并非基准测试技巧的关键标志。
另一项研究Operation-R1训练轻量级大语言模型，使其能够单步生成用于表格问答的数据准备流程。该研究在平均绝对准确率上分别比多步基线提升了8.83和4.44个百分点，同时将表格压缩了79%，并将货币成本降低了2.2倍[4]。这些是具体且可操作的改进——而不仅仅是排行榜上更高的分数。
有什么陷阱？LLM自动化何时会失效？
证据很明确：仅靠大语言模型（LLM）本身，在生产环境中还不够可靠。一项关于路由器配置合成的研究发现，GPT-4生成的“草稿配置虽有前景，但在拓扑、语法和语义上存在严重错误”[5]。解决办法是将LLM与提供局部反馈的验证器相结合，从而在一个任务上实现了10倍的杠杆效应（自动化提示词对比人工提示词），在另一个任务上实现了6倍[5]。这表明，价值来自LLM加上安全网，而非孤立的LLM本身。
同样地，在自动化特征工程领域，CAAFE系统在14个数据集中有11个提升了性能，将平均ROC AUC从0.798提高到0.822 [3]。但它被描述为“半自动化”——它能生成特征和解释，但仍需要人类提供上下文。这些研究带来的启示是，LLM自动化在结合验证、人机协同校验或自动优化时效果最佳，这一点在ETL工作流的综述中也有提及 [6]。
LLM数据准备自动化究竟何时能带来实际成效？
证据指向了LLM自动化能够大放异彩的特定条件：当任务定义明确、当有办法验证输出、以及当领域知识可以被注入时。例如，Text-to-ML系统将LLM与自动化机器学习（AutoML）相结合，以生成并优化完整的机器学习工作流，在12项任务中有10项超越了现有方法[2]。关键在于将工作流拆解为多个部分，并利用AutoML进行数值评估和最佳候选选择——这再次形成了一个验证循环。
另一方面，对ETL工作流的综述指出了模型幻觉、可解释性和数据隐私等挑战，这些都可能削弱自动化的效果[6]。而患者-试验匹配研究则专门通过一种“隐私感知”的方法解决了隐私问题，表明实际部署需要精心设计[1]。因此答案是：当LLM自动化被嵌入一个能够验证、优化并尊重约束条件的系统中时，它就不只是基准测试上的花招——但它也并非放之四海而皆准的灵丹妙药。
关于这些资料来源
本回答基于6项同行评审研究——发表于2023年至2026年间，其中2项为2024年或之后发表，共被引用122次——这些研究是从8项通过质量筛选的研究中选出的最具相关性的成果，而这8项研究又源自从超过5亿篇论文的数据库中检索到的70篇文献。
本文引用的文献
用于患者-试验匹配的大语言模型：面向更优性能与泛化能力的隐私感知数据增强
基于大语言模型的受试者与临床试验匹配方法，结合隐私感知数据增强技术，在电子健康记录与试验匹配实验中，平均性能提升了7.32%，对新数据的泛化能力提升了12.12%。
大语言模型与自动化机器学习协同增效
将大语言模型与自动化机器学习（AutoML）相结合，用于生成和优化机器学习工作流，在12项任务中有10项超越了现有方法，其中AutoML显著提升了性能。
面向半自动化数据科学的LLM：引入CAAFE以实现上下文感知的自动化特征工程
CAAFE是一种利用大语言模型的上下文感知自动化特征工程方法，在14个数据集中提升了11个的性能，将平均ROC AUC从0.798提高到0.822，并为特征提供了文本解释。
用一步式LLM流水线生成替代数据准备流水线的多步组装，用于表格问答
Operation-R1是一款通过强化学习训练的轻量级大语言模型，在多步基线的基础上实现了平均绝对准确率分别提升8.83和4.44个百分点，同时实现了79%的表格压缩，并将货币成本降低了2.2倍。
LLM需要什么才能合成正确的路由器配置？
仅靠GPT-4生成的路由器配置存在错误，但将其与验证器及局部反馈相结合后，在Juniper转换任务上实现了10倍的效率提升，在无中转策略任务上实现了6倍的提升，最终生成了经过验证的配置。
将ETL工作流与LLM增强的数据映射集成，用于自动化商业智能系统
对整合了LLM增强数据映射的ETL工作流进行综述后，可以看出其具备自动化潜力，但也面临模型幻觉、可解释性、数据隐私和延迟等挑战，因此需要人在回路验证和反馈循环机制。