为何部署指标而非工作流设计，决定LLM数据准备的成败
LLM驱动的数据准备中最大的风险不在于工作流逻辑本身，而在于系统能否在大规模下可靠且经济地运行。2025年一项关于LLM驱动的供应链自动化可行性研究发现，尽管原型系统（一个库存助手和一个工作流编辑器）展现出了实际应用潜力，但关键的实施考量因素在于模型可靠性、数据治理和基础设施集成——而非工作流步骤本身[1]。该研究对训练、部署和维护的成本分析表明，财务可行性是一个成败攸关的因素，这意味着如果部署成本不可持续，再巧妙的工作流也毫无价值。
这一点在2024年一篇关于AIOps（人工智能运维）的文章中得到了呼应，该文章认为，LLM管理中的独特挑战——资源分配和延迟——是通过预测分析和动态扩展来解决的，而非重新设计数据准备管道[2]。文章强调，实时监控和事件管理对于可扩展的运维至关重要，而自动化的异常检测和响应正是演示系统与生产系统之间的分水岭。因此，在评估LLM数据准备工具时，你应该询问其负载下的延迟、每次运行的成本以及故障恢复能力——而不仅仅是它如何处理干净的数据集。
工作流质量很重要——但前提是部署稳定之后
话虽如此，数据准备工作流的质量并非无关紧要——只是次要而已。2023年一项关于上下文感知自动化特征工程（CAAFE）的研究表明，基于LLM的工作流能在14个数据集中提升11个的模型性能，将平均ROC AUC（分类准确度的一种衡量指标）从0.798提升至0.822——这一提升幅度堪比从逻辑回归换到随机森林模型所带来的收益[3]。这证明设计良好的工作流确实能带来实际价值，但该研究也指出，这种方法“在方法论上较为简单”，且依赖于LLM生成Python代码和解释。关键在于：这是在受控环境中测试的，而非在具有实时约束的生产环境中。
最佳情况与典型情况下的证据差距显而易见。CAAFE研究的成功是在一种半自动化、具备上下文感知的环境中实现的，其中大语言模型拥有清晰的数据集描述，并能够进行迭代。相比之下，2025年的供应链研究则强调，现实世界中的部署涉及“劳动力适应与负责任的人工智能使用”——这些因素即便对最优工作流也可能造成破坏[1]。因此，尽管良好的工作流能够提升准确性，但真正决定该准确性在实践中能否实现的是部署指标——成本、延迟和可靠性。一个在实验室中表现良好、但在生产环境中过于缓慢或昂贵的工作流，无论其理论质量如何，都算失败。
关于这些来源
本回答基于5项同行评审研究——发表于2023年至2025年间，其中4项为2024年或之后发表——这些研究是从5项通过质量筛选的研究中选出的最具相关性的成果，而后者又源自从超过5亿篇论文的数据库中检索到的52篇文献。
本文引用的文献
面向更智能供应链优化的人工智能定制工作流：可行性研究
2025年一项关于大语言模型驱动供应链工作流的可行性研究发现，关键实施考量包括模型可靠性、数据治理和基础设施集成，而财务可行性则取决于训练、部署和维护成本。
AIOps实战：自动化大语言模型的AI部署与管理，实现可扩展且合规的运营
一篇2024年关于面向LLM部署的AIOps文章强调，实时监控、事件管理和动态扩展对于解决延迟和资源分配挑战至关重要，并着重突出了部署指标而非工作流设计。
面向半自动化数据科学的LLM：引入CAAFE以实现上下文感知的自动化特征工程
2023年一项关于CAAFE（一种基于大语言模型的特征工程方法）的研究将14个数据集的平均ROC AUC从0.798提升至0.822，表明工作流质量能够提升准确性，但这是在受控、半自动化的环境中实现的。
税务申报中的负责任AI：基于大语言模型的助手所面临的法律与伦理挑战
2025年一项关于基于大语言模型的报税助手的研究指出，数据隐私、合规性、责任归属、偏见和可解释性是部署过程中的关键挑战，并提出了一个负责任的人工智能框架以确保安全部署。
从泛化模式中学习：一种以评估为驱动的数据增强方法，用于微调小型语言模型
2025年一篇关于微调小型语言模型的论文发现，数据准备需要大量人工投入，其提出的PaDA-Agent方法采用评估驱动的增强策略来缩小泛化差距，凸显了部署效率的重要性。