合成数据可以成为学术研究中的有力工具，但它也伴随着重大风险——最显著的是，可能导致有偏结果、对泛化性的错误自信，以及隐藏的效度缺口，这些都可能削弱你研究发现的可信度。
你需要了解的核心风险
-
偏差放大（而非消除）
合成数据的质量取决于其建模所依据的真实数据。如果你的源数据包含历史偏差——种族、性别、社会经济或测量偏差——合成版本将继承甚至放大这些偏差。你可能在不知不觉中“清理”掉了重要的异常值，或过度代表了实际为噪声的模式。 -
泛化性错觉
由于合成数据集是从统计分布生成的，它们看起来干净且完整。这正是危险所在：它们可能让你的模型在测试中表现优异，而在真实世界数据上却遭遇灾难性失败。你的结果可能无法迁移到实际人群、临床环境或社会情境中。 -
效度验证缺口
许多研究者通过检查合成数据是否“看起来像”原始数据来验证其有效性。但统计相似性（例如，匹配均值和方差）并不能保证复杂关系、稀有事件或边缘情况得到保留。如果你在研究一种罕见疾病或一个不常见的人群，合成数据可能完全省略这些案例。 -
对生成器的过拟合
当你在合成数据上训练模型时，你面临的风险是优化生成器的特性而非底层现象。这在深度学习中尤为棘手，因为模型可能记住没有真实世界对应物的合成模式。 -
可复现性与透明度问题
合成数据流水线通常是专有的或文档记录不佳。其他研究者可能无法复现你的确切数据集，这使得同行评审和重复研究变得困难。这削弱了学术研究的核心支柱之一。
如何缓解这些风险
- 始终在真实数据上验证。 使用合成数据进行探索或增强，但绝不要将其作为唯一的评估集。
- 彻底记录生成过程。 包括参数、源数据特征和已知局限性。
- 进行敏感性分析。 测试当你改变合成生成参数时，你的结论变化有多大。
- 明确披露。 期刊和审稿人应确切了解合成数据在何处使用以及为何使用。
如果你在处理大量文献以评估合成数据在你所在领域的使用情况，WisPaper的学者搜索可以帮助你筛选那些明确报告验证方法和偏差检查的研究——这样你可以从最佳实践和过往失败中学习。关键要点：将合成数据视为真实证据的补充，而非替代品。