当假设失效时，最先崩溃的是什么？
最直接的失败在于统计层面：当因果推断背后的假设（比如该调整哪些变量）出错时，系统的估计就会变得不可靠。在观察性研究中，多个调整集可能看起来同样合理，但其中只有一部分是有效的——而且往往无法检验哪些有效。一种天真的做法是报告所有可能估计的整个范围，但这个范围并不会随着数据增多而缩小，因此你只能得到宽泛而无用的区间[1]。
第二个失败在于个性化：即便统计数据准确无误，系统也可能忽视研究者个人的先前工作、方法和学术圈层。这会导致“一刀切”式的失败——不同研究者提出相同问题时，得到的几乎是相同的研究结果，从而抹去了激发新颖想法的隐性知识[2]。因此，系统不仅给出错误的数字，还提供不相关的研究。
我们能让这些系统变得稳健吗？
是的，但这需要权衡取舍。因果推断中的一种方法会构建一个单一的估计值及置信区间，只要至少有一个调整集是正确的，该区间就保持有效。与朴素的区间范围不同，这个区间会随着样本量的增大以最优速率（n^{-1/2}）收缩，这意味着即使大多数调整集是错误的，你也能得到更紧凑、更有用的估计值[1]。但代价是：这些保证适用于一个与你最初目标人群接近但并非完全一致的目标人群——因此，你是在用一点相关性换取可靠性。
在个性化方面，所提出的框架将基于图的研究者上下文贯穿于每个阶段——检索、假设搜索、实验、写作和评审。这并非便利性附加层，而是将通用工具转变为真正科研协作者的关键所在[2]。然而，论文也指出了尚待解决的问题，意味着当前系统远未达到这一理想状态。
鲁棒性何时会彻底失效？
稳健性有其限度，尤其是在假设被严重违背的情况下。在波动率估计中，一种称为双尺度已实现波动率的方法对多种市场微观结构污染（如加性误差）具有稳健性，前提是污染是平滑的。但当污染是非平滑的——例如取整——稳健性就会下降，此时你需要了解确切的结构才能获得可靠的估计[3]。
这正对应了自动研究中的问题：如果研究者上下文被严重错误设定（例如，忽略关键的方法学偏好），或者统计假设严重失当（例如，使用无效的调整集），系统的输出就会变得不可靠。教训是：稳健性并非自动获得；它需要精心设计，并清楚意识到正在做出哪些假设。
关于这些来源
该回答基于3项研究（均为预印本），发表于2022年至2026年间，其中2项为2024年或之后发表。这些研究是从3项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文的数据库中检索出的40篇文献。
本文引用的文献
假设稳健的因果推断
提出了一种针对因果推断的假设稳健方法，即使在大多数调整集无效、但目标人群略有偏移的情况下，该方法仍能给出单一估计值及以n^{-1/2}速率收缩的置信区间。
个性化自动研究：迈向真正的AI联合科学家
介绍了个性化自动研究，主张个性化对于AI协同科学家至关重要，并指出一种失败模式：不同研究者获得完全相同的研究结果，从而抹杀了隐性知识。
波动率估计量对建模假设是否具有稳健性？
研究表明，双尺度已实现波动率对平滑的微观结构污染具有稳健性，但面对诸如取整之类的非平滑污染时，其稳健性会下降，此时需要精确的模型知识。