换一批审稿人，会议的录用决定会改变多少？

估计量针对的是反事实，而非已观察到的分歧

问题不是同一个委员会内部审稿人是否意见不一，而是同一篇论文交给完全不同的审稿人处理时，最终录用或拒稿决定会有多大概率不同。这一反事实的唯一直接测量来自两次重复审稿的随机实验：NeurIPS 2014（166篇论文，分歧率25.9%，录用精确率49.5%）和NeurIPS 2021（882篇论文，分歧率23.0%，录用精确率50.6%）。由于重跑一个程序委员会成本极高，该论文仅用公开审稿分数构建了一个观察性替代方案。

该估计量由三部分组成。一个贝叶斯有序概率模型把每条审稿分数分解为潜在的论文质量和审稿人噪声残差，并用年度特定的切点吸收评分量表的变化。一个逻辑回归模型把论文层面的分数摘要映射为录用或拒稿，近似领域主席环节（在28,476篇有已知决定的论文上，5折交叉验证AUC为0.933）。随后，每篇论文从后验分布中模拟两个各含k位审稿人的独立委员会（后验抽样B=1,000；k=2、3、4），并记录分歧率和已录用论文的翻转概率。

这一区分很重要，因为委员会内部分歧率与两委员会决定翻转率是两个不同的量，分母也不同。论文报告的是后者，而NeurIPS实验测量的也正是后者。

两项独立校准为模拟结果提供锚点

外部校准在匹配审稿人数量的条件下，把模拟量与随机实验进行比较。在NeurIPS 2021的k=3标准下，模拟的2021年分歧率为23.3% [21.7%, 25.0%]，而报告值为23.0%，偏差为+0.3个百分点。录用精确率模拟值为55.6% [51.9%, 59.3%]，报告值为50.6%（+5个百分点）；委员会平均分相关系数模拟值为0.618 [0.592, 0.645]，报告值为0.575/0.586（+0.04）。2014年锚点（25.9%，n=166）比同一模拟量高2.6个百分点。预注册曾预期因忽略领域主席噪声而出现向下偏差；实际观察到的偏差略向上，但幅度很小。

内部校准不依赖模型，因此不依赖关于分数如何生成的假设。在18,740篇有四条及以上审稿意见的ICLR论文上，把审稿人随机分成两组各两人，每组通过同一个决定模型，再将得到的半分分歧率与k=2模拟结果在200次重复下比较。合并的半分分歧率为29.6% [29.2%, 30.0%]，模型在2018年以及2021至2025年每年都与锚点相差1个百分点以内。在2017、2019和2020年，模型比锚点低3-5个百分点；论文将此归因于早期审稿人分配同质性更强以及2020年量表更粗，但将其作为假设而非经过检验的解释。

两个锚点都是数值比较，而非重新拟合。公开的NeurIPS 2021审稿意见只覆盖已录用论文，因此外部检验匹配的是审稿人数量标准，而不是在NeurIPS数据上重跑完整流程。

论文质量解释约五分之二到五分之三的分数方差

信噪比rho指潜在分数方差中归因于论文质量的比例，残差方差固定为1。在九个ICLR年度中，它从2021年的0.376 [0.356, 0.396]到2017年的0.583 [0.535, 0.629]，其余年份在0.410到0.481之间。这一幅度与NeurIPS 2014方差分解估计的约50%主观变异一致。

这是最容易被与分歧率混淆的量。Rho描述分数变异中有多少反映论文而非审稿人；分歧率描述两个模拟委员会有多经常得出不同决定。一个年份可以有中等rho，但如果录用决定集中在决策阈值附近，仍会产生大量翻转，这正是论文在2021年发现的情况。

公开数据中没有审稿人身份，因此无法单独估计审稿人严格程度，它被并入噪声项。模型无法区分严厉的审稿人和噪声大的审稿人，这是研究计划中声明的局限。

委员会越小，决定翻转越多

在k=2时，模拟的两委员会分歧率从2017年的22.8%到2025年的30.3%。在k=3时，从19.7%到26.7%；在k=4时，从17.7%到24.2%。从两位审稿人增加到四位，分歧率下降约5个百分点，且各年一致。

在已录用论文中，k=2时30-50%会被独立委员会拒稿。这一翻转概率在2020年（47.9%）和2021年（50.2%）最高，远高于其他年份的30-41%区间。跨年份看，翻转概率与rho的相关系数为-0.74，与录用率的相关系数为-0.83，不过这两个预测变量共线，且九个观测值上的OLS拟合不显著（R2=0.70）。

实际含义是，委员会规模能带来稳定性，但不足以让决定接近确定。即使在四位审稿人时，大约每五篇论文仍有一篇会被第二个委员会给出不同决定。

2020和2021年症状相同但机制不同

2020年使用四点量表{1,3,6,8}，压缩的指纹清晰可见：23.7%的论文在论文内分数方差为零，而其他年份为4.7-13.1%；分数熵为样本最低的1.27；切点间距相对于论文信号为最宽的1.67个标准差。在k=2时，一位审稿人移动一个档位就会使委员会均值移动0.75或更多，使跨越阈值更可能发生。

2021年没有压缩指纹；其零方差比例为九年最低的4.7%。它的机制是低信号加阈值拥挤：rho为样本最低的0.376，且30.4%的已录用论文位于决策阈值0.25以内，为样本最高，中位边际为0.50，为样本最低。高噪声加上大量录用决定紧贴阈值，使第二个委员会很容易翻转结果。

一个反事实分离了量表效应。把2021年的十分制分数按最近邻映射到2020年标准，重新拟合有序概率模型，并在两个世界中都把录用率固定为33.1%重新模拟，结果rho从0.376降至0.345，分歧率上升约7个百分点（k=2：0.301到0.374），已录用论文翻转概率上升约11个百分点（k=2：0.455到0.565），在k=2、3、4上一致。这与观察数据交叉验证：2020年实际rho（0.439）高于2021年（0.376），即2020年潜在噪声更少，但粗量表把其观察到的分歧率抬高到2021年水平（0.268对0.260），并推高了其翻转率（0.479）。

该反事实只运行一个方向，即从2021年到2020年标准，并使用带随机打破平局的阈值决定规则，而非主逻辑回归模型，因为固定的0.5逻辑截断会把反事实录用率压到9.9%。因此效应量特定于该阈值规则标准。

九年增长未显示可归因的审稿噪声趋势

预注册的纵向回归（OLS，n=9）在三个结果上都没有发现p<0.05的显著预测变量。对k=2分歧率：投稿量对数+0.0338（p=0.056），每篇审稿数-0.0581（p=0.103），四点量表指示变量-0.0327（p=0.207），六点量表指示变量+0.0140（p=0.489）。投稿增长、2021年每篇论文审稿人从三位增至四位以及量表变化同时发生，投稿量对数与每篇审稿数的VIF约为5.8，因此无法分离它们的贡献。

对rho按年份做正式趋势检验，斜率为每年-0.0122，p=0.110。功效计算说明了这一零结果的含义：在九个观测值下，该设计仅对每年至少±0.022的斜率（九年窗口约±0.20）有80%功效，而在观察到的斜率上功效为35%。双变量分歧率对年份的趋势名义上显著（k=2：每年+0.0062，p=0.028；k=3：每年+0.0065，p=0.008），但很脆弱：去掉2017年会使k=2的p值升至0.147，去掉2023-2025中任何一年会使其升至0.052-0.080。

论文的结论是，审稿噪声不存在稳健且可归因的时间趋势。k=2分歧率从2017年的22.8%名义上升到2025年的30.3%，无法拆分为投稿量、审稿人数或量表变化的贡献。这是一个诚实的零结果，而非稳定性的证明。

2023年断点检验无法支持LLM归因

对全部九年的论文内标准化分数方差做中断时间序列，未发现2023年断点：水平变化+0.0099（p=0.864），斜率变化-0.0026（p=0.766）。该设计对这一检验几乎没有功效；在80%功效下，它只能检测相对于0.01-0.04基线方差的±0.19水平跳跃，即五到十倍的变化。去掉异常的2020年仍未发现断点（水平p=0.191，斜率p=0.201），不过2023年前的基线斜率本身为正（每年+0.0012，p=0.031），意味着论文内方差在2023年前缓慢上升，但断点处没有跳跃；2023-2025年数值稳定在0.017-0.019。

两项在分析前已验证的数据约束重塑了这一问题。主数据不含审稿文本（134,912条审稿意见中0条非空），也不含置信度值，而唯一的审稿文本来源PeerSum（53,732条审稿意见）止于2022年。因此预注册的聚合LLM占比估计无法运行，也未进行逐条审稿的AI分类。

可以报告的是描述性结果，且仅限于2018-2022年。审稿长度从2018到2021年上升约32%（平均2,316到3,047字符），随后在2022年趋平（3,065）；平均置信度稳定在3.4-3.8，每年中位数均为4.0。这些代理指标都不能归因于LLM；它们可能反映投稿增长、流程变化或量表变化。论文自己的总结是，数据无法支持关于LLM对审稿影响的任何方向结论。

估计量在ICLR上验证，也仅应用于ICLR

方差分解使用35,617篇至少有一条评分审稿意见的论文；496篇无分数论文被排除。有分数的撤稿论文进入方差分解，但被排除在决定模型拟合之外，因为后者需要观察到的结果。在36,113篇论文中，11,213篇被录用，17,426篇被拒稿，7,474篇撤稿且决定未知，所有未知决定都验证为撤稿而非数据损坏。

内部锚点的抽样框与总体接近：锚点论文平均分5.47对5.40，录用率40.1%对39.2%，每篇审稿数4.17对3.75。跨会议泛化被移出主论文，因此估计量在ICLR和NeurIPS锚点上验证，但仅应用于ICLR。

对权衡审稿改革的读者而言，最具决策相关性的比较是量表效应而非时间趋势。在队列、年份和录用率固定的条件下，把评分量表从十分制粗化到2020年四点标准，使模拟分歧率上升约7个百分点，已录用论文翻转概率上升约11个百分点，同时破坏约8%的信号占比。这比九年趋势分析能归因的任何因素都更大且识别更清晰。

本文引用的文献