JEV 在政治学任务上的准确性与校准表现如何？

JEV 返回的是选项概率而非生成文本

JEV 是 TypeSafe 以“System One”模型名义推广的商业模型，这一名称借用了快速、直觉式思维的标签。生成式大模型逐 token 写出文本，研究者再从文本中读出标签或数字；JEV 则接收一段文本（称为“state”）以及一个或多个带固定答案集的问题，返回决策结果和针对所给选项的概率分布。它提供三种输出类型：从用户给定类别列表中选出一项、在带文字描述的量表上给出一个取值、以及二元问题回答“是”的概率。

这一设计影响不确定性的读取方式。无论选项有多少，JEV 都会为研究者提供的每个选项返回一个概率，并四舍五入到两位小数。大模型的 token 概率则定义在可能的下一个 token 上，研究者必须把 token 映射到答案标签、丢弃非标签 token 上的概率质量并重新归一化。闭源 API 还会截断所报告的内容：对 GPT-6 Luna，OpenAI 每个位置最多返回五个最可能的 token，因此在九点量表上有些等级完全得不到概率，而且当模型先推理再作答时不返回任何概率。

论文指出，TypeSafe 未公开 JEV 的架构，因此“模型只读一次 state 并并行评估所有问题”的说法无法直接核实。TypeSafe 将其校准能力归因于一种名为“面向校准决策的强化学习”的后训练方法，称其优化目标是“认知上诚实的概率”。作者指出，校准既取决于模型也取决于数据，因此在某一组文本上校准良好的概率，未必在另一组文本上同样校准良好。

七项已发表复现，以人工编码为基准

该研究重新运行了七项已发表的、评估大模型用于标注、量表化或数据生成的应用，并以每项研究的人工基准作为参照。其中五项是阅读任务，模型会拿到文本；两项是回忆任务，模型只拿到名称，必须依赖其内嵌知识：一项是欧洲政党的意识形态量表化，另一项是复现 V-Dem 在 2023 年 53 个指标上的专家编码。

JEV 通过 OpenRouter 调用（V-Dem 任务使用 TypeSafe 自己的端点），GPT-6 Luna 直接从 OpenAI 服务器调用，Qwen3.8-27B 通过第三方推理服务商以 8 位精度调用。在接口允许的范围内，作者保留了每项已发表研究的任务和提示词措辞，仅删除了 JEV 无法遵循的回复格式指令。

核心比较对象是人工基准，而不是其他模型。相对 GPT-6 Luna 和 Qwen，“更好”或“更差”指配对 95% 区间不包含零，而“略好”或“略差”指 JEV 的估计值更高或更低但区间包含零。作者还提醒，已发表模型是在部分原始研究发布之后才训练的，因此与这些已发表模型的比较可能有利于更新的模型。

JEV 的准确率与两个大模型持平或接近

在这七项应用中，以人工编码为基准时，JEV 的表现与当代商业模型和开放权重替代方案相当。在 V-Dem 回忆任务中，JEV 对每个模型都有小幅但明确的领先：其与 V-Dem 的平均相关系数比 GPT-6 Luna 高 0.05 [0.04, 0.07]，比 GPT-4o 高 0.05 [0.03, 0.06]，比 Qwen3.8-27B 高 0.09 [0.07, 0.11]，比 Llama-3.1 70B 高 0.18 [0.16, 0.20]。

在其他任务上，情况是互有胜负而非全面领先。在政党宣言与立法演讲的复现中，JEV 与基准的相关系数在英国宣言经济议题上为 0.97，社会议题上为 0.92，欧盟演讲补贴议题上为 0.81，按相关性加权后升至 0.86。GPT-6 Luna 在同样三项上分别为 0.98、0.95 和 0.95，Qwen3.8-27B 为 0.97、0.94 和 0.90。配对差距显示，JEV 在三项指标上都低于 GPT-6 Luna，在补贴指标上低于 Qwen，而经济与社会议题上的差距较小。

作者的总结是，在这些政治学情境中，JEV 的文本标注与量表化表现大致相当于中端商业大模型，并在许多情况下相当于可本地运行的开放权重模型。V-Dem 上的领先是 JEV 最明确的单项准确率优势；宣言与演讲的结果则是它最明显落后的情形。

在批量价格下相对 GPT-6 Luna 没有成本优势

TypeSafe 只对输入 token 收费，输出免费，并据此宣传巨大的成本与速度优势，理由是输出 token 单价高于输入 token，而推理模型在作答前可能写出数百甚至数千个 token。作者在每项应用的主要任务上检验了这一说法。

对于短标签分类，账单主要来自输入。在这些任务中，GPT-6 Luna 每个答案约写四个 token，而 JEV 把问题和每个答案选项都计为输入，每个决策计费的输入 token 是 Luna 的 1.2 至 3.3 倍。结果是，在 OpenAI 批量价格下 JEV 并不比 GPT-6 Luna 便宜：Luna 在七项任务中的六项上成本更低，在第七项上大致相当（高 3%）。相对 Luna 的标准价格（即需要立即而非一天内得到答案时适用的价格），JEV 在七项任务中的六项上更便宜。

通过外部服务商 API 运行时，Qwen 比 GPT-6 Luna 和 JEV 都更贵，每个决策的成本是 JEV 的 2.35 至 5.41 倍，且该模型不支持批量处理。不过作者指出，鉴于该模型规模较小，许多学者可以在本地商用机器或大学超算基础设施上运行它，对研究者而言没有成本。JEV 比两个替代方案都快：一次发送一个请求时，它返回每个决策的速度更快，作者称这是明确的速度优势。

JEV 的概率优于 GPT-6 Luna 的 token 概率

在这一文献中，概率有两种不同用途，论文将它们严格区分。第一，概率按每个答案的可能性对文本排序，研究者可据此在语料中筛选稀有类别，或把最不确定的答案交给人工或更强（也更贵）的模型；这要求概率能很好地排序答案，由 AUROC 衡量。第二，研究者可以用概率对每个答案加权以构建连续量表，或把概率当作比率来读；这还要求概率经过校准，由期望校准误差（ECE）衡量。

GPT-6 Luna 的概率分布是起点。在 Di Leo 等人复现的全部政党比较中（N = 347,801），Luna 有 74% 的概率低于 0.01 或高于 0.99，而 JEV 为 18%，Qwen 为 16%。JEV 返回更多中间区间的概率，作者称这正是两个政党意识形态接近时可以预期的结果；Qwen 也是如此，因此近乎确定并非大模型本身的属性。

当每个问题只问一次时，在全部八项带类别型人工标签的阅读任务上，GPT-6 Luna 的校准误差都高于 JEV，作者认为这提示 TypeSafe 的校准主张相对 Luna 可能成立。AUROC 的情况类似：Luna 的 AUROC 在八项任务中的七项上低于 JEV，在另一项上持平。作者谨慎指出，概率分布的差异只是 GPT-6 Luna 校准不佳的提示性而非结论性证据，并直接报告了 ECE 与 AUROC 结果。

这一校准优势对 Qwen3.8-27B 并不成立

与开放权重模型的比较，正是校准结论变得依赖任务的地方。Qwen3.8-27B 的校准与 JEV 的差异随任务类型而变：在四项配对任务上其校准误差更低，在四项标注任务中的三项上更高，在两个攻击类型分支和两项回忆任务上都更高。因此，JEV 的优势相对 Luna 的 token 概率成立，但相对 Qwen 并不稳定；而且在 JEV 确实比 Qwen 校准更好的地方，作者指出差异并不显著。

AUROC 结果呈现同样模式。Luna 的 AUROC 在全部八项任务上都低于 Qwen。在攻击类型任务中，Luna 把概率写在回复里，其 AUROC 在两个分支上都高于 Qwen，且仅在给定编码手册时高于 JEV。JEV 与 Qwen 之间没有稳定差异。

有两个条件会改变校准比较本身。当概率在两个呈现顺序上取平均时，相对 Luna 的差距在开放式调查配对任务上消失；在攻击类型任务上，由于 Luna 把概率写在回复中，差距发生反转。因此，“校准优于 GPT-6 Luna”这一结果特定于每个问题只问一次、且带类别型人工标签的设定，并非该模型的普遍属性。

选 JEV 是为速度和可解析概率，而非成本

论文自身的结论是，JEV 是政治学情境下可用于文本量表化和标注的模型，但在成本或能力上没有足以让它在多数应用中成为明确选择的重大收益。其主要优势在于速度和底层概率易于解析。作者表示，除非研究者有速度需求，JEV 唯一明显的优势就是底层选项概率易于解析。

依赖任务的分野是实际要点。当研究者需要为每个所给选项都得到概率、无需把 token 映射到标签或重新归一化，且任务属于八项带类别型人工标签、每个问题只问一次的阅读任务之一时，JEV 的概率比 GPT-6 Luna 校准更好。当比较对象是 Qwen3.8-27B，或概率在两个呈现顺序上取平均，或模型把概率写在回复中时，这一优势并不稳定。

作者还强调，他们的分析仍然要求研究者像对待其他大模型一样验证 JEV。由于 TypeSafe 未公开架构、训练数据或奖励函数，任何校准优势背后的机制都无法直接核实，而校准既取决于模型也取决于数据。因此论文支持的判断阈值很窄：当速度和可直接解析的选项概率重要时，JEV 是合理选择；在成本上，或在相对本文所测模型的准确率上，它都不是明确选择。

本文引用的文献