土耳其决策模型能否不依赖选项顺序给选项打分？

顺序不变性来自选项之间互不可见

ufakzeka-karar 是一个开放的土耳其语决策模型，参数量为 182,494,466，构建在实验室的 ufakzeka-1-base 之上。给定一段土耳其语文本和一个答案类型固定的问题，它会为每个选项返回一个经温度缩放的概 率，并给出一个充当“不确定”信号的期望误差；它不生成文本，最多十个选项可在一次 CPU 前向传播中完成。

标题所问的机制来自架构。一个问题是一条序列：前缀承载文本、“Soru:”和问题，随后每个选项各自成为一个片段。前缀只关注自身，每个选项只因果地关注前缀和自身，从不关注其他选项；每个选项都从前缀之后的位置开始。每个选项的隐状态被均值池化，并由同一个线性层打分，再对选项做 softmax。由于某个选项的 logit 不依赖同批其他选项，模型的顺序敏感度在结构上就是 0.000，仓库在真实权重上的置换检验要求逐位相等。

这一点重要，是因为选项顺序是已知的失效模式。在 HakemBench 的置换探针上，其他被测模型的顺序敏感度从 0.039（Jev 1.13）到 0.590（Laya）。论文自身的对比更鲜明：一个逐个读取选项、并用打乱选项训练的序列式打分头准确率大致相当，但仅改变选项顺序就会改变 2.3% 至 2.8% 的答案。论文只主张更小的那个结论，即顺序不变打分头准确率相当且从不依赖选项顺序，因为序列式打分头在第二轮开发中出现的四点损失在 Run 1 中未能复现。

交叉熵比 REINFORCE 高 10.2 个宏 F1 点

训练目标是对每一行目标分布的交叉熵，在标注者意见不一致处使用软标签；在评分问题上还加上排序概率得分，使偏离两个等级比偏离一个等级代价更高。两者都是严格恰当的。各行按每个任务的自然答案分布加权，不使用强化学习。

消融表给出了这一选择的量级。REINFORCE 对每个问题采样八次，以目标在采样答案上的概率质量作为奖励，在 Run 1 中比交叉熵低 10.2 个宏 F1 点（0.102），95% 区间为 −13.5 至 −6.2，在第二轮中低 12.7 个点。所有校准指标都更差。论文的解释是结构性的：REINFORCE 的期望奖励对概率是线性的，因此其最优解会把全部质量放在一个答案上，而交叉熵的最小化点就是目标分布。

同一张表也显示了哪些做法没有帮助。对简单行降权被否决，损失 2.2 个点。继续预训练 300M token 损失 1.26 个点。使用相同打分头和数据的 MoganBert-TR 在决策任务上损失 0.79 个点，在留出问题上损失 3.37 个点。编码器对比之前主干已被固定为实验室自己的模型，因此这些结果只是报告，并未据此改动。

它在 16 行中排第 7，三个赛道被标记

在 HakemBench v1.0 的开放集上，该集包含 2,346 个条目、七个赛道共 4,275 个问题，发布模型在 16 行中排第 7，综合分为 0.660（95% 区间 0.642 至 0.677）。综合分是三个轴按赛道平均后的等权几何平均：决策质量（宏 F1）、校准（相对于均匀猜测的 Brier 分数）和选择性自动化（相对于每个问题都答错的模型的 AUGRC）。

三个托管聊天模型（Gemini 3.8 Flash、GPT-5.6 Sol、GLM 5.3）和决策 API Jev 1.13 以 0.825 至 0.888 明显领先，Kev 4B 和 Kev 9B 也得分更高。第 5 至第 9 名的区间与该模型自身区间重叠，因此这一区间尚未确定。仅看决策质量，它也落后于 Qwen3.5-4B（0.741）和 DeepSeek V4 Pro（0.761）；在校准上（0.482）接近 Kev 4B（0.503）。

这一排名带有一项会改变解读方式的披露。发布模型是在 HakemBench 上评分的三次运行中的最后一次，其数字并非盲测。第二次运行新增的训练数据针对第一次运行在护栏、内容审核和客户支持三个赛道完整测试集上的错误；发布运行是在读到第二次运行的护栏完整测试集结果之后训练的，其协议在任何数据、代码或运行之前已书面固定。它的护栏、内容审核和客户支持数字带有“受读取测试结果影响”的标记。若所有模型只在其余四个赛道上评分，其综合分为 0.678，在 16 行中排第 6。

温度缩放改善了开发集却损害了留出问题

这里概率就是产品本身：调用方对高于阈值的答案采取行动，其余转交人工，而这只有在概率校准良好时才有效。温度缩放是在验证行的一个拟合部分上按交叉熵拟合的，并在一个选择部分上选取交叉熵最低的形式，在 0.001 以内优先选择更简单的形式。对发布运行，这给出一个全局 T = 1.2614。

结果出现分化。温度缩放在开发集上降低了校准误差（平滑 ECE），但在留出的支持问题上反而升高，第一次评分运行从 0.027 升到 0.045，而该运行从未在这些问题上训练过。发布模型后来在这些问题上训练过，因此其 0.036 至 0.064 不是未见问题测试。论文给出的可能原因是，在轻度过度自信的验证数据上拟合出的温度，会在置信水平不同的问题上过度校正。选择规则在见到留出结果之前就已固定，因此 T = 1.2614 按所选发布；若 T = 1，其留出校准误差会保持在 0.036。在基准上该模型仍有些过度自信，基准事后为它拟合的温度为 1.1733。

校准也因赛道而异。护栏赛道的校准误差最高，平滑 ECE 为 0.158，而其他赛道为 0.025 至 0.084。准确率从客户支持的 0.569 [0.534, 0.605]（1,340 个问题，被标记赛道）和事实核查分诊的 0.640，到内容审核的 0.952。

不确定信号无法可靠捕捉护栏错误

模型返回一个期望误差作为“不确定”信号，它是在选择部分上拟合的等渗映射，误差等于 1 减去目标在模型答案上的概率质量。把置信度读作 1 减去不确定值，阈值 0.9 会让 4,275 个开放问题中的 0.292（1,248 个）通过，其中 0.062 的答案是错的。

在 0.99 时错误率更高，213 个答案中为 0.085。这 213 个中有 148 个是护栏答案，其中 18 个是错的（0.122，Wilson 区间 0.078 至 0.184）；其他赛道在该处没有错误。论文的结论很直接：不能依赖该信号捕捉护栏错误。在客户支持上几乎没有答案达到 0.9（1,340 个中仅 6 个）。这些数字没有计算其他区间。

护栏赛道也是模型自身行为在绝对意义上最弱的地方。它捕捉到 217 次攻击中的 194 次，放行了 201 个无害相似样本中的 128 个。论文指出，所有训练攻击都是模板或简短翻译提示，而唯一处于真实用户语域的护栏文本是 Run 2 的无害样本，这很可能是一种语域捷径。

支持路由低于一个不读语义的基线

按赛道看，最弱之处是支持类的选择题和评分题（准确率 0.490 和 0.481）以及分诊优先级量表（0.500，宏 F1 0.268）。一个表面线索基线只根据长度、数字或问号等线索作答，而不依据语义，它在整个开放集上于支持选择题（0.516 对 0.490）和评分题（0.507 对 0.481）上超过该模型，这部分是样本内结果，因为其线索是在开放集的一部分上拟合的。

在人工检查的 84 个支持问题上，由人工在看不到标签的情况下作答，模型准确率为 0.476 [0.369, 0.583]，低于基线的 0.619 [0.512, 0.714]。三个领先的托管聊天模型和 Jev 1.13 得分为 0.738 至 0.786，DeepSeek V4 Pro 为 0.583。

这一结果旁边有两个范围条件。支持问题属于被标记赛道，而 Run 2 新增的支持问题正是那四个留出问题，留出文件与验证池共享 937 个文本中的 887 个，因此支持不再是泛化测试。它们的标签也来自在同一评分标准下确定基准支持金标的 AI 模型家族，因此那里的支持分数部分是与标注者的一致度。

世界知识薄弱且模型只读土耳其语

在知识考试 MMLU-Pro-TR 上，发布模型略低于随机水平：0.098 [0.092, 0.103]，随机为 0.111。论文明确指出世界知识薄弱。模型只读土耳其语，超过 448 token 的文本末尾会被截断。

外部土耳其语测试集呈现混合图景，论文对哪些数字属于监督学习很谨慎。MASSIVE、MiDe22 和 OffensEval 的数字是监督的，不是零样本，因为它们的训练划分在训练数据中。MMLU-Pro-TR、XCOPA 和 X-FACT 不接触任何训练文本，尽管 X-FACT 的所有土耳其语主张都来自 FACTurk 的来源之一。从 Run 1 到 Run 3，准确率在前四个集合上略有下降，在 XCOPA 和 X-FACT 上上升；每个集合的区间都重叠，且未做配对检验。

还有两个边界属于这里。181 个法院条目和 28 个取自公开提示注入集的护栏条目，是那些训练划分在模型训练数据中的数据集测试划分，因此在这些问题上模型是分布内监督的，而其他模型是零样本作答；其法律路由分数（宏 F1 0.754）和护栏计数应结合这一点来读。大多数训练标签来自 LLM 或规则，没有任何提示注入或相关性标签经过人工检查。

单 CPU 线程 102.5 毫秒与稳健性拆分

模型在单 CPU 线程上回答一个类型化问题的中位时间为 102.5 毫秒。在 Apple M1 上使用一个 PyTorch 线程和 13 个示例问题，每题中位耗时 102.5 毫秒（69.8 至 194.5 毫秒），32 位浮点下峰值常驻内存为 986,038,272 字节。CPU 模型可以运行在调用方自己的机器上，因此文本无需离开本地。

稳健性探针分成两半。模型稳健性值（0.941 [0.917, 0.966]，Jev 1.13 为 0.943）有一半在结构上就是 1.0，因为顺序敏感度为 0.000。在可测量的另一半，即复述一致性上，它为 0.883 [0.833, 0.932]，Jev 为 0.926 [0.889, 0.963]，区间重叠。英语 Brier 差距（土耳其语减英语 Brier 分数；负值表示英语更差）为 −0.303 [−0.377, −0.225]；该模型未针对英语训练。

量化未能通过验收规则。没有任何 int8 文件在宏 F1 上保持在 fp32 所要求的 0.5 个点以内，即使把 24 个前馈下投影矩阵保留为 fp32；动态量化损失 1.42 个点，逐通道 1.61 个点，下投影保留 fp32 为 0.67 个点。损失来自接近平局的答案，因此发布版本为 fp32。权重和代码采用 Apache-2.0 许可。

可信顺序不变性，标记三个被塑造的赛道

论文最站得住的结论正是标题所问的那个。顺序不变性是结构本身的属性，在真实权重上逐位验证，也是论文明确收窄到可复现范围的结果：顺序不变打分头准确率相当且从不依赖选项顺序。相对 REINFORCE 的 10.2 个宏 F1 点差距是第二个经受住自身消融协议的结果，其比较选项、度量和决策规则在每次消融运行前都已书面固定。

基准排名需要另一种解读。综合分 0.660（16 行中第 7）和四赛道综合分 0.678（16 行中第 6）都不是盲测数字：发布模型的每个数字都出现在读取前几次运行的测试结果之后，护栏、内容审核和客户支持带有“受读取测试结果影响”的标记。论文还指出，榜单区间是对条目重采样，但模型在一次生成请求中写出的条目彼此相关，因此区间很可能过窄。

对决定是否使用该模型的读者，论文自身的变量给出了分界。如果需求是一个土耳其语类型化决策模型，其答案在选项重排时不会改变，并且在单 CPU 线程上约 102.5 毫秒运行，那么该结构能满足。如果需求是支持路由，模型在 84 个人工检查的支持问题上低于表面线索基线（0.476 对 0.619）。如果需求是护栏上可靠的“不确定”信号，该信号会漏掉这些错误：在 0.99 阈值下，213 个答案中有 148 个是护栏答案，其中 18 个是错的。顺序不变性主张是可以依赖的基础；被标记的赛道则是在信任之前需要重新测量的部分。

本文引用的文献