消融效应小，不能证明奖励作用弱
论文针对认知建模中一种常见做法：先把模型拟合到行为数据，再删除或替换模型输入中的奖励信息，然后把预测变化解读为行为对奖励依赖程度的证据。这一推断假设，拟合模型对信息的依赖方式，与产生这些选择的过程对信息的依赖方式一致。研究要检验的正是：当选择具有序列性时，这个假设是否成立。
序列选择让这一假设变得脆弱。先前选择本身就是先前奖励和持续行为倾向的结果，因此即使预测器拿不到奖励，先前选择仍能携带关于下一次选择的预测信息。于是模型可以仅凭选择历史就预测得很好；而一个固定模型对奖励扰动的响应，可能取决于它的表征、训练分布和具体的扰动方式，而不只取决于生成过程中的奖励权重。
已知生成过程让忠实度可测量
研究构建了两个生成策略完全指定的合成赌博任务。在四臂 restless 赌博任务中，奖励学习成分与带符号的上一选择核混合；在空间相关赌博任务中，5×5 布局上的奖励泛化与停留在上次访问位置附近的倾向混合。七个权重调节两种机制各自的贡献，使行为从由选择历史主导转向由奖励学习主导。
由于生成过程已知，作者可以计算一个 oracle 响应：真实生成策略在同一输入操作下产生的下一选择概率变化。随后用响应忠实度指标给拟合模型打分，衡量模型的概率变化与 oracle 有多接近；该指标在参与者、试次和供体分配上平均模型与 oracle 概率响应向量之间的总变差距离。这与预测准确度是不同的量：后者以 nats 为单位、对参与者等权计算平均选择负对数似然。
无奖励训练与替换奖励是两种检验
设计区分了两种容易混淆的操作。第一种是在省略奖励观测的历史上训练预测器，再把它与使用完整输入的拟合比较留出负对数似然；这衡量的是该流程中奖励访问带来的预测收益。第二种保持已训练预测器的参数不变，换入另一名参与者记录的奖励序列（供体分配），同时保留接收者实际做出的选择。只有第二种操作才是被验证忠实度的消融。
替换是在同一权重条件下对参与者之间的奖励序列做置换，没有参与者被分配给自己，并使用 20 个固定供体分配、在各模型家族间共享。它不是字面删除奖励 token；而且由于所有选择仍来自原始数据，这是教师强制的单步前向评估，不是在改变后的环境中做闭环推演。
不看奖励，神经网络也能预测得好
在 restless 任务中，未观测奖励训练的神经网络模型对留出选择的预测优于四个简单的训练拟合行为基线。这一结果说明，在该任务中，选择历史保留了可观的预测信息。它并不能说明生成过程对奖励依赖很小，因为保留的预测信息与奖励在生成过程中的因果作用是两个不同问题。
论文明确指出，这一比较针对的是拟合流程，而不是生成行为的智能体。仅用选择历史也能表现良好，说明在反馈被扣留时，足以支持预测的信息仍然存在；但它无法确定模型是在恢复推断出的奖励结构，还是在利用选择序列中的其他规律。
准确预测者的响应可能远弱于生成过程
在 restless 任务奖励权重为 1 的匹配供体替换下，oracle 的负对数似然平均增加为每选择 2.07 nats，同家族拟合生成器达到 1.87。池化的 RW + softmax 基线为 1.29，GRU 为 0.46，微调后的 LLaMA 为 0.19，Transformer 为 0.08。所有这些模型都在相同数据和相同供体分配上评估。
这一差距是论文的核心反例。一个模型可以是准确的预测器，但在奖励替换下，其概率响应仍可能远弱于生成其训练数据的过程。作者指出，RW 基线与 restless 生成器共享价值更新这一结构，这可能部分解释了它在该权重下相对较高的响应忠实度。
预测与忠实度的排序随任务分化
这一排序并不是“神经网络用准确度换忠实度”的简单故事。在某些奖励权重下，神经网络比池化强化学习模型预测得更好，但选择概率的变化却不够忠实。在空间任务中，模式发生了变化：LLaMA 的预测表现优于 RW（负对数似然 1.946 对 2.182），响应误差也更低（0.368 对 0.487）；LLaMA 在响应误差上的优势在每个测试的非零权重下都成立，配对参与者自助法区间不包含零。
作者提醒，空间任务是在新的机制组合下对评估框架的复现，而不是零样本迁移，因为每个模型都在空间数据上单独训练。混合权重在两个任务中的含义也不同：restless 策略在 epsilon-greedy 决策前混合效用，而空间策略直接混合两个概率分布。两个任务之间的绝对负对数似然和权重都不应被当作共同的机制单位来解读。
oracle 校准的是响应，不是机制
oracle 为所选检验定义了一个可复现的响应，但它并没有把供体替换变成在活体智能体中改变奖励的因果效应。原始选择保持不变，包括在改变环境下本会改变的选择；供体历史也破坏了动作与奖励的联合结构。因此，这一参照是把模型校准到一个明确定义的条件重放上，而不是一个无分布假设的奖励重要性度量。
与 oracle 一致，是关于可观测响应的证据；不一致本身无法定位负责的潜在计算。论文还指出，模型差异不能只归因于架构，因为预训练、分词、精度、优化以及个体校准信息的可及性在各家族间都不同；更多训练种子，尤其是 LLaMA 微调的种子，会加强稳健性评估。
把消融响应当作机制前先单独验证
论文得出的实际优先级是：把解释目标明确说出来，并独立于拟合来检验它。这意味着要区分“去掉某项输入重新训练”和“扰动一个已训练预测器”；要在共同目标上报告完整输入与扰动后的表现，而不是只报一个孤立的损失差；在有受控模拟器时，要在相同历史和操作下比较概率响应，并同时对照同家族拟合参照和池化简单基线。
最影响判断的一点是：小的消融效应只能支持一个关于拟合预测器在特定协议下对特定操作不敏感的结论。在把这一观察用于推断观察到的选择如何生成之前，响应本身需要单独验证，因为在这些序列任务中，预测准确度与响应忠实度会分离，而且它们的模型排序取决于任务。
本文引用的文献
Better Behavioral Prediction, More Faithful Model Ablations? Evidence from Sequential Choice
在两个生成过程已知的合成序列赌博任务中，神经网络模型可以较好地预测留出选择，但在匹配的奖励替换下，其响应远小于真实生成过程；预测与响应忠实度的排序在两个任务之间也不同。