把理解与回应分开的基准
PsycheMME 是一个视频问答基准，围绕一个具体问题构建：多模态基础模型能否从可观察线索推断人的状态和需求，然后做出适合情境的互动判断？论文认为，识别动作还不够，因为模型还必须解读社交线索并决定下一步做什么。
它的组织思路来自社会信息加工理论和知觉—行动循环，作者用这两者把线索编码与解读，同目标澄清与回应选择区分开来。这一区分是该基准的主要设计选择：它不给出单一准确率数字，而是报告模型在观察社交情境与选择回应之间哪一步失败。
该基准包含来自 630 个视频片段的 1,000 个问题，覆盖八项能力。由于各能力的问题数量不均，论文采用宏平均，而不是让最大的类别主导报告得分。
三个诊断域下的八项能力
八项能力分为三组。人类理解包括社会定位（G），把言语、目光、手势和动作对应到正确的参与者；心理理解（W），推断状态及其可能原因；需求推断（N），识别期望的支持，并区分明确请求、推断出的需求以及接受帮助的意愿。
互动决策包括时机（T），判断应当现在回应、继续倾听、等待还是不作回应；共情言语回应（S），选择回应的内容、策略和语气；具身社会行动（A），选择身体或非言语行为，例如目光、距离、协助或退让。
情境与约束包括互动与画像记忆（M），应用提供的历史信息和个体偏好；风险、边界与自主性调节（R），对照伤害、同意、边界和自主性检查提议的介入。这一区分很重要，因为 N 问的是需要什么支持，而 R 问的是提议的回应是否被允许。
答对为何仍可能只拿部分分数
论文的核心测量是 Reasoning-Verified 协议。它不只给最终答案打分，还根据显式理由是否得到标注线索的支持、以及该理由是否逻辑一致，来加权答案得分。因此，选对选项但理由错误的模型，与理由有支撑的模型不会得到相同分数。
这一设计回应了作者报告的一个观察：正确的回应策略可能用错误时间窗口的线索来论证。总体准确率会掩盖这种失败，而把答案与理由一起评分就能定位它。
该基准还混合了多种题型：890 道选择题，包括单选和多选，以及 110 道开放题。开放题之所以重要还有另一个原因：它们能暴露选择题格式无法显示的回答完整度差异。
独立作答防止候选答案泄露
问题通过一个多智能体流程生成，并刻意做了信息隔离。Question Agent 提出一个问题、候选答案、选项和支持线索。随后 Answer Agent 只使用问题、选项和公开上下文重新查看视频，无法访问候选答案、线索或私有理由，并且可以标记歧义或支持不足。Critic Agent 检查两条路径的可回答性、线索支持和逻辑一致性。
把出题与独立作答分开，可以降低因为某个提议自身的论证听起来合理就接受它的风险。经过两轮改进后仍然失败的问题会被丢弃，一个带基于角色访问控制的共享状态负责执行信息隔离。
随后，五位有心理学背景的研究者独立审查问题有效性、答案正确性和心理学一致性。只有获得一致通过的问题才进入冻结基准，微调数据也与基准问题保持不重叠。
时机判断是失分最多的地方
在 17 个被评估的模型中，Timing 的验证得分最低，得分保留率也最低。得分保留率指原始答案得分在理由验证后还剩多少，因此低值意味着正确的 Timing 答案往往没有得到模型所引线索的有力支持。
论文报告，模型恰恰对正确的 Timing 答案做出了较弱的支持判断。这比“模型不会判断时间”更窄：失败出现在答案附带的论证中，而不只是答案是否正确。
适配实验指向同一方向。在同样的 1,000 个问题上，Qwen3.5-4B Base 的原始得分为 47.68，验证得分为 37.71；监督微调达到原始 72.58、验证 52.13；从该检查点开始的 GRPO 达到原始 73.19、验证 52.62。SFT 提升了多项能力，但经过两个适配阶段后，Timing 仍低于 Base 得分。作者指出，这一比较没有把时间采样效应与训练目标效应分开。
相近的需求得分掩盖回答完整度差异
第二个诊断结果涉及开放题。需求得分相近的模型，在开放题上的回答完整度仍然不同，这意味着需求推断得分相同，并不代表模型给出了同样完整的回答。
这就是该基准单独报告回答完整度、而不把它并入单一能力得分的原因。模型可以识别出相关需求，却只给出部分回答，而选择题格式不会暴露这一差距。
论文还报告，投票可能覆盖正确的少数答案，这对任何聚合模型多次采样结果的人都很重要。当多数错误时，增加样本并不会自动产生更好的答案。
上下文控制与适配改变结果图景
输入控制和历史控制测试性能在多大程度上依赖所提供的上下文。论文报告这些控制揭示了上下文依赖性，并考察了模态变体、单图像变体以及历史干预。
适配比较与 17 个基础模型的评估是分开的。SFT 和 GRPO 都更新 Qwen3.5-4B 语言主干中的 LoRA 参数，同时冻结视觉编码器和多模态对齐器。GRPO 的二值奖励要求答案完全正确并符合回应要求，而证据支持和逻辑一致性得分只用于评估。
由于适配比较使用自己的检查点，并且筛选集与最终评估集不同，其数字应被理解为同一模型内部的适配结果，而不是与 17 个基础模型之间的排名。
录制的互动不等于实时互动
该基准评估的是录制社交互动中的人类中心推理。实时交互场景仍未评估，作者指出评估仍受所代表的社会和文化情境限制。
这一边界对 Timing 影响最大。在录制片段中判断何时开口，与在实时流中行动并不相同，因此低 Timing 得分应被理解为关于离线判断的证据，而不是对部署中对话行为的测量。
作者提出扩展情境和文化多样性、探索流式与交互式评估，并加入更细粒度的人类解释质量评估。在此之前，该基准的价值在于能力层面的诊断，而不是单一排行榜位置。
先看验证画像再看原始得分
对于任何想在该基准上比较模型的人，论文自己的优先级很明确：原始得分与验证得分之间的差距，以及其背后的能力层面画像，比总体得分携带更多诊断信息。原始得分高但得分保留率低的模型，是在没有充分支持答案的情况下答对了。
最具决策相关性的区分是理解与回应选择之间的区分。模型可以定位参与者并推断状态，却仍在 Timing 上失败；也可以与另一个模型在需求得分上持平，却给出更不完整的开放题回答。这些是不同的失败，需要不同的改进。
论文的具体警告是：Timing 是正确答案理由最不充分的能力，也是适配未能缩小差距的能力。当一个模型在总体准确率上看起来具备社交能力时，这里是最该先看的地方。
本文引用的文献
PsycheMME: A Psychology-Informed Benchmark for Social Understanding and Interaction in Videos
在 17 个模型中，Timing 的验证得分和得分保留率最低，而需求得分相近的模型在开放题上的回答完整度仍然不同。