三个开放模型对照人类评分者
这篇论文要回答的是：在自然电影中，多模态大语言模型（MLLM）能否替代人类，为社交与情绪内容做标注。比较方式很具体：一边是人类对心理理论（ToM）和情绪效价的连续评分，用摇杆在−10到+10的尺度上以4 Hz记录；另一边是三个开放权重模型逐帧生成的评分。这里的ToM指推断角色的信念、意图和欲望，效价指情绪体验从正到负的维度。
三个模型分属两种生成范式。LLaDA-V（8B）基于扩散，通过反复去噪被掩码的词元来生成文本；Qwen3-VL-8B-Instruct和Gemma 3 12B-IT是自回归的指令微调模型，逐个生成词元。它们收到相同的提示模板和评分指令，在基线条件下只看到采样帧，没有前文信息。
刺激材料是三部动画短片：《The Present》（3.3分钟）、《Despicable Me》（10分钟）和《Partly Cloudy》（5.6分钟，无声）。人类评分来自另一批健康年轻成人（34名ToM评分者、42名效价评分者），fMRI数据则来自不同的参与者：《The Present》87人、《Despicable Me》83人，来自Healthy Brain Network；《Partly Cloudy》82人，来自OpenNeuro。这一分离对理解下文所有神经结果都很重要。
效价的一致程度高于心理理论
把三个模型和三部电影合并平均，人与模型的一致程度在效价上为r = 0.434，在ToM上为r = 0.265。九个“模型×电影”组合中有七个落在等值线上方，即与人类效价判断的一致程度高于与人类ToM判断的一致程度。
这种不对称并不均匀。Gemma 3的差距最大：效价上与人类平均一致程度最高（r = 0.485），ToM上最低（r = 0.186），在《Despicable Me》上甚至接近零且略为负相关（r = −0.05）。LLaDA-V和Qwen3-VL呈现同一模式的较弱版本。
作者把这一差距归因于画面中可见的信息：面部表情和场景构图提供了容易获取的情绪线索，而心理状态判断往往需要当前帧之外的信息。他们还指出，模型只看到视觉画面，缺失的对白可能也有影响；在对白丰富的《Despicable Me》上，ToM一致程度最弱，而效价一致程度仍然较高。这一解释是作者的解读，并非单独检验过的机制。
模型彼此之间比与人更一致
总体而言，模型之间的一致程度高于人与模型之间的一致程度。模型使用评分尺度的方式也不同：人类评分集中在−10到+10范围中较窄的中间带，而LLaDA-V和Qwen3-VL倾向于给出比人类更高的分数，在ToM上尤其明显。Gemma 3的评分分布最接近人类，但差异仍然存在。
因此，模型与人类之间相关系数高，并不等于模型复现了人类的评分水平。报告的相关系数衡量的是时间上的一致性，即两条时间序列是否同起同落，而不是它们是否落在量表的同一区间。模型可以跟上人类评分的形状，却系统性地夸大强度。
论文还报告了一个最小二乘拟合，提示ToM一致程度与效价一致程度之间存在负向趋势（y = −0.49x + 0.56，R² = 0.38），但提醒应谨慎解读：它只基于九个非独立观测。
前文场景描述帮助并不均匀
在第二个条件下，模型先生成对更早帧的描述，再把这些描述与当前帧一起加入评分提示。描述数量固定（《The Present》和《Despicable Me》为五条，《Partly Cloudy》为四条），并均匀分布在4、8、12和16秒的回看窗口内。
Qwen3-VL和Gemma 3总体上有所改善或保持稳定，在约8–12秒的中间回看窗口尤其明显。效价上的提升更稳定，《Partly Cloudy》上两项指标都受益。LLaDA-V在各上下文条件下几乎没有改善。
一个例外很有说明性：在《The Present》的4秒上下文条件下，Gemma 3的ToM一致程度明显下降。检查早期帧（约8–11秒）发现，尽管人类ToM评分很低，模型却给出了更强的心理状态归因。有上下文时，模型会引用更早的帧来解释当前场景；没有上下文时，模型则表达出因缺乏上下文而无法判断。作者认为，前文描述有时可能促使模型过度解读模糊场景。由于描述数量固定，更长的窗口检验的是采样上下文能回溯多远，而不是提供了多少上下文。
模型评分能预测留出的脑反应
每个评分来源——人类、LLaDA-V、Qwen3-VL、Gemma 3——都单独用于受试者各自的岭回归编码模型，预测114个感兴趣区（ROI）的BOLD反应，其中100个皮层区域来自Schaefer图谱，14个皮层下区域来自AAL图谱。评分时间序列先按固定的4秒血流动力学延迟平移，性能用预测反应与留出反应之间的Pearson相关衡量，采用以16秒片段为单位的嵌套时间交叉验证。
编码表现随电影、指标和评分来源变化很大。《The Present》的正相关更强，显著编码也更广泛，MLLM评分尤其如此，集中在视觉网络、背侧注意网络和默认模式网络，并额外涉及突显/腹侧注意网络。效价上默认模式网络的参与尤其广泛。
《The Present》还给出了最受关注的计数：MLLM评分达到显著的区域多于人类评分。这一点并未推广到其他电影。在《Partly Cloudy》的效价上，人类评分达到显著的区域多于任何单个MLLM。由于每个来源都是单独与零比较，这些计数描述的是该来源在哪些区域的编码可靠地高于随机水平，并不能说明某个来源比另一个来源更好地预测了脑反应。
共享脑区主要出现在模型之间
空间重叠图显示多个评分来源各自都有显著编码的区域。最广泛的重合出现在《The Present》，其中大部分是MLLM之间的重合，而不是模型与人类之间的重合。
在《The Present》的ToM上，双来源重叠涉及视觉和背侧注意区域，以及默认模式网络和突显/腹侧注意网络的一部分，几乎全部发生在Qwen3-VL与Gemma 3之间。三来源重叠集中在视觉区域（三个MLLM都在此重合），以及双侧后扣带/楔前叶（人类评分与Qwen3-VL、Gemma 3在此重合）。效价上，三来源重叠广泛分布于默认模式网络，并涉及视觉、背侧注意和突显/腹侧注意区域，但除右侧后扣带/楔前叶（人类评分是三个显著来源之一）外，都局限于三个MLLM之间。《The Present》中没有出现四来源重叠。
另外两部电影的重叠在空间上更局限，但人类评分所占的份额更大。在《Despicable Me》中，ToM在右侧颞-枕-顶突显/腹侧注意网络出现一个局部的四来源重叠，这是唯一一个对人类评分和三个MLLM都显著的区域。《Despicable Me》中人类效价评分则没有任何显著区域。
这些标注能支持什么结论
论文自己的表述是：MLLM提供了可扩展、能预测脑活动的社交与情绪内容标注，而与人类的一致程度随模型、指标、电影和时间上下文而变化。实际可读出的结论比“模型理解了社交与情绪内容”要窄：证据支持的是时间上的追踪和高于随机的神经预测，而不是类人的社会理解。
若干限制紧贴这些结果。预测性关联既不能证明类人的社会理解，也不能证明对ToM或效价的特异性，因为两项指标都可能与角色出现、视觉运动或唤醒等更广泛的因素共同变化。单帧画面和场景描述可能遗漏与ToM和效价判断相关的上下文和听觉线索。人类评分来自年轻成人，而影像参与者主要是儿童和青少年，因此人类参照是成人参照。此外，作为行为比较核心的滞后优化相关系数是在同一批数据上选择和评估的，因而存在向上偏差，论文明确将其列为探索性结果；论文报告，相对于未平移的值，滞后调整使相关系数最多改变0.09（中位数0.025）。
一致程度最可信的适用范围
这项研究最站得住脚的优先级是按指标和电影区分，而不是按模型一概而论。效价是更强的目标：跨模型和电影的人与模型平均一致程度为r = 0.434，九个“模型×电影”组合中有七个位于等值线上方。ToM是较弱的目标，最弱的单个案例是对白丰富的《Despicable Me》上的Gemma 3（r = −0.05）。
《The Present》是MLLM评分带来最广泛显著编码、跨来源重叠也最多的电影，但这些重叠主要是模型之间的，因此它证明的是模型之间的趋同，而不是人与模型共享的结构。在人与模型编码确实重合的地方，集中在视觉、背侧注意和后部默认模式区域，右侧后扣带/楔前叶反复作为包含人类的位点出现。
对于考虑用MLLM标注替代人类评分的人，论文自身给出的区分最有用：当目标是情绪效价、且刺激提供了可见的情绪线索时使用它们；把ToM标注视为更弱、更依赖模型的情形；不要把模型之间的一致当作对人类验证。
本文引用的文献
Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
开放权重MLLM对效价的追踪优于对ToM的追踪，其评分能预测留出的fMRI反应，但与人类预测区域的重叠仅出现在有限的视觉、背侧注意和后部默认模式区域。