未来视频生成的表征是否更贴合视觉皮层？

检验预测，而不只是观察

大多数脑与视觉模型的对齐研究都在问：模型对所见图像或视频的内部表征，与皮层对同一刺激的响应有多吻合。这篇论文的出发点不同：视觉皮层不只响应已经到达的刺激，还会预测接下来出现什么。若果真如此，一个为生成后续帧而构建的模型，应当比一个为表征已呈现帧而构建的模型更贴合皮层活动。

作者用人类fMRI检验这一点：十名受试者观看1,102段各3秒的自然视频，其中1,000段用于训练、102段用于测试。分析覆盖视觉系统的7,894个顶点，分为五个分区：初级视觉、早期视觉、背侧通路、腹侧通路和MT+复合体。只有噪声上限高于10%的顶点进入分析，因此比较仅限于响应足够可靠、可以建模的皮层位置。

两个模型，差别在时间顺序

比较使用两个视频扩散模型。传统的非自回归模型同时对所有帧去噪，论文称这种做法忽略了时间的因果顺序。自回归（AR）模型则以观察视频为条件生成未来帧，因此其内部状态必须表征刺激如何随时间展开。

这一设计之所以重要，是因为两个模型共享基座架构，作者可以在不混入完全不同模型家族的前提下，比较未来视频生成的表征与观察视频重建的表征。论文先单独分析AR模型，再把它与非AR基座模型比较。

未来生成比观察视频对齐更好

在对AR模型的模型内分析中，用于未来视频生成的表征比观察视频的表征更贴合视觉皮层——尽管模型和大脑接收的是同一段观察视频。论文还报告，在五个分区中的任何一个，观察token都没有在未來视频生成之外带来独特贡献，作者将此视为未来生成才是对齐关键的佐证。

跨模型比较指向同一方向：AR模型中的未来视频生成，比非AR基座模型中的观察视频重建更贴合视觉皮层。报告的效应量不大——图中显示，观察视频的独特贡献约为0.07，未来生成约为0.09，单位为R²/NC——因此这一结论说的是两种表征之间的相对排序，而不是说任一模型在绝对意义上能很好地解释皮层响应。

视觉层级上的分工

更具体的结果在于每种表征对齐的位置。观察视频重建的独特贡献集中在低级视觉皮层，即处理边缘、轮廓和纹理等简单特征的分区。未来视频生成的独特贡献则集中在高级视觉皮层。

作者把这一分工与去噪过程联系起来。未来生成在噪声最大的步骤以及偏早到中部的层对齐最好，论文称这种状态为“未定”：随着去噪推进，未来视频会落到众多可能未来中的一个。观察视频重建则在噪声较小的步骤对齐最好，此时细节被细化。作者将此解读为间接证据，说明视觉皮层尤其是高级皮层承担面向未来的计算，并指出这与贝叶斯式解释一致：神经群体编码的是一系列可能刺激，而非单一预测。

人类偏好跟随神经层剖面

论文没有止步于神经对齐，还加入了一项行为测试。作者用一种方法放大未来视频生成中单个层的贡献，让人类比较生成的视频。参与者更偏好那些放大与视觉皮层对齐更好的层所生成的视频。

这把逐层的对齐剖面与人类对生成视频的判断联系起来，但作者明确指出，这并不是神经对齐如何产生偏好的因果解释。行为结果说明对齐排序有知觉层面的对应物，并不说明对齐导致了偏好。

3秒设计能说明什么

分析框架输入3秒观察视频，生成随后的1秒未来。这一窗口限定了结论范围：论文没有确定大脑在更长上下文或更长时间跨度上如何表征过去与未来。映射还对每段视频在每个皮层顶点只使用一个响应，因此没有把皮层响应的时间进程与AR模型的内部表征随时间的变化作比较。

附录中的进一步比较把未来视频生成与多种视觉模型放在一起。自监督视频模型总体上与视觉皮层对齐最好，但未来视频生成与这些模型的差距在高级视觉皮层收窄——作者把这一模式作为高级皮层存在预测机制的进一步间接证据，而不是作为AR模型在整个皮层上优于自监督模型的证明。

关键发现是层级分工，而非总分

这篇论文最有用的贡献不是一个单一的对齐数值，而是一种分工：观察视频重建对应低级视觉皮层，未来帧生成对应高级视觉皮层；并且在模型内比较和跨模型比较中，未来生成表征都胜过观察视频表征。正是这一排序让预测性框架可以被检验，而不只是听起来合理。

对评估这些证据的读者来说，实际优先事项是看一种表征与哪个皮层分区对齐，而不只看总体对齐。论文自己与自监督视频模型的比较显示，总体排序可能随所考察的皮层层级而反转；而其3秒输入、1秒未来跨度的设计意味着，高级皮层的优势是在短自然片段上确立的，不适用于更长的预测性上下文。

本文引用的文献