以眼动序列构造预测目标
论文的出发点不是新的网络模块，而是自然视觉的一个性质。每次注视只带来一小块高分辨率图像，即一瞥；相邻的两瞥彼此相关：某些场景部件倾向于共同出现，眼动方向也限制了接下来可能出现什么。作者要问的是，网络能否通过预测下一瞥的特征来学习场景结构，而不是靠物体标签或语言描述来训练。
具体来说，GPN接收当前一瞥的嵌入，并预测下一瞥在骨干网络中的嵌入。预测目标不是原始像素，而是由冻结的预训练骨干网络提取的高层特征向量；论文指出，像素级预测需要大得多的生成网络，而且已有研究表明这类预测依赖的特征对高层物体感知没有帮助。训练时只更新GPN参数，使用对比损失：把预测拉向真实的下一瞥，同时推离同一序列中的其他瞥以及其他场景的瞥。
四种变体分离循环与扫视因素
实验设计是2×2比较。循环（R）实现为三层LSTM，隐藏层大小为1024，或实现为同一前向过程但把循环部分置零。扫视信息（S）是从当前一瞥中心到下一瞥中心的二维位移向量。两者都不具备的变体称为B，即基线，由此得到GPN-B、GPN-R、GPN-S和GPN-RS。
瞥序列由DeepGazeIII在COCO场景上采样得到；该模型预测扫视路径，而不只是静态显著性。每个场景生成10条注视序列，每条含7次注视，均从图像中心开始；在注视中心周围裁出91像素的瞥图像块，按论文假设的8.4度视野计算，对应3度窗口。训练使用train-515划分中约11.5万个场景，评估使用special-515场景，即每位参与者在自然场景数据集（NSD）中看过三次的那些场景。测试了三种冻结骨干网络：在ILSVRC上训练的ResNet50、用SimCLR训练的ResNet50，以及DINOv2 ViT。
涌现特征比输入特征对齐更好
核心结果是比较GPN内部表征与它所依赖的冻结瞥特征。在整个视觉皮层中，GPN涌现出的表征在与场景表征的对齐上优于其输入瞥特征，也优于被训练来预测场景物体或描述嵌入的“瞥拼接网络”。在中高级视觉皮层，它们达到或超过了此前报道的最先进腹侧通路模型，包括大规模基础模型。
论文最引人注目的论断涉及共享方差。多种模型——有监督、自监督、纯视觉和视觉-语言——所解释的腹侧视觉皮层以及中顶叶、顶叶区域的方差，在很大程度上被对齐最好的GPN（使用ResNet50-SimCLR骨干的GPN-R）所涵盖。作者将此解释为：共享方差主要取决于GPN-R捕捉到的内容，即场景部件的共现以及跨瞥的整合。他们进一步提出，此前报道的语言模型与大脑的对齐可能主要由共现结构介导，而这正是下一词预测中分布式语义所依赖的同一信号。这是作者的解释，而非单独检验过的因果论断。
显式扫视信息常降低对齐
一个意外结果与“任务相关信息越多、大脑对齐越好”的直觉相反。加入扫视信号往往会降低GPN与NSD场景表征的对齐。这在非循环模型中最为明显：在几乎所有骨干网络上，GPN-S的对齐都差于GPN-B；但在某些循环模型中也出现了同样情况。同样的扫视信息改善了下一瞥预测，因此更好的任务表现并不意味着更好的皮层对齐。
作者提出了几种可能解释，而没有给出定论。GPN-B缺少显式扫视输入，只能通过学习更不依赖位置的场景关联来完成任务——给定一瞥，同一场景中还有哪些内容可能出现——这种关联可能更匹配中心注视的NSD响应。相比之下，GPN-RS可以利用循环和扫视来维持“什么出现在哪里”，这是否有帮助取决于骨干网络。对齐下降也可能反映NSD响应中空间排列信息有限，或GPN与皮层的空间编码不匹配；论文称厘清这些解释是重要的下一步。
共现与排列无需标签即可学到
论文报告GPN成功提取了复杂的场景信息，包括物体共现和空间物体排列，并跨瞥整合信息。这一点重要，因为上述内容都没有被监督：GPN参数完全通过自监督的下一瞥预测训练，没有场景标签、语言监督或神经数据，而骨干网络和DeepGazeIII都是预训练并冻结的。
拼接网络则作为对目标本身的对照。它们使用相同架构但不同输出大小：描述嵌入变体（sGSN）与腹侧视觉皮层的对齐优于物体分类变体（cGSN；平均差0.017，W=0，p=0.0078），复现了此前报道的发现。sGSN的对齐也与一个仅在完整COCO场景上训练的此前报道的循环架构相当，略高一些（平均差0.02，W=0，p=0.0078）。这些检验支持如下主张：塑造对齐的是预测目标，而不只是架构或数据量。
对齐真实存在但并不完整
论文明确指出，即使最好的模型也只解释了参与者之间共享方差的一半不到。对齐是相对于NSD对special-515场景的fMRI响应测量的，因此它涉及的是该数据集和这些区域中的场景表征，而不是对视觉皮层的普遍解释。骨干网络的选择也有影响：带扫视的循环变体的对齐取决于骨干网络；作者还指出，用他们的流程训练骨干网络并未产生有意义的行为或神经对齐，可能是因为COCO约11.5万张图像的多样性低于骨干网络预训练所用的数据集。
对比表格给出了数字背景。在完整场景上，RN50-SimCLR骨干的平均腹侧视觉皮层对齐为0.12，RN50-ILSVRC为0.13；而若干视觉和视觉-语言基线在其最佳对齐层上的范围为0.07至0.19。因此论文的主张是比较性的：GPN的涌现表征达到或超过这些替代模型，而不是说它们完全捕捉了皮层响应。
下一瞥预测作为生物学路径
论文的论证关乎模型被允许使用哪些信号。作者没有去测试为AI性能而设计的更大网络，而是盘点视觉系统在主动视觉中可用的信息，并据此构建目标。GPN的成功被视为证据，表明下一瞥预测是通向大脑对齐场景表征的一条生物学上合理的路径；作者将其归入一个更广泛的原则：通过时间与感觉运动的预测来发现世界结构。
对于评估皮层场景表征模型的读者，这篇论文特有的优先事项是GPN-R与其他模型的比较，以及扫视的反直觉地位。对齐最好的模型是没有显式扫视输入的循环模型，而给模型更多空间信息并未一致改善对齐。这使得不依赖位置的共现信号，而非依赖位置的预测，成为未来模型更有希望的目标；而尚未解释的那部分共享方差仍是需要弥合的差距。
本文引用的文献
Predicting upcoming visual features during eye movements yields scene representations aligned with human visual cortex
仅通过预测人类式扫视路径上下一瞥的高层嵌入来训练的循环瞥预测网络，产生了与人类中高级视觉皮层fMRI响应强烈对齐的场景表征，匹敌或超越其他最先进的人工神经网络模型；对齐最好的变体是不含显式扫视输入的循环模型。