条件流匹配能生成逼真的自我中心注视轨迹吗？

注视是随机的，但并非无结构

自我中心注视预测只依据头戴相机拍摄的视频，判断佩戴者看向哪里。论文从一个限制任何单点预测方法的事实出发：即使同一位观察者观看同一场景，也不会精确复现同一条轨迹。因此，更合适的做法是把注视看作轨迹分布中的一个样本，而不是每帧只有一个正确答案。

这种随机性并非毫无约束。论文指出三类共同作用的影响：眼动控制带来的扫视、注视与微扫视交替；自上而下的任务目标，作者指出这类信息常在未来帧中显现；以及对比度、运动等自下而上的视觉显著性。GazeFlow 的设计直接由此而来：对一段视频中所有注视位置的联合分布建模，并以整段视频为条件，而不是逐帧独立预测。

用一次 ODE 传输替代逐帧预测

GazeFlow 建立在条件流匹配之上。一个学习得到的速度场接收高斯噪声样本，逐步把它传输成一条合理的注视轨迹，每个欧拉积分步都评估一次速度网络。用不同噪声样本重复积分会得到不同轨迹，模型正是以此表达注视的随机性，而不是坍缩到单一模式。

速度网络接收两条条件路径。自下而上的特征来自 V-JEPA 2 ViT-L 视频编码器，帧被缩放到 256×256；自上而下的信息来自任务 token 库，该库由这些特征池化后、再用可学习查询向量查询得到。网络内部有六个 DiT 风格模块：注视 token 通过带一维旋转位置编码的时间感知自注意力跨帧交换信息，通过逐帧交叉注意力读取同帧的视觉 token，并通过带门控的交叉注意力读取任务 token。帧间自注意力是跨时间联合结构进入模型的唯一通路。

联合建模与四种预测范式

论文的对比表按所建模的分布把已有方法分类。回归方法用均方误差为每帧预测一个注视点，会把注视坍缩为单一模式。边缘密度估计（如 GLC）为每帧独立预测一张热图，忽略了帧间的时间耦合。自回归方法（如 Attention Transition 和 EgoM2P）把联合分布拆成逐帧条件分布，条件于此前生成的注视，能捕捉时间依赖，但在自回归推演下会累积误差。

GazeFlow 被归入第四类，即分布映射：通过一次以视频为条件的传输采样整条轨迹。附录把这一区别形式化：逐帧分解模型存在一个不可消除的误差，等于各时刻注视位置之间的总相关；只有当给定视频后各帧注视位置条件独立时，该误差才为零。人类注视显然不满足这一条件，因此即使逐帧边缘模型完美，也无法匹配联合轨迹分布。

精度与时间对齐同时提升

在标准数据集 EGTEA Gaze+ 和 Ego4D 上，论文报告的结果是逐帧指标达到最先进水平，且生成的轨迹比先前方法更贴合人类注视的时间动态。这是两个不同的主张：前者关乎逐帧预测精度，后者关乎采样轨迹在时间上跟随注视与扫视结构的程度。论文的论点是，联合建模让两者同时改善，而不是此消彼长。

EGTEA Gaze+ 上的定性比较说明了逐帧这一主张：与 AT、GLC 和 EgoM2P 相比，GazeFlow 预测的热图被描述为紧密集中在真实注视位置附近。骨干网络的选择另有冻结特征上的线性探针支持：V-JEPA 2 ViT-L 在其原生 256×256 分辨率下 AUC 与 Qwen3-VL-8B 持平（0.944），F1（0.378 对 0.370）和精确率（0.292 对 0.280）超过其最佳层，而缩放到匹配的 240×320 输入会让所有指标下降。

从一段视频采样多条轨迹

由于输出是一个分布，一段视频可以产生多条轨迹。论文在失败案例可视化中报告每帧 K=50 条 GazeFlow 预测，展示采样点云的行为，而不是只给出一条路径。这正是随机性主张的实际含义：模型输出是一组合理的注视路径，而不是一个确定性猜测。

训练使用 64 帧片段及其逐帧注视标注。对每个片段，方法采样一个流时间和一个噪声样本，构造朝向数据集轨迹的线性插值，并让速度场回归到逐样本速度。在 EGTEA Gaze+ 上，逐帧有效性掩码把眨眼帧从损失中剔除，但不改变有效帧上的最优解。推理时，超过 64 帧的视频被切成步长为 32 的重叠窗口，每个窗口只编码一次，重叠区域的预测按帧索引线性混合，以保持过渡连续。

预测在何处失效

论文报告的失败模式很具体：片段中包含扫视，且扫视终点落在相机视野之外。一次大幅扫视可在 30–80 ms 内跨越数十个视角，因此在 24–30 fps 的录制帧率下，眼睛可能在一个采样间隔内就离开画面。一旦目标位于视野之外，模型就没有视觉证据可用于支撑预测，因为它只以录制的视频为条件。预测轨迹会停留在可见物体上，而眼动仪报告的注视位置被钳制在图像边界。

第二个适用范围条件关乎建模对象。GazeFlow 以固定输入视频为条件，因此产生该视频的头部运动本身也是条件的一部分。它恢复的分布是残余眼动的分布，而不是多位观察者自由与同一场景交互时产生的完整分布——在后一种情形下，头部运动本身也会随试次变化。联合建模头部与眼动被留作未来工作。

整段视频条件排除在线使用

对部署而言最关键的边界是时间上的。GazeFlow 的预测以整段视频序列为条件，作者指出这限制了它在需要从自我中心视频实时预测注视的场景中的适用性，例如注视引导渲染，因为这类场景拿不到未来帧。论文还训练了一个只看到过去和当前帧的因果变体；它能实现在线注视预测，但精度有所损失。

由此得到的优先判断是按场景划分，而不是一个统一结论。当整段视频可用、目标是准确且时间上逼真的注视轨迹时，联合分布模型是论文推荐的方向，它相对逐帧和自回归范式的优势正是对比表的要点。当必须在线处理帧时，因果变体是相关配置，精度损失就是这一约束的代价。视野外扫视的情形则落在两者之外：无论轨迹建模多强，都无法恢复相机从未记录到的目标，因此作者指向更宽视野的相机或能识别扫视离开视野的模型。

本文引用的文献