循环网络动力学如何解释自然场景中的知觉分组？

自然场景为何让早期分组模型失效

知觉分组是把空间上分散的图像元素绑定为同一个物体、并把它与周围环境区分开的过程。视觉皮层的第一遍前馈扫描提取边缘、纹理和颜色，并构建越来越抽象的对象信号，但它本身并不指明哪些特征属于同一物体。分组反而要持续数百毫秒，被认为依赖循环交互：从高级区到低级区的反馈，以及区域内的水平连接。

更早的计算模型是为简化刺激建立的，例如均匀背景上的孤立曲线或物体轮廓，其中物体边界是明确给出的。这些模型无法解释自然场景中的人类行为，因为自然物体含有内部轮廓、颜色和纹理，而它们并不是真正的物体边界。因此，这篇论文的问题是：循环网络能否学会在自然图像中分组特征，以及它的时间进程是否与人类知觉相符。

冻结的特征图加上循环分组

这个模型名为 GammaNet，它看到的不是原始像素。它的输入是 Panoptic R101-FPN 最高分辨率的特征图；该网络是一个在 COCO 上预训练的前馈分割网络，训练期间保持冻结。这一输入保留了精细的空间细节并携带语义信息，但它并不说明哪些区域属于同一物体，尤其当图像中有多个同类物体时。

GammaNet 本身是一个循环网络，由四层水平门控循环单元（hGRU）组成，分布在逐渐变粗的空间尺度上，并带有前馈、水平和自上而下的连接。抑制性交互产生环绕抑制，兴奋性交互则让活动在空间中扩散。最低层上的线性读出把活动转换为逐像素的类别标签。网络在 COCO 图像上训练，图像中的物体上放置了提示，采用分割目标：被提示物体的像素获得其类别标签，其余像素为背景。由于该目标掩码规定了提示与每个图像位置的关系，每个训练样本都监督了许多成对的相同—不同判断。训练使用收缩式循环反向传播，这种学习规则在时间上是局部的，不需要存储完整的活动轨迹。

分割精度接近一个规模大得多的模型

在五个独立训练的网络中，预测掩码与真实掩码之间的平均交并比（IoU）为 0.74 ± 0.01（均值 ± 标准误）。IoU 是预测掩码与真实掩码的交集除以并集，因此 1 表示完全重合。作为对比，基于 Transformer 的 Segment Anything Model 在同一批图像上达到 0.81 ± 0.02。

作者把这一小差距归因于规模和训练，而非分组原理：GammaNet 约有 800 万参数，SAM 约有 6.32 亿参数；GammaNet 训练期间约经历 500 万次图像通过，SAM 约为 2300 万次。这一比较之所以重要，是因为它表明该循环模型是一个合格的分割器，而不只是定性演示；接下来分析的分组动力学，是从一个真正解决了任务的网络中读出的。

增强活动从提示处扩散到整个物体

分组最直接的证据来自时间进程。在一张包含两个人的示例图像中，活动在提示附近升高，并沿被提示人物的表征扩散，同时在物体之外保持较低水平，像素也逐渐被标记为属于该人物。同样的扩散出现在所有 hGRU 层中，在更高层以逐渐变粗的分辨率进行。

为了量化这一点，作者在每个时间步比较最低层单元的平均活动：这些单元的感受野落在某个物体上，比较该物体被提示时与另一个物体被提示时的活动。这一差异随时间单调增加，表明被提示物体的表征相对于干扰物逐步增强。训练目标只规定了最终的语义标签，并未规定其时间演化，因此这种渐进扩散是在学习分割自然图像的过程中涌现的，而不是被显式监督的。

先局部边界，后语义反馈

论文的机制解释包含两个相继阶段。早期扩散遵循局部特征和边界证据，因此内部边缘可以暂时阻断分组信号，把属于同一物体的区域分开。随后，更高 hGRU 层中与类别相关的活动使信号能够越过这些内部边缘。网络由此把局部边界证据与高层语义信息结合起来，建立连贯的物体表征。

这解释了为什么更早的基于边界的模型在自然图像上失效：它们把所有轮廓都当作物体边界，没有越过内部边缘的途径。作者把这两个阶段与皮层处理联系起来：对突变特征的早期反应把场景划分为原物体，随后的循环处理使真正的物体边界强于非物体边界。这一映射是作者对模型与视觉皮层关系的解释，而不是本研究中的直接神经测量。

未经反应时训练却预测了反应时

决定性的比较使用了同一批 COCO 图像上相同—不同任务的人类反应时：一个提示标记一个物体，参与者报告第二个提示是否落在同一物体上。四层 GammaNet 解释了这些反应时中 19.7% 的方差（95% 置信区间 12–27%），噪声上限为 19.8%（18.2–21.4%）。关键在于，GammaNet 从未在反应时数据上训练；它只被训练来分割图像，因此这种对应关系来自学习分组任务。

表格区分了回答不同问题的模型。手工设计的 Growth-Cone 模型作用于物体边界，解释了 16.8%（9.4–24%），Mollard 等人对它的神经实现解释了 15.7%（8.5–23%）；两者都在仅含轮廓的图像版本上评估。一个在物体边界上训练的循环网络解释了 6.1%（1.1–11.1%），预训练网络中的亲和度分析解释了 7.3%（2–12%）。一个直接拟合人类反应时的模型达到 20.5%（13–28%），与 GammaNet 在统计上相当（p=0.82）。层数也有影响：三层 GammaNet 只解释了 4.2%（0–8.3%）。

解释的边界与可检验的预测

有两个限制界定了这一结果。GammaNet 的输入来自一个单独预训练且冻结的 FPN，因此该研究并未表明输入阶段与循环分组动力学可以端到端联合学习。此外，模型没有显式表示边界归属信号，即轮廓的哪一侧属于物体；它只是隐式地把边界分配给被选中的物体。

该框架还提出了超出当前模拟的预测。一个模糊的内部边缘若靠近提示，应当延迟分组，因为分组可能在语义反馈到达低级视觉区之前就抵达近处边缘；若该边缘较远，则延迟很小或没有延迟。被提示物体的类别信息应当可以从早期视觉皮层（包括 V1）解码出来，先出现在提示附近，再沿物体的视网膜拓扑表征扩散。这些是可供神经生理和心理物理实验检验的预测，而不是本文报告的结果。

关键在分组动力学而非分割分数

论文最重要的主张是比较训练方式，而不是比较基准精度。一个只被训练分割自然图像、从未接触人类反应时的模型，与一个直接在这些反应时上训练的模型解释力相当（19.7% 对 20.5%，p=0.82），而局限于仅含轮廓刺激或边界训练循环的模型解释的方差明显更少。区别性特征在于，GammaNet 通过自身的循环动力学一次只为一个物体传播分组信号，正如生物对空间延展刺激的分组被认为所做的那样。

结果应当这样读：价值在于增强活动随时间分辨的扩散及其与人类分组时间的一致，而不在于击败专门的分割系统。四层深度是这一主张的一部分，因为降到三层会把解释方差削减到 4.2%。两阶段解释是否在皮层中成立，仍有待作者提出的预测来检验。

本文引用的文献