把雪崩定义为网络内部的事件
这项研究要问的是：用于活体大脑的基于事件的物理，能否也用于人工网络。在生物网络中，神经元雪崩是一阵活动爆发，它扩散开来，然后在下一阵爆发开始前消失。论文通过逐层追踪信号强度（即预激活的范数），在前馈网络中定义了对应的对象。当信号强度升到阈值以上时，一次雪崩开始；当它回落到阈值以下时，雪崩结束。
这一定义给出两个量。雪崩大小是级联经过的各层中高于阈值的信号强度累加值；持续时间是它在降到阈值以下之前穿透的层数。这些都是事件层面的测量，而不是此前工作用来论证深度网络接近混沌边缘的架构层面代理指标，例如李雅普诺夫指数。论文的主张是：把传播分解为离散雪崩，能让裂化噪声理论对学习做出可检验的预测。
雪崩大小与持续时间服从幂律
在偏置为零、权重方差接近临界值的高斯初始化网络中，雪崩大小和持续时间的分布服从幂律。作者用最大似然法拟合指数，并用有限尺寸标度随宽度增大进行外推，得到大小指数和持续时间指数分别趋近约1.34和1.53。这些值接近巴克豪森噪声的参考值，约为1.33和1.50。
更强的检验是关系性的，而不是分布本身的。裂化噪声理论预测，平均雪崩大小应随持续时间按幂律缩放，其指数gamma通过一个特定关系与大小指数和持续时间指数相联系。宽度为1000时，拟合得到的gamma约为1.53，接近预测比值约1.58；在最优重标度值接近1.58时，重标度后的雪崩轮廓坍缩到同一条曲线上。论文把这种坍缩视为真实非平衡相变的证据，而不是偶然的厚尾。
偏置像外场一样模糊临界性
干净的临界点只在零偏置时出现。每个神经元的活动由来自前一层的加权和加上自身偏置构成，论文认为偏置扮演外场的角色：它们使响应倾斜，并消除尖锐的相变。当偏置方差非零时，磁化率不再发散；它在权重方差接近1附近表现为有限峰值。
这产生了两种不同的最优性概念，读者不应把它们混为一谈。混沌边缘由跨输入相关性定义，沿这条曲线，相关深度发散。Widom 类直线则由权重磁化率达到最大值的位置定义。两条曲线只在偏置为零的精确临界点相交，一旦存在偏置就分开；随着偏置方差增大，磁化率峰值缩小，直到这条线消失。论文报告说，可训练性跟随 Widom 类直线，而不是整条混沌边缘。
磁化率比临界性更能预测学习
实际的比较来自在许多组权重方差和偏置方差初始化下训练网络。权重方差接近1时初始化的网络开始具备可训练性，而高训练准确率的区域随偏置方差增大而收窄。在更深的网络中，高准确率区域进一步收窄：隐藏宽度为300、深度分别为200、300、400和500层、在 MNIST 上训练10个 epoch 时，准确率高的区域随深度增加逐步收缩。
关键主张是比较性的。由于混沌边缘上的网络在偏置不可忽略时仍可能训练得很差，接近临界点并不可靠。位于 Widom 类直线上的最大磁化率，在这些实验中是更可靠的学习预测指标。论文把学习描述为与最大但有限的磁化率所构成的准临界平台对齐，而不是与精确的点临界性对齐。这是关于所测试设置中依赖初始化的可训练性的陈述，并不是说训练后的网络在学习之后仍保持临界。
ResNet 落入另一个普适类
分析从高斯初始化的全连接网络扩展到三种 ResNet 变体。由于层宽和操作各不相同，作者使用依赖层的阈值，将其设在平均信号强度之上固定数量的标准差处，并用10000次运行校准阈值，然后对每个模型分析一百万个扰动。雪崩大小随后由各操作中高于该阈值的信号强度计算。
ResNet 的雪崩大小和持续时间分布同样服从幂律，指数关系给出的 gamma 约为2，与平均场有向渗流一致，而不是巴克豪森噪声。在不同阈值设置下，指数保持紧密聚集。论文还报告，改变 BatchNorm 的尺度参数会在数值1附近驱动活动发生急剧变化，磁化率在那里达到峰值，且正处在成功训练区间的起点。作者将此解读为不同架构中可识别出不同普适类的证据；这之所以重要，是因为起作用的可能不只是标度是否存在，还有属于哪个普适类。
有限尺寸与架构限制指数估计
作者承认，有限系统尺寸和子采样会引入截断，使指数估计变得复杂。他们用最大似然拟合和有限尺寸标度来处理这一点，但指出更大规模的分析可以提高置信度。测量还取决于追踪哪个可观测量：研究追踪高斯网络中的预激活和 ResNet 中的模块输出，而后激活、块级传播以及其他候选特征则不在其范围内。
范围还受架构限制。结果覆盖高斯初始化的前馈网络和 ResNet 变体，论文明确邀请在其他深度学习系统中对临界性做更广泛的检验。因此，它提出的诊断量，例如指数关系失配和坍缩质量，是用于所测试设置的工具，而不是已经验证的通用监测指标。
朝磁化率峰值调参，而非混沌边缘
论文最具决策相关性的信息，是优化目标的转变。如果实践者想把一个很深的网络放入可训练区域，证据指向最大权重磁化率所在的位置，而不是整条混沌边缘；这个位置会随偏置方差增大而移动并减弱。论文报告的随深度和偏置方差增大而出现的可训练区域收窄，恰恰在初始化最困难的区域使这一区分更加明显。
作者进一步提出，dropout、谱约束、批归一化、注入噪声和残差深度等标准控制手段，可以被视为让网络在这个准临界景观上移动的参数；指数集合则可能有助于区分运行在不同普适类中的任务或架构。这些是提出的方向，而不是已经证明的结果。可以带走的具体发现更窄：在所测试的网络中，学习与有限最大磁化率构成的准临界平台对齐，而磁化率作为可训练性的预测指标，优于接近临界点。
本文引用的文献
Toward a Physics of Deep Learning and Brains
用于神经元雪崩的裂化噪声方程也能描述深度网络中的活动级联；这些网络在准临界平台上学习最佳，在那里最大磁化率而非接近临界点能预测可训练性。