流水线两端各有一个效率瓶颈
论文把效率问题拆成两项独立成本。在前端，图像信号处理器（ISP）逐像素把原始 Bayer 传感器数据转换成 RGB，之后视觉模型才能读取；作者称这一预处理计算量大且不可微。在后端，传统视频框架逐帧独立处理高分辨率画面，因此从未利用相邻帧内容大量重复这一事实。
所提框架同时处理这两端。它把 Bayer 数据直接送入网络，并在 Bayer 域训练全部模型，从而把 ISP 从流程中移除。在网络内部，一个名为基于运动估计的视频卷积（MEVC）的模块替换标准卷积，使后续帧复用前面帧的计算。作者将这一思路与两类既有加速方案对比：关键帧/非关键帧双模型方案仍会留下冗余计算；BlockCopy 这类块复制方案决定某个块是复制还是重算，却忽略当前块与参考块之间的差异，因此加速比提高时精度会迅速下降。
运动矢量加稀疏残差替代完整卷积
该机制借用了视频编码的逻辑。对当前帧的每个块，运动估计在参考帧中搜索最相似的块，并记录两项内容：运动矢量，即位置差；残差图，即块间差异。随后，当前帧可以通过沿运动矢量从参考帧预测并加上残差来重建。
论文的关键一步是把这一逻辑用于卷积。由于卷积是线性算子，当前帧的卷积等于运动预测后参考帧的卷积加上残差的卷积。第一项在处理参考帧时已经得到，而残差图通常稀疏，因此校正步骤开销很小。实际运行时，每段视频被划分为图像组；每组第一帧是关键帧，用标准卷积处理，后续帧使用 MEVC 模块。MEVC 只替换卷积层，批归一化和激活层保持不变。
滑动窗口让块匹配对齐卷积几何
必须先解决一个结构错配。传统运动估计使用大的、不重叠的块，而卷积层处理的是由步长定义的重叠小块，卷积核通常很小且多为奇数尺寸，例如 3×3。论文的滑动窗口运动估计把运动估计的块大小与卷积核大小对齐，并以滑动窗口方式在输入帧上搜索，同时把卷积步长纳入搜索，使每个被搜索的块对应一个唯一的输出激活值。
另外两个细节控制开销与稀疏性。匹配使用绝对差之和准则，低于阈值的残差被置零。提前终止规则在候选匹配的残差稀疏度超过预设阈值时结束搜索，示例中给出的阈值是 0.3。预测时，从输入张量估计出的运动矢量会按层步长缩放，使变换后的输出与卷积激活值保持对齐。
搜索范围是主要的用户可控成本参数
论文给出了一个由四个量构成的显式加速比：匹配成功率 α、残差图稀疏度 β、搜索范围 R，以及由卷积层固定的参数，包括步长 s 和输出滤波器数量。项 (2R+1)²/(s²C_out) 表示运动估计开销，因此 R 越大能覆盖的运动越大，但搜索成本按平方增长。α 和 β 由运动估计测得，s 和 C_out 由卷积层固定。
因此搜索范围是实际的决策变量，而不是可以随意设定的参数。报告中的实验使用搜索范围 1、阈值 0.01 和图像组大小 12，所以测得的节省对应这一配置，也对应小窗口能够捕捉到的运动。
分割精度基本保持，GFLOPs 下降约 70%
语义分割在 CamVid 和 Cityscapes 上评估，使用 PSPNet18 和 HRNet-W48 骨干网络，以平均交并比（mIoU）衡量精度，以 GFLOPs 衡量计算成本。在 Cityscapes 上使用 HRNet-W48 时，该方法达到 78.98% mIoU，RGB 对应模型为 79.06%，而 GFLOPs 从 748.68 降到 228.91。在 CamVid 上使用 PSPNet18 时，mIoU 为 69.28%，RGB 为 69.43%，GFLOPs 从 309.02 降到 90.85。
这一模式在四组数据集与骨干网络组合中都成立：精度接近 RGB 基线，PSPNet18 和 HRNet-W48 的 GFLOPs 都下降约 70%。作者还指出，这些节省不包含 ISP 处理，而所有 RGB 域方法都需要 ISP，本流水线则将其消除，因此他们称报告出的效率提升是保守的。
去掉 ISP 也缩短了实测前端延迟
除 FLOPs 外，论文还在 HikRobot 原型上测量了系统级前端延迟。传统 RGB 流水线产生 11.08 ms 的 ISP 延迟和 12.58 ms 的传输延迟，而无 ISP 的 Bayer 流水线完全去掉了 ISP 处理，并把传输延迟降到 5.41 ms，作者将其归因于原始 Bayer 数据比 RGB 数据更紧凑。
论文还汇总了已发表的 ISP 功耗和延迟数据，以说明 ISP 处理带来不可忽视的前端成本：所列器件的功耗从数十毫瓦到数百毫瓦不等，其中一款 Qualcomm ISP 在 1080p→720p 时延迟为 14–16 ms，在 4K→4K 时高达 40–42 ms。这些是引用数据而非本系统的测量值，描述的是被避免的成本，而不是所提模型的精度。
收益取决于搜索窗口能否匹配到运动
效率主张成立的前提是时间冗余既存在又能被找到。加速比取决于匹配成功率 α 和残差稀疏度 β，二者都由运动估计测得，因此相对于搜索范围 1 而言运动过大或对齐不佳的场景匹配率会更低，留下更多残差需要计算。作者明确指出了这一对比：此前省略残差补偿的复用方法对对齐误差敏感，在运动大或未对齐时精度明显下降，而他们的设计在每个卷积层内加入显式残差校正来应对。
评估覆盖使用卷积骨干网络的视频语义分割、深度估计和目标检测，数据包括合成 Bayer 转换数据和真实 Bayer 视频数据集。论文将该框架定位为对原始域表示工作的补充，后者研究原始输入表示与适配，而非卷积计算复用。因此实际解读是有条件的：当运动小到配置的搜索窗口能够覆盖，且前端 ISP 成本正是你想去掉的部分时，超过 70% 的 FLOPs 削减和很小的精度损失才是应当权衡的结果。
本文引用的文献
Leveraging Motion Estimation for Efficient Bayer-Domain Computer Vision
一种无 ISP 的 Bayer 域流水线配合基于运动估计的视频卷积，在视频语义分割、深度估计和目标检测任务上将 FLOPs 削减超过 70% 且精度损失很小，并在原型上消除了 ISP 延迟。