免重训边缘视频分析能否用闲置算力提升稀有类准确率？

冻结 VFM 推理留下的算力被重训占用

边缘视频分析运行在只配备少量高能效 GPU 的服务器上，而实时视频流会逐渐偏离轻量 CNN 训练时所依据的数据分布。持续学习（CL）通过周期性标注、剖析和重训已部署模型来应对这种漂移，但这些任务与推理争抢同一块设备。论文的 GPU 时间分解显示了代价：单路服务下，冻结 VFM 仅把 6% 到 47% 的 GPU 时间用于推理，而 CL 系统几乎占满全部 GPU 容量。显存上也存在同样的差距，冻结 VFM 占用 1.5 GB，而 Ekya 为 3.7 GB、AdaInf 为 4.2 GB、RECL 为 4.9 GB、MOCHA 为 4.8 GB。

这些余量之所以重要，是因为它可预测。VFM 推理运行在已知的延迟包络内，因此每个推理窗口中的空闲时间在运行时是已知的，可以用于辅助工作而不违反服务截止时间。论文的准确率对比让这一权衡变得具体：冻结 VFM 在所有测试的并发级别上都保持 88.8% 的平均准确率，且无需任何在线标注、剖析或重训，而 CL 基线随着推理需求增长、留给重训的容量减少而损失准确率。

问题在于 88.8% 的平均值掩盖了什么。部署数据流高度偏斜：Car 和 Person 在每个数据流中都占主导，而四个稀有类各自在标注对象中占比不足 10%。在这种分布上，即使稀有类频繁出错，总体准确率仍可能保持很高，而逐类结果正是如此。

稀有类错误集中在少数混淆对上

在单路服务设置下，冻结 VFM 在 Person 上达到 95.5% 准确率、Car 上达到 98.4%，但 Bicycle 仅 66.8%、Motorcycle 67.2%、Bus 73.1%、Truck 53.8%。这些错误并非均匀分布在各个标签上，而是聚集在少数主导性混淆对中：Truck 被误判为 Car 占 Truck 真值样本的 41.0%，Bus 被误判为 Car 占 Bus 样本的 23.8%，而反方向的混淆要小得多，只有 0.5% 的 Car 样本被预测为 Truck、0.4% 被预测为 Bus。其他稀有类有各自的成对结构，例如 14.8% 的 Bicycle 样本被预测为 Motorcycle，而 Motorcycle 最常与 Person（12.6%）和 Car（10.7%）混淆。

正是这种结构让选择性纠错变得可行。由于大多数预测本身已经正确，提升稀有类准确率并不需要替换或持续重训整个推理模型。论文的论点是，可以把计算只投向那些可能落入这些混淆对的预测，以远低于重训的代价挽回大部分损失的稀有类准确率。

论文还区分了两件读者容易混淆的事。全样本平均准确率与稀有类准确率是分母不同的两种指标：前者在完整的偏斜数据流上计算，后者只在真值标签为稀有类的样本上计算。一个系统可以在前者上表现强劲，却在后者上依然薄弱，这正是 DIALER 所针对的差距。

纠错流水线离线构建，在空闲周期运行

DIALER 针对主导性的稀有类到常见类混淆对，离线预构建多阶段纠错流水线，使用包含丰富稀有类样本的公开精选数据集。这种解耦很重要，因为 CL 依赖传入帧进行重训，而稀有物体在实时流中出现频率太低，无法提供有效监督。冻结 VFM 主干把离线样本和实时帧映射到同一嵌入空间，因此提前准备好的纠错模型可以应用于在线预测。

运行时，DIALER 把纠错候选路由到对应流水线，并在空闲 GPU 余量允许的范围内执行尽可能多的阶段。流水线经过排序，使最早、最廉价的工作带来最大的准确率增益，这正是预算在样本处理中途耗尽时部分纠错仍然有用的原因。一个轻量适配器在缓存的 VFM 特征上运行，更昂贵的精炼阶段只在延迟和显存预算允许时执行。在派发纠错动作之前，DIALER 结合剩余推理时间、可用 GPU 显存和离线执行画像，判断该动作是否预计能容纳；不再容纳的动作连同其依赖工作一起被剪除，受影响的样本保留其最近一次有效预测。

两个设计约束塑造了这种调度。第一，系统必须仅凭推理时信息判断哪些预测值得纠错，因为不加区分地纠错会浪费资源在已经正确的预测上，并可能翻转正确的常见类预测。第二，精炼模型权重保存在锁页主机内存中，并维护一个有限的 GPU 常驻副本缓存，非常驻模型被异步预取，使传输与可执行的纠错工作重叠。

适配器贡献大部分增益，深层阶段增益很小

当算力和显存足以运行每个符合条件的纠错阶段时，仅适配器就把 Truck 准确率从 53.8% 提升到 71.5%，两个精炼阶段分别再增加 0.7% 和 0.3%。在常见类上，Car 和 Person 分别损失 0.8% 和 0.4%，因此稀有类增益只带来很小的常见类退化。跨四个数据流，稀有类平均准确率提升 9.5% 到 15.5%，适配器同样贡献了大部分增益。

纠错深度带来的收益递减，正是论文认为部分纠错有用的必要条件。最廉价的阶段挽回了大部分准确率，每个更深的阶段增益更少，同时覆盖早期阶段无法修复的更难样本。正是这种排序让 DIALER 能在预算紧张时跳过更深阶段，仍保留大部分准确率增益。

论文还在相同的常见类保持约束下，把 DIALER 与更简单的纠错设计进行比较。原型分类器把稀有类准确率提升 3.4%，特征空间 kNN 提升 4.5%，共享 MLP 提升 6.0%，而 DIALER 为 14.0%。论文把这一比较描述为对其分阶段、针对混淆对设计的经验支持，而非普遍优越性的证明。

增益维持到每路余量耗尽为止

在固定服务器上共置更多数据流，是部署中产生争用的方式。并发数增加到十三路之前，稀有类增益几乎不变，因为适配器继续执行几乎全部符合条件的工作，而更深的精炼阶段最先被丢弃。到十四路时，剩余余量连适配器都无法维持，增益降至接近零。

延迟行为也遵循类似的阈值。窗口错过率定义为最终预测在 1 秒截止时间之后才产生的推理窗口比例，在八路之前保持在 1.0% 或以下，随后在十路升至 5.63%、十二路升至 10.67%、十四路升至 42.88%、十六路升至 97.88%。这些错过来自共置数据流之间的动态争用，因为 MPS 并不在它们之间隔离 GPU 资源。DIALER 会在截止时间前丢弃可选的纠错工作，但无法缩短每个数据流都必须运行的 VFM 推理，因此在十四路时，仅服务路径本身已无法跟上。

纠错可迁移到检测和其他主干

分类实验使用预先裁剪好的物体，但部署流水线通常运行检测，其中会出现相同的稀有类混淆：一个定位正确但被识别为卡车的卡车，仍然是稀有类错误。DIALER 在冻结的基于 DETR 的检测器完成其正常选择流水线之后运行，因此既不改变检测到哪些物体，也不改变其边界框位置；它只通过相同的准入准则、适配器和精炼阶段，修正每个检测的预测类别。

在在线分区的原始完整帧上，DIALER 把稀有类 AP 从 42.4% 提升到 49.2%，逐类增益为 Bicycle 5.4%、Motorcycle 9.7%、Bus 5.0%、Truck 7.1%。由于定位未被改动，这些增益完全来自修正识别错误。论文报告该方法在三种 VFM 主干和 Jetson Orin NX 上同样有效，把证据扩展到主要测量所用的单 GPU RTX 3090 配置之外。

离线纠错在哪些情况下失效

DIALER 针对可在部署前识别的主导性混淆对，因此当误判均匀分布在许多类别对上、出现此前未见过的类别，或部署分布漂移远到使当前纠错流水线失效时，其优势会缩小。论文指出这些正是持续学习仍有作用的场景，并把周期性模型更新与选择性纠错相结合视为互补的未来方向。

评估还把全部数据流放在单块 GPU 上，纠错与推理争抢同一设备。论文指出，DIALER 在专用分配下维持纠错的能力远好于 MPS 共享，并提出两个多 GPU 方向：把数据流划分到多块 GPU 以缓解单 GPU 争用，或把纠错模型放在单独设备上，使一个数据流的纠错不再与另一个数据流的推理争用。两者都需要修改预算感知调度器，但不改变纠错流水线本身。

另一个范围条件是纠错模型由公开数据离线准备，因此一旦构建完成，就可以应用于共享同一 VFM 和类别集合的每个数据流。多路实验已经在共置数据流之间复用单一纠错流水线，这意味着服务器可以在不重复离线准备的情况下增加数据流，不过在 MPS 实例之间共享一份模型副本还需要额外的系统支持。

重点在于纠哪些错，而非是否重训

这篇论文支持的决策不是是否放弃重训，而是把免重训推理释放出的算力花在哪里。相关阈值是错误分布的形状：当稀有类错误集中在少数主导性的稀有类到常见类混淆对上时，分阶段纠错能挽回大部分损失，而适配器单独就捕获了其中大部分。当错误分散，或部署分布漂移远到使离线流水线失效时，论文自身的框架指向持续学习。

第二个阈值是每路余量。稀有类增益在十三路共置数据流之前保持，到十四路时崩溃，窗口错过率在八路之前保持在 1.0% 或以下，随后急剧上升。对于判断该方法是否适用的读者，论文证据建议先检查两件事：目标数据流中的稀有类错误是否形成少数主导性混淆对，以及服务配置是否留下足够的每路 GPU 余量让适配器继续执行。适配器是承载准确率增益的阶段，因此它的及时执行率决定了收益能否在争用下存活。

本文引用的文献