稠密适配器留下的计算瓶颈
基于适配器的时序动作检测会冻结十亿参数级的视觉 Transformer 主干，只训练插入其中的小型卷积模块。这让训练成本保持低廉，但适配器仍然读取稠密的 token 网格，因此其开销随完整视频序列增长。论文的出发点是：这种做法没有降低推理阶段的计算量，也就基本没有解决视频长度带来的可扩展性问题。
token 选择是自然的对策：它剪掉信息量低的 token，降低自注意力的二次成本。问题出在结构上。卷积适配器会把 token 重新排成空间特征图，再施加基于网格的卷积，因此删除 token 就破坏了它们所依赖的固定邻域布局。常见做法是把保留的 token 散射回一个填零的稠密张量，做卷积，再收集输出，而这次重建会消耗掉剪枝带来的大部分节省。
卷积只需要邻居，不需要整张网格
论文的关键观察是：一个 3x3 卷积对每个输出位置只需要九个邻居，而不需要整个空间网格。只要在稀疏 token 集合上显式编码这些相邻关系，网格就不再必要。这就是原生稀疏二维卷积的思路，作者把这一基本算子称为 SparseConv2D。
实现方式是一张形状为 N_kept x 9 的邻居索引表，它把每个保留 token 映射到其空间邻居在稀疏列表中的位置，用 -1 标记被剪掉或越界的条目，使其起到零填充的作用。由于 ViT 的 token 位于已知的规则 patch 网格上，这张表用两趟线性过程构建：先建一个从网格坐标到稀疏索引的稠密查找数组，再为每个保留 token 的八个邻居填表。两步都在 CPU 上运行，耗时不到约 3 ms，相对于受 GPU 限制的适配器前向过程可以忽略，而且这张表会在各适配器层之间复用，直到下一次 token 选择。随后自定义 CUDA 核通过这张表收集邻居特征；通道数较大时走基于 cuBLAS 的隐式 GEMM 路径，较小时使用融合的分块核。
稀疏卷积在何处快过稠密卷积
这一基本算子并非在所有情况下都更快。在 THUMOS-14 上的核耗时测试显示，稀疏卷积与稠密卷积在保留率约 55% 时持平；低于该阈值时稀疏卷积严格更快，在 10% 保留率下达到 8 倍加速。稠密卷积在不同保留率下耗时几乎不变，因为它仍然要在整张网格上计算。
这个交叉点很重要，因为 SV-TAD 是逐层剪枝的。token 选择施加在等间隔的块上（ViT-L 为第 4、8、12、16 块），前三个块保留标准二维卷积，因为稀疏在稠密阶段没有收益。当每阶段保留率为 0.6 时，两阶段后有效保留率降到 0.36，四阶段后降到 0.13，因此大多数层都远低于交叉点。节省因此在深度上累积，而不是来自单一层。
精度保持，吞吐量随剪枝提升
在 VideoMAEv2-L 上，把这一基本算子集成进 SV-TAD 适配器框架后，计算量最多降低 64%，推理速度提升 2.2 倍，同时在 THUMOS-14 和 ActivityNet-1.3 上的精度保持当前最优。扩展到 InternVideoNext-L 时，该方法以约一半的计算成本超过了此前的最优结果。
在 THUMOS-14 上用 InternVideoNext-L 做的保留率扫描显示，这种取舍是渐进的，而不是脆弱的。保留率为 0.7 时，模型达到 87.05 TFLOPs、0.42 videos/s、78.22 mAP@0.5 和 74.13 平均 mAP。降到 0.5 时得到 60.13 TFLOPs 和 0.60 videos/s，mAP@0.5 为 76.40，平均 mAP 为 73.00，损失 1.13 个平均 mAP 点。作者据此认为保留率可以按部署预算调整；需要注意，这些吞吐量和精度数字来自一个主干和一个数据集，并非来自所有测试设置。
辅助 token 沿稀疏路径传递
由于稀疏形式从不重建稠密网格，它可以在视觉 token 之外携带额外的任务 token。SV-TAD 加入可学习的辅助嵌入，通过一个轻量交叉注意力模块查询稀疏瓶颈特征，只更新辅助 token，不影响视觉路径。这样，token 选择的重要性分数就能纳入所有辅助 token 的注意力，使保留下来的 patch 偏向与辅助任务相关的区域；当只有类别 token 时，这一形式退化为标准做法。
论文用关键点引导的 token 选择和姿态热图预测在细粒度装配检测上展示了这一能力，并报告在 ATTACH 上取得改进。同一个交叉注意力模块也充当适配器建模时序动态的机制，而类别 token 则作为中继，由冻结的自注意力在下一层传播给视觉 token。
加速在显存上付出什么代价
SV-TAD 与稠密基线 AdaTAD 的峰值 GPU 显存相当。冻结主干的激活占据主要显存，而稀疏核是替换而非叠加卷积分支，只额外增加邻居索引表，在 0.6 保留率下约 0.2 MB。因此在所测试的配置中，报告的吞吐量和 FLOP 降低没有带来显存代价。
有两条边界限定了这一结果。稀疏核只有在保留率低于约 55% 时才快过稠密版本，因此这一基本算子只有在可以接受逐层渐进剪枝时才有收益。此外，CUDA 实现把当前的加速绑定在该后端上，尽管作者称核心算法与架构无关，并指出移植到其他加速器需要替换后端。
为部署选择保留率
这篇论文支持的实践决策不是要不要剪枝，而是剪到什么程度。由于精度随保留率下降而平滑退化，选择就变成预算问题：在报告的扫描中，InternVideoNext-L 上 0.7 的保留率保持了最佳的精度与吞吐量权衡，而 0.5 用 1.13 个平均 mAP 点换来 0.60 videos/s 而非 0.42。55% 的交叉点设定了下限，低于它稀疏卷积就不再划算，而分阶段调度正是把大多数层推过这一下限的机制。
论文的独特主张是：token 选择与卷积适配器不再必须相互取舍。此前的适配器节省了参数，却没有节省推理计算；此前的剪枝节省了注意力，却被迫做稠密重建。SV-TAD 的贡献是去掉了重建步骤的基本算子，这也是为什么报告的节省体现为实际耗时加速，而不只是 FLOP 计数。
本文引用的文献
SV-TAD: Native Sparse Convs for Efficient Temporal Action Detection.
原生稀疏二维卷积让卷积适配器直接在剪枝后的 token 集合上运行，把 VideoMAEv2-L 的计算量最多降低 64%，推理速度提升 2.2 倍，同时在 THUMOS-14 和 ActivityNet-1.3 上保持当前最优精度。