[CVPR 2025] SpikeTrack：脉冲驱动的视觉追踪新范式，能效提升 26 倍

TL;DR

在计算机视觉领域，脉冲神经网络（SNN）因其在类脑芯片上的极低能耗而被寄予厚望。然而，如何在保持能效的同时，在复杂的 RGB 视觉追踪（Visual Tracking）任务中超越传统的人工神经网络（ANN）一直是行业难题。SpikeTrack 提出了一种创新的非对称 Siamese 架构，结合脑启发式的记忆检索模块（MRM），成功打破了这一僵局。

该模型在 LaSOT 等主流数据集上不仅刷新了 SNN 追踪器的准确率纪录，其功耗更是仅为 TransT 等主流 ANN 模型的一个零头（约 1/26）。

痛点深挖：SNN 追踪为何“有形无神”？

视觉追踪要求模型在连续帧中准确感知目标的时空演化。现有的 SNN 追踪尝试主要面临两个窘境：

1. 伪脉冲计算：部分方法（如 SiamSNN）虽然使用了脉冲神经元，但在计算层却将信号解码为浮点数，丧失了 SNN 的稀疏加法优势。
2. 时空结构错位：很多方法直接套用 ANN 的单流（One-stream）双向交互结构，这在脉冲域会导致计算量激增，且未能充分挖掘 SNN 神经元天生的时间建模能力。

核心贡献：非对称架构与记忆检索

SpikeTrack 的核心在于其非对称设计（Asymmetric Design）。

1. 架构解析：非对称时步展开

作者发现模板（Template）需要精细的时空表征，而搜索区域（Search Region）则追求快速响应。因此，SpikeTrack 为模板分支采用了多步展开（T=3），利用 NI-LIF 神经元的膜电位动态捕捉目标特性；而对于搜索区域，则使用单时步（T=1）推理，极大降低了推理能耗。

2. 记忆检索模块 (MRM)：脑启发的感知细化

MRM 模块模仿了大脑视觉皮层在面对遮挡时的“模式补全”机制。它将模板特征转化为一个紧凑的记忆矩阵（Memory Matrix）。搜索分支通过循环连接（Recurrent Loop）多次查询该矩阵，通过三个阶段（全局轮廓编码、细节构建、反馈细化）不断纠正和增强对目标的感知。

实验与结果：全方位碾压

实验结果不仅展示了 SpikeTrack 的性能，更体现了其惊人的能效比。

• 能效对比：在 LaSOT 数据集上，SpikeTrack-B256 的 AUC 达到 67.1%，超过了著名的 TransT，但功耗降低了 7.6 倍。
• 与 SOTA 对比：相比于之前的 SNN 基线（如 SiamSNN），SpikeTrack 在 GOT-10k 上的 AO 分数提升了 38.2%，实现了质的飞跃。

消融分析：MRM 是关键

作者通过消融实验证明，如果将 MRM 替换为普通的交叉注意力机制，性能会显著下降（AUC 下降约 1.1%），这验证了脑启发式循环反馈在处理复杂追踪场景中的独到价值。同时，可视化结果显示（下见图 7），MRM 能够有效抑制背景噪声，在遮挡和干扰环境下保持专注。

深度洞察与总结

SpikeTrack 的成功在于它没有“硬肝”ANN 的复杂结构，而是顺应了 SNN 的物理直觉：利用时间维度换取表征深度，利用单向信息流压低计算冗余。

局限性与展望： 虽然 SpikeTrack 在大多数场景表现优异，但在极度相似物干扰的情况下仍面临挑战。由于脉冲信号本质上是粗粒度的，如何通过脉冲机制传递更细粒度的语义特征将是未来的研究重点。

总的来说，SpikeTrack 为视觉追踪在边缘设备和机器人领域的工程化落地提供了极具参考价值的范式。