HENet++ 如何实现多任务 3D 感知与端到端驾驶？

大编码器与长历史为何难以兼得

论文从基于相机的 3D 感知中一个现实矛盾出发。大图像编码器、高分辨率输入和长时序上下文各自都能提升表征质量和整体性能，但三者同时使用会让训练和推理的计算成本都变得难以承受。第二重矛盾叠加其上：3D 目标检测、BEV 语义分割和占据预测往往需要不同的特征表征，因此单一共享骨干网络的表现通常落后于专门化的单任务系统。

HENet++ 把这两重矛盾当作设计约束，而不是调参问题。它没有让一个编码器覆盖所有帧，而是给不同时间跨度分配不同的编码器；也没有强迫一种特征服务所有任务，而是让两路互补的特征流贯穿整个网络。论文随后用实验衡量这种拆分能否在降低成本的同时保住精度。

近帧用大编码器，远帧用轻量编码器

混合图像编码策略是论文的核心机制。短期帧携带定位目标所需的精细空间细节，由大编码器处理；长期时序上下文主要提供运动和遮挡线索，由轻量编码器处理。这样模型可以同时保留高分辨率空间信息和长历史，又不必对每一帧历史都付出大编码器的代价。

消融实验说明了这一设计为何重要。与单纯提高图像分辨率相比，混合编码在精度更高的情况下推理更快、训练成本更低；与单纯延长时序窗口相比，它在精度更高的同时降低了训练成本。论文还报告，用非极大值抑制把两个基线检测器的输出简单集成反而使性能下降，因为较弱的 BEVDepth4D 引入了额外的误检——可见增益来自编码设计，而不是事后合并输出。

这一比较不限于一种检测框架：把 SparseBEV 与 HENet++ 对比时同样观察到改进，作者据此认为混合编码对基于 BEV 和基于稀疏特征的感知流程都有益。

稠密背景与稀疏前景各服务不同任务

第二个机制是稠密特征与稀疏特征的联合使用。稠密背景特征由占据预测引导，用于较全面地描述场景；来自 3D 检测的稀疏目标中心特征用于精确描述前景实例。论文认为，纯稀疏表征只关注前景元素，可能缺少场景上下文；纯稠密表征则需要额外处理才能提取目标实例，而这一步可能引入误差。

保留两路特征让每个下游任务得到更合适的输入，按作者的说法，还能在预测和规划之前减少累积误差。这是由多任务结果支持的设计主张，而不是单独隔离出来的因果检验，因此应把它读作论文对架构为何有效的解释。

多任务相对单任务训练的精度损失很小

与决策最相关的兼容性结果，是联合模型让出了多少精度。在 nuScenes 验证集上，从单任务训练切换到端到端多任务设置，3D 目标检测下降 0.4 mAP，BEV 语义分割下降 0.5 mIoU，占据预测下降 0.8 mIoU。对一个同时承担三项感知任务以及预测和规划的模型来说，这些降幅很小。

占据预测结果在 nuScenes 验证集上报告，HENet++ 相对其主要基线 FB-Occ 达到最优性能；作者还同时报告 RayIoU 与 mIoU，作为对厚度和可见性膨胀不那么敏感的补充指标。这两个指标回答不同的问题，不能互相替代。

合并单任务权重优于单任务初始化

HENet++ 增加了模型合并预训练步骤：把多个单任务模型的权重合并，用来初始化多任务模型。在一个三任务 ResNet-50 模型上，用不同随机种子重复五次，合并初始化达到 53.8 ± 0.3 NDS、55.3 ± 0.3 BEV mIoU 和 37.6 ± 0.2 占据 mIoU。用检测权重初始化得到 53.6 ± 0.2、54.3 ± 0.5 和 36.2 ± 0.3；用分割权重得到 52.8 ± 0.4、55.0 ± 0.3 和 34.9 ± 0.6；用占据权重得到 53.2 ± 0.2、54.9 ± 0.5 和 37.3 ± 0.2。

作者把这一结果解释为更均衡的起点，可缓解单任务预训练带来的任务偏置。合并系数 α 并不是敏感旋钮：在 0.7 到 0.9 之间性能相当，且落在标准差范围内，因此报告的增益并不依赖对该超参数的精细调节。

规划增益来自组合监督

端到端驾驶模型建立在感知框架之上，同时支持纯视觉输入和雷达-相机输入。它的损失消融显示，决定安全性的不只是架构，还有监督方式。只用规划损失时，在 UniAD 指标下平均 L2 为 1.69、平均碰撞率为 0.52，在 VAD/STP3 指标下为 0.71 和 0.17。加入预测损失后，两组分别变为 1.36 和 0.20、0.58 和 0.10。再加入碰撞感知损失后，变为 1.29 和 0.13、0.55 和 0.05。

两套指标分开报告，是因为它们采用不同的评测协议；论文并未声称二者可以互换。每套指标内部的趋势一致：每增加一项监督目标，轨迹质量都改善、不安全行为都减少，作者将其解读为对稳定端到端学习的互补监督。

雷达输入与碰撞率差距

最受关注的规划比较是碰撞率，而输入配置会改变这一数值。在 UniAD 指标下，仅用相机的 HENet++ 平均碰撞率为 0.17%、L2 为 1.44 m；加入雷达后平均碰撞率降至 0.13%、L2 降至 1.29 m。在 VAD/STP3 指标下，仅相机为 0.06% 和 0.61 m，雷达-相机为 0.05% 和 0.55 m。作为对照，SparseDrive 在 UniAD 指标下报告 0.32%，MomAD 报告 0.30%，SSR 在 VAD/STP3 指标下报告 0.06%。

论文还报告在 NAVSIM 基准上取得高于现有端到端驾驶模型的 PDMS，该基准将其描述为使用闭环指标的开环结果。实际解读是：在论文自己的表格中，雷达-相机配置是更强的配置；碰撞率和 L2 应放在一起看，而不是合成单一安全分数。

结论成立的范围与止步之处

所有感知和规划数字都来自 nuScenes，规划还额外在 NAVSIM 上评测；nuScenes 基准包含 1,000 个场景，按 700 训练、150 验证、150 测试划分，覆盖城市、高速和乡村环境。在接上预测与规划解码器后，端到端系统在不使用 CBGS 的情况下微调了 10 个 epoch，碰撞损失中的距离阈值设为 3 米——读者在与其他训练方式不同的系统比较时应记住这些条件。

论文自身的表述也界定了多任务主张的边界：单任务到多任务的微小降幅是在 nuScenes 验证集上测得的，作者把混合编码定位为兼容多种 3D 特征提取流程，而非通用替代方案。在这些边界之内，证据支持的优先级很清楚：如果目标是用一个模型覆盖检测、分割、占据预测和规划，混合编码加稠密-稀疏设计就是论文给出的答案；而雷达-相机版本应作为与纯视觉基线比较碰撞率和 L2 时的配置。

本文引用的文献