计算机视觉在自动驾驶中能做好什么？
计算机视觉在目标检测和深度估计这两项驾驶核心任务上取得了显著进展。深度学习模型如今能够高精度识别车辆、行人和交通标志，并且图像处理速度足以满足实时应用需求。例如，一种结合坐标注意力与通道剪枝的轻量化框架，将MobileNetV3模型的参数量从1620万减少至990万（降幅达39%），同时在交通标志数据集上的分类准确率从97.09%提升至97.37%[1]。这表明视觉系统在特定任务中既能保持高效性，又能实现高精度。
视觉传感器相比激光雷达等更昂贵的方案也具有优势。摄像头成本低、体积小，并能捕捉激光雷达无法获取的丰富色彩与纹理信息[5]。在深度估计方面，立体摄像头利用视差（两个摄像头视角间的微小差异）来测量距离，而深度学习进一步提升了这一精度[5]。这些能力使视觉成为自动驾驶领域极具吸引力的主要传感器。
计算机视觉在哪些方面仍存在不足？
尽管取得了这些进展，仅凭计算机视觉仍无法应对真实驾驶场景的全部复杂性。2025年一项关于自动驾驶深度学习方法综述明确指出，“自动驾驶技术尚未达到能够保证持续性能、可靠性和安全性的成熟水平”[2]。主要挑战包括恶劣天气（雨、雾、黄昏）下的表现不佳、繁忙路口的处理困难，以及对陌生场景的泛化能力薄弱[3]。例如，一项在仿真环境中测试的分层强化学习方法在晴朗天气下表现平稳，但需要专门训练才能应对雨天和黄昏场景[3]。
另一个局限在于，许多视觉模型是为基准测试而非真实世界的边缘场景优化的。当研究人员对RepVGG模型进行剪枝以降低计算负载时，该模型在三个标准数据集上的平均准确率下降了约0.51%[1]。尽管降幅不大，但在真实驾驶场景中，这种准确率下降可能带来严重后果——例如漏检行人或误判交通标志。当前系统在可解释性方面也存在不足：模型做出特定决策的原因往往不明确，这导致难以信任或调试[3]。
计算机视觉要实现完全自主驾驶，还需要什么？
实现完全自主驾驶可能需要将视觉与其他传感器及更先进的决策系统相结合。当前研究指向两个关键方向：一是将视觉与激光雷达、雷达融合以实现冗余，二是采用分层系统将高层决策（如“左转”）与底层控制（如转向角度）分离[3]。2023年的一项研究提出了一种模块化流程，将语义感知、多层级决策任务与控制相结合，并通过分层强化学习进行训练[3]。与端到端模型相比，该方法提升了学习效率并减少了误差传播，但仍需在仿真环境中训练，且尚未在真实交通场景中得到验证。
三维重建技术通过二维摄像头图像构建环境的三维模型，在自动驾驶等应用中已“足够成熟”[4]。然而，这只是拼图的一部分。更大的挑战在于如何在不可预测的环境中做出可靠决策——人类驾驶员凭直觉就能应对，但机器仍觉得极其困难。除非视觉系统能在所有条件下达到人类级别的感知与反应能力，否则完全自动驾驶仍需人类监督，或与激光雷达、雷达进行传感器融合。
本文引用的文献
基于坐标注意力与通道剪枝的资源受限系统高效轻量级图像分类
一种轻量级框架结合坐标注意力与通道剪枝，在交通标志数据集上将MobileNetV3的参数减少了39%（从1620万降至990万），准确率从97.09%提升至97.37%，但在三个数据集上平均导致RepVGG的准确率下降0.51%。
面向自动驾驶中基于图像的物体检测的前沿深度学习方法：深度综述
一项2025年的调查指出，自动驾驶技术“尚未达到能够确保稳定性能、可靠性和安全性的成熟水平”，在基于二维图像的目标检测方面仍存在挑战。
基于视觉的自动驾驶：一种分层强化学习方法
一种基于视觉的分层强化学习驾驶方法在晴朗天气下表现流畅，但在雨天和黄昏场景中需要特殊训练，这凸显了当前方法在复杂环境中的局限性。
从传统方法到深度学习的3D重建
从二维图像进行三维重建在自动驾驶等应用中已“足够成熟”，但该论文侧重于总结技术问题，而非验证其在现实世界中的可靠性。
基于视觉的自动驾驶环境感知
视觉传感器成本低廉，能捕捉丰富的色彩与纹理信息，深度学习技术也提升了单目和立体摄像头的深度估计能力，但在复杂环境中仍面临挑战。