关于感知不确定性的知识能帮助自动驾驶智能体吗?

给驾驶智能体显式的不确定性信号,可让它在感知受扰动时保持谨慎,同时更快完成任务。

直接答案

能,在这项研究的模拟驾驶任务中成立。用受扰动感知训练的智能体驾驶得较为保守;当同类智能体还额外收到一个 one-hot 信号、标明当前扰动类型时,它会按具体情境调整,总体上更快完成路线,同时仍顾及风险。该结论适用于 CARLA 中一条 150 米直线路线、仅用刹车的控制设定,不适用于真实道路部署。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

不确定性估计很少传到决策端

感知不确定性通常在感知模块内部衡量,例如统计相机图像上的误检率或校准误差。这种不确定性对下一步驾驶动作意味着什么,是另一个问题,而这篇论文针对的正是这一衔接点。它的研究问题是:当强化学习智能体被告知当前感知不确定时,它是否会学会调整行为。

实验设置把两件容易混淆的事分开:感知出错,以及智能体知道自己出错。作者以受控方式扰动智能体的视野,并在部分情景中额外加入描述该扰动的信号。这样就能比较两种情况下的行为:输入不可靠,以及输入不可靠但智能体知道不可靠。

在鸟瞰分割掩码中移除车辆

智能体通过鸟瞰视角的彩色语义分割掩码观察道路,该掩码被展平并灰度化为 100 维视觉分量。另一个 6 维非视觉分量承载油门与刹车强度、速度、归一化速度、朝向以及与车道中心的距离。不确定性分量是一个 4 维 one-hot 向量;当不提供不确定性信息时,该分量是一个空单元素集合。

不确定性通过从掩码中移除自车车道上的车辆来制造。共有四种扰动情形:最近的前车被忽略(VEXV)、后车不可见(XEVV)、两辆前车都不可见(VEXX),以及除自车外所有车辆都不可见(XEXX)。第五种情形 VEVV 显示所有车辆,视为正确感知。由于扰动是人为构造而非估计得来,提供给智能体的不确定性可以精确量化,这正是比较得以受控的原因。

四种情景交叉感知质量与知识

实验把两个二元因素组合成四种情景:感知正确或受扰动,以及不确定性信息缺失或存在。情景 1 是正确感知且无信息,情景 2 是受扰动感知且无信息,情景 3 是受扰动感知且有信息,情景 4 是正确感知且有信息。

每个实验用近端策略优化训练智能体两百万个时间步,根据验证回合选出最佳模型,再在感知扰动下测试。动作空间是 -1 到 1 之间的单个连续值,非负值加速、负值刹车,并用惯性模型对实际执行的动作做阻尼。任务不含转向:在一条 150 米直线路线上尽可能快地行驶,且不与其他道路使用者碰撞。

奖励在速度与耗时之间权衡

奖励不是单纯的速度项。它把智能体朝终点方向的瞬时速度乘以一个随时间线性衰减的因子,因此越早达到的速度权重越高。另有一个常数项不论时间都奖励瞬时速度,以容纳智能体必须减速的情形。

当智能体发生碰撞、超过最大时间限制或未及时起步时,失败会返回负奖励;成功完成则返回正奖励。这一设计对解读结果很重要:如果智能体只是等待其他车辆驶离路线,就会损失奖励,因此各情景之间的比较反映的是速度与避碰之间的真实权衡,而不是只看速度的目标造成的假象。

仅受扰动的感知就会导致保守驾驶

核心行为发现是:由受扰动感知所建模的不可靠观测空间,会让智能体驾驶得较为保守。在受扰动感知上训练并测试、且不提供不确定性信息时,智能体总体上会谨慎行事以避免碰撞。论文报告称,在训练情景上测试时,智能体在三种训练情景中都能完成任务。

更鲜明的对比来自不匹配。当智能体用正确感知训练、却在受扰动感知下评估时,它会持续失败。这一结果说明了扰动实验的价值所在:适应干净输入的智能体在输入变差时并不会简单地减速,而是会失效。因此,受扰动训练条件下的保守行为是对不可靠输入习得的反应,而不是通用的兜底策略。

不确定性信号恢复速度而不放弃谨慎

把不确定性信息直接加入观测空间会改变行为。在受扰动感知上训练、并带有不确定性信息的智能体会按具体情境调整:感知受扰动时更保守,而当不确定性信息表明感知正确时会加快节奏。总体上,这类智能体更快完成任务,同时顾及风险。

承载论文答案的比较因此是情景 2 与情景 3 之间的比较,两者都在受扰动感知上训练。差别不在于智能体是否谨慎,而在于谨慎是否有条件。没有信号时,保守驾驶广泛适用;有了信号,智能体能区分受扰动帧与正确帧,只在感知需要的地方付出谨慎。

仅刹车直线路线未覆盖的情形

证据来自 CARLA 模拟器中的代理任务:一条 150 米直线路线、动态物体,以及不含转向的两动作连续控制空间。不确定性是人为构造且标注完美的,因为扰动类型由构造方式已知。真实的感知不确定性需要估计,估计误差会进入观测,而不是一个干净的 one-hot 向量。

这些条件限定了结论的边界。论文表明,在这一受控驾驶任务中,关于感知不确定性的信息对智能体有帮助;它并未表明某个具体的不确定性估计器在真实传感器数据上也能带来同样收益,也未表明该行为能迁移到转向、路口或更复杂的路线。报告的结果也只是回合内的行为指标,例如失败、行驶距离、所用时间步、与前车距离和刹车频率,而不是安全保证。

有条件谨慎才是值得带走的结论

论文最有用的区分不是不确定性信息让智能体更快或更安全,而是它让谨慎取决于当前扰动类型。在不可靠感知上训练、却没有该信号的智能体,处处都要付出速度代价;获得信号的智能体在感知受扰动处保持保守,在感知正确处恢复速度。对评估驾驶用不确定性估计的人来说,这重新定义了下游测试:问题在于该估计能否让规划器区分不同情境,而不只是它在感知域内是否校准良好。

情景划分也确定了后续工作的优先级。用正确感知训练、在受扰动感知下测试的智能体持续失败,说明对退化输入的鲁棒性并非免费获得,训练条件必须与智能体将面对的部署条件匹配。在这一任务中,不确定性通道正是让这种匹配在速度代价上更低的因素。

本文引用的文献

1

Does Knowledge About Perceptual Uncertainty Help an Agent in Automated Driving?

在 CARLA 代理任务中,受扰动的感知使智能体驾驶保守;加入 one-hot 不确定性信号后,它能按情境调整,总体上更快完成任务,同时仍顾及风险。