强化学习在现实世界中究竟能实现什么？
强化学习在多个复杂领域已展现出令人瞩目的实际应用成果，但其最有力的证据仍集中于经过精心设计的受控环境中。2024年，研究人员完全在仿真环境中利用无模型强化学习训练了一个人形机器人控制器，并在零额外训练的情况下将其部署至现实世界——该机器人能够在草地、砾石路和柏油路上行走，并在受到推挤后恢复平衡[1]。这表明，当训练环境的随机化程度足以覆盖现实世界的多样性时，强化学习能够实现从仿真到现实的泛化。
在交通领域，一项2023年的研究首次将深度强化学习换道策略部署于真实车辆中，通过采用两阶段模拟器方法实现了安全且类人的决策：低保真模拟器生成大量经验数据，而高保真模拟器则定期验证策略以防止过拟合[3]。该智能体无需额外调参即可在真实交通环境中运行，证明了强化学习能够应对驾驶的随机性特征。
在电梯控制方面，一项2024年的研究利用融合了智能建筑真实交通数据的模拟器训练强化学习智能体；所有经过训练的智能体在等待时间、能源效率等各项指标上均优于传统启发式算法[5]。这表明，在决策空间庞大且动态变化的基础设施系统中，强化学习能够实现优化。
在现实问题中应用强化学习的主要障碍是什么？
最大的挑战在于模拟与现实的差距——在模拟器中运行完美的方案，往往在混乱的现实世界中失效。2023年的换道研究明确指出，此前的深度强化学习研究仅在模拟环境中得到验证，未能解决模拟与现实之间的不匹配、拟人化程度及安全性问题[3]。他们的解决方案是用真实世界数据对模拟器进行参数化，并定期在高保真环境中进行验证，这虽然增加了复杂性，但对于实际部署而言却是必要的。
样本效率低下是另一大障碍。深度强化学习算法通常需要数百万次交互才能达到合理性能，且其早期表现可能极差——这对必须在真实环境中学习的现实任务而言是个难题[8]。为解决这一问题，研究人员开发了基于示范的深度Q学习（DQfD），该方法利用先验示范数据大幅加速学习进程：在42款雅达利游戏中的41款里，DQfD在最初一百万步内便取得了更高分数，而标准DQN平均需要8200万步才能追平这一表现[8]。这表明，若无示范数据支撑，现实场景中的强化学习可能因速度过慢而失去实用性。
高维状态空间与时间错配同样构成挑战。在无线体域网中，传统单层强化学习面临“维度爆炸”与时间错配瓶颈，为此研究者提出分层强化学习架构，将复杂决策问题分解为两个更简单的子问题——上层根据人体姿态与信道统计选择子策略，下层执行具体的功率调整[6]。这种分层方法实现了实时、精细化的功率控制，有效降低了网络能耗。
强化学习何时优于传统方法？
在需要适应性强、长期决策且存在不确定性的问题中，强化学习始终优于传统算法。一项2025年的研究表明，将深度强化学习与遗传算法相结合的混合AI模型，在机器人优化任务中使任务完成时间缩短了25%，在医疗诊断中准确率提升了15%，均优于单独的深度学习模型[2]。该混合模型还将训练时间减少了30%，表明强化学习与其他技术结合时，能够同时提升性能与效率。
针对网约车订单调度，2024年的一项研究将强化学习与量子退火相结合，相较于2018年滴滴调度模型，平均总收入提升了10%，平均客户满意度提高了12%[4]。其中，强化学习组件负责处理高维状态空间与复杂决策，而量子退火则有助于跳出局部次优解，从而找到全局最优方案。
在公共卫生领域，强化学习尤其适用于疫情期间的资源分配、自适应检测策略以及治疗方案制定，因为它能从短期和长期效用两方面评估每个行动——这是传统规则系统无法做到的[7]。该综述指出，强化学习能在改善健康结果的同时减少资源消耗，但由于数据可及性和可解释性方面的挑战，尚未在公共卫生领域得到广泛应用。
本文引用的文献
基于强化学习的真实世界人形机器人运动控制
在仿真环境中通过无模型强化学习训练的因果Transformer，被零样本部署到真实人形机器人上，使其能够在多种户外地形中行走，并具备从干扰中恢复的能力。
使用强化学习优化混合AI模型以解决复杂问题
一种结合深度强化学习与遗传算法的混合AI模型，在机器人任务完成时间上实现了25%的提升，并在医疗诊断准确率上比单独使用深度学习提高了15%。
面向安全且类人战术决策的真实世界强化学习框架
深度强化学习换道策略首次部署于真实车辆，采用两阶段模拟器方法，无需额外调参即可实现安全且类人的决策。
基于直觉推理与量子退火的网约车订单调度算法研究
一种结合强化学习与量子退火的混合架构用于网约车订单调度，相较于2018年滴滴模型，平均总营收提升了10%，客户满意度提高了12%。
强化学习在决策系统中的应用：电梯控制案例研究
基于强化学习的电梯控制策略在使用智能建筑真实交通数据增强的模拟器上进行训练后，在各项指标上均优于启发式算法。
基于分层强化学习的无线体域网功率控制机制
一种用于无线体域网络的分层强化学习架构将高维功率控制分解为两个子问题，实现了实时细粒度调整，从而降低了能耗。
公共卫生中的强化学习方法
强化学习非常适合应对公共卫生中的序列决策问题，例如疫情资源分配和适应性检测，但由于数据可获取性和可解释性方面的挑战，尚未得到广泛应用。
基于示范的真实世界强化学习
基于演示的深度Q学习（DQfD）在42款游戏中的41款上取得了比标准DQN更优的初始表现，而DQN平均需要8200万步才能追上DQfD的性能水平。