一种基于强化学习的自动驾驶决策不确定性估计方法

本发明涉及自动驾驶，具体涉及一种基于强化学习的自动驾驶决策不确定性估计方法。

背景技术：

1、自动驾驶技术，作为近年来的一大创新领域，具有深远的社会影响力，尤其在提升生产效率、增强能源使用效益、以及减少交通事故等方面，其潜力不可估量。然而，要实现自动驾驶，却面临着一个复杂且具有挑战性的决策任务，这是由于自动驾驶系统必须能够应对各种各样的环境，有效地与其他交通参与者进行交互，并处理传感器信息中存在的不确定性。

2、人为预测可能发生的所有情况并编写相应的行为响应，是既复杂又低效的，实际上，几乎是不可能实现的。因此，研究将目光转向了更为科学的机器学习方法，以此训练决策智能体程序。这样的智能体程序，其目标并不仅仅是输出推荐决策，更重要的是，它需要能够估计给定决策的不确定性。

3、在过去的十年里，强化学习技术在多个领域都取得了显著的进步和成功。这种学习方法的普遍性使其相比于非学习型方法更具优势，其广泛适用的特性使得它有潜力在各种驾驶情况中都发挥作用。历史上，强化学习已经被成功地应用于自动驾驶的决策制定过程中。例如，基于强化学习的deep q-network(dqn)方法已经在高速公路驾驶和交叉口等场景中得到了广泛的应用。另外，策略梯度技术则被应用于处理复杂的交通合并情况，而蒙特卡罗树搜索与强化学习的结合也有其独特的优势。有一些前沿研究则进一步推进了强化学习的应用。他们首先在模拟环境中训练决策制定智能体，然后再将其部署到实际的车辆中。这样的方法可以充分借助模拟环境的优势，降低实际操作中的风险。另一些研究则选择针对特定的驾驶情况，在实际车辆中直接进行决策智能体的训练，以期达到更精准的效果。

4、总的来说，强化学习的独特优势使其在自动驾驶的决策制定过程中扮演了重要角色，并且在未来，它可能会对自动驾驶的发展产生更深远的影响。

5、在以往的研究中，通过强化学习训练出的智能体能够在接近训练数据的情况下做出合理的决策，这在一定程度上验证了强化学习技术在决策制定上的有效性。然而，一个明显的问题是，这些智能体无论面临何种情况，都会做出决策，但却不能提供有关决策不确定性的信息，也无法指示它们是否在训练过程中遇到过相似的情况，这样的问题，无疑在一定程度上限制了这类智能体在自动驾驶领域的应用效果。

技术实现思路

1、为解决背景技术中提出的问题，本发明提出一种基于强化学习的自动驾驶决策不确定性估计方法，包括如下步骤：

2、获取智能体相关数据，构建mdp模型，所述mdp模型表示为(s,a,t,r,γ)，其中s是状态空间，a是动作空间，t是状态转换模型，r是奖励模型，γ是折扣因子；

3、构建神经网络模型集合，将状态s输入神经网络模型以获得行动-价值函数q，所述状态s包括自车状态以及周围车辆的状态；所述神经网络的架构包括：输入层，第一卷积层、第二卷积层、最大池化层、第一全连接层、第二全连接层、输出层和合并层；

4、合并层将自车状态和神经网络模型的输出层输出的q值进行合并，得到最终的q值；

5、每个独立的集合成员将q值估计为

6、

7、其中，f和p是神经网络，具有可以进行训练的参数θk和保持固定的参数β为平衡先验函数，k为索引；

8、智能体根据q值选择最优行动，实现不确定性估计或自主驾驶决策。

9、具体地，所述状态空间包括自车状态和周围车辆的状态信息，包括但不限于位置、速度；动作空间包括智能体可以采取的所有行动的集合，包括但不限于加速、减速、保持车道或者变道；状态转移模型为车辆如何在道路上移动；奖励模型根据车辆的行驶速度、与其他车辆的距离等因素来计算奖励；折扣因子的值介于0-1之间，用于衡量未来奖励的重要性。

10、优选地，所述神经网络模型中，输入层接收自车和周围车辆的状态信息，第一卷积层使用32个大小为4的卷积核，第二卷积层使用大小为1的32个卷积核，第一全连接层使用64个神经元，第二全连接层使用64个神经元，输出层的输出结果为每个行动的q值。

11、具体地，所述合并层将自车状态和神经网络模型的输出层输出的q值进行合并，得到最终的q值包括：

12、将自车状态向量和神经网络输出的q值向量连接起来，形成一个新的向量；

13、将新向量输入到一个全连接层中，该全连接层只有一个单元；

14、全连接层的输出即为自车状态和神经网络输出的q值的加权和，其中权重由一个可学习的参数控制。

15、具体地，所述神经网络模型的训练过程如下：

16、s1.初始化神经网络；

17、s2.初始化经验回放缓存；每个经验包括当前状态、采取的行动、获得的奖励、下一个状态和是否终止；

18、s3.选择行动；智能体根据当前状态和q值函数选择一个行动，使用ε-greedy策略，以ε的概率随机选择一个行动，以1-ε的概率选择q值最大的行动；

19、s4.执行行动并观察结果；智能体执行选择的行动，并观察下一个状态和获得的奖励；

20、s5.存储经验；将当前状态、采取的行动、获得的奖励、下一个状态和是否终止信息存储到经验回放缓存中；

21、s6.从经验回放缓存中随机采样一批经验；

22、s7.计算目标q值；对于每个采样的经验，计算目标q值：target q(s,a)＝r+γ*max(q(s',a'))其中，r是获得的奖励，γ是折扣因子，max(q(s',a'))是下一个状态s'下所有可能行动a'的最大q值；

23、s8.计算损失函数；使用目标q值和神经网络估计的q值之间的均方误差作为损失函数更新神经网络的参数，

24、

25、s9.更新神经网络；使用反向传播算法更新神经网络的参数，以最小化损失函数；

26、s10.重复步骤s3-s9，直到达到预设的训练次数或者收敛；

27、使用不确定性阈值判断智能体是否对其决策有足够的信心，当时，表明(s,a)远离了训练分布，则在状态s下的行动a是不安全的，参数的值可以通过观察智能体的性能以及在训练分布内的测试阶段中选定行动的cv(s,a)的变化来确定；当时，表明在状态s下的行动a是安全的。

28、具体地，所述通过完全集成rpf方法训练神经网络具体为：

29、a.初始化θk和为随机值；

30、b.为每一个k，设定一个空的经验集合mk＝{}；

31、c.初始化步数计数器i＝0；

32、d.当网络未收敛时执行步骤e-l:

33、e.从初始状态空间中随机选择一个状态si；

34、f.随机选择一个k～u{1,k}；

35、g.当回合未结束时执行步骤h-i：

36、h.选择行动ai使得qk(si,a)最大；

37、i.执行环境步骤，得到新的状态si+1和奖励ri；

38、j.对于每一个k∈{1,...k}执行步骤k-l：

39、k.如果随机数p～u(0,1)小于padd，则向经验集合mk中添加当前经验：mk←mk∪{(si,ai,ri,si+1)}

40、l.从mk中抽样得到经验集合m，使用随机梯度下降和损失函数l(θk)更新θk；

41、m.步数计数器i自增1。

42、具体地，所述智能体根据q值选择最优行动，实现不确定性估计包括：

43、获取q值的变异系数，也就是标准差和均值的比值cv(s,a)；

44、使用不确定性阈值判断智能体是否对其决策有足够的信心，当时，表明(s,a)远离了训练分布，则在状态s下的行动a是不安全的；当时，表明在状态s下的行动a是安全的；参数的值可以通过观察智能体的性能以及在训练分布内的测试阶段中选定行动的cv(s,a)的变化来确定。

45、具体地，所述奖励模型包括正奖励和负奖励。

46、同时，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的基于强化学习的自动驾驶决策不确定性估计方法。

47、进一步地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于强化学习的自动驾驶决策不确定性估计方法。

48、采用上述方法后，本发明的有益效果为：

49、(1)采用本发明方法的智能体不仅能够有效地估计推荐行动的不确定性，而且能够根据这种不确定性估计在面临未知情况时选择风险较小的行动；这一特性使其在处理自动驾驶等需要面临复杂、不确定环境的任务时具有显著优势。

50、(2)本发明的不确定性估计方法能够作为一种反馈机制，用来识别哪些情况应该被添加到训练过程中，以此优化训练数据的选择，提升训练过程的效率和效果。