一种交通灯控制方法、装置、设备及介质与流程

本发明实施例涉及智能交通，具体而言，涉及一种交通灯控制方法、装置、设备及介质。

背景技术：

1、在城市中心区通常会面临交通拥堵的问题，特别是在出行早高峰和晚高峰等时间段内交通拥堵问题愈发严重。通常，为了避免交通拥堵，智能终端用户会通过地图软件提前选择一条相对不拥堵的路段通行，但这并不能从本质上解决交通拥堵问题。在出现交通拥堵时，交管部门也会派出交警来引导车辆行驶，这种方式虽然能缓解交通拥堵，但需要花费一定的人力资源，效率较低。

技术实现思路

1、本发明实施例提供一种交通灯控制方法、装置、设备及介质，用以自动缓解交通拥堵的问题。

2、第一方面，本发明实施提供了一种交通灯控制方法，包括：

3、对于每个路口，获取该路口在当前时刻的当前交通状态信息以及预测出的下一时刻的车流量信息，其中，当前交通状态信息包括交通信号灯的当前相位状态信息和当前排队车辆的数量，当前相位状态包括如下任意一种状态：南北方向直行指示灯和右转指示灯为绿灯、南北方向左转指示灯为绿灯、东西方向直行指示灯和右转指示灯为绿灯，以及，东西方向左转指示灯为绿灯；

4、根据当前交通状态信息以及下一时刻的车流量信息，并基于交通灯状态预测模型，预测下一时刻交通灯的目标相位状态信息和目标持续时间，其中，交通灯状态预测模型建立了当前时刻的交通状态信息与下一时刻交通灯的相位状态信息和持续时间之间的关联关系；

5、按照目标相位状态信息和目标持续时间，向当前路口的各交通灯发送控制指令，以控制当前路口交通灯的显示状态和显示时间。

6、可选的，交通灯状态预测模型通过如下方式训练得到：

7、对于每个路口，获取t时刻的历史交通状态信息以及预测出的t+1时刻的车流量信息，其中，历史交通状态信息包括该时刻交通信号灯的历史相位状态信息和历史车辆排队数量；

8、根据t时刻的历史交通状态信息以及预测出的t+1时刻的车流量信息，估计与该状态信息对应的各个候选交通信号灯动作的估计值，并从各个候选交通信号灯动作的估计值中选择数值最大的估计值作为t时刻的目标交通信号灯动作的估计值，其中，交通信号灯动作包括交通信号灯的相位状态及其对应绿灯的持续时间；

9、根据t时刻的历史交通状态信息及其对应的目标交通信号灯动作，估计t+1时刻的历史交通状态信息；

10、根据t+1时刻的历史交通状态信息以及预测出的下一时刻的车流量信息，估计与该状态信息对应的各个候选交通信号灯动作的估计值，并从各个候选交通信号灯动作的估计值中选择数值最大的估计值作为t+1时刻的目标交通信号灯动作的估计值；

11、根据t+1时刻交通信号灯动作的最大估计值，以及t时刻目标交通信号灯动作的奖励值，计算t时刻目标交通信号灯动作的目标函数值；

12、根据t时刻目标交通信号灯动作的目标函数值以及t时刻目标交通信号灯动作的估计值，计算交通灯状态预测模型的损失函数的值，当各个批次的训练数据对应的损失函数的值收敛到最小值时，交通灯状态预测模型训练完成，其中，损失函数为：

13、

14、其中，j表示损失函数，b表示模型训练中的批次，st,at分别表示t时刻的历史交通状态信息和交通信号灯动作，r(st,at)表示t时刻目标交通信号灯动作的奖励值，q(st,at；θ)表示t时刻目标交通信号灯动作的估计值，θ表示待训练的交通灯状态预测模型的权重参数，表示用于计算目标函数值的目标网络，表示目标网络的权重系数，st+1,at+1分别表示t+1时刻的历史交通状态信息和交通信号灯动作，γ表示折扣因子，的值表示目标网络计算出的目标函数值。

15、可选的，t时刻目标交通信号灯动作的奖励值通过如下方式得到：

16、根据交通运动压力模型，确定目标交通信号灯动作对应的路口压力信息；

17、根据路口压力信息，并基于动作奖励模型，确定t时刻目标交通信号灯动作对应的动作奖励值；

18、其中，交通运动压力模型通过如下公式表示：

19、

20、其中，i表示第i种交通信号灯动作，pi为交通灯动作i对应的路口压力信息压，nin和nout分别表示进出车道的车辆数，nmax是一条车道上可以容纳的车辆的最大数量；

21、动作奖励模型为：

22、

23、其中，r表示交通信号灯动作对应的动作奖励值。

24、可选的，按照目标相位状态信息和目标持续时间，向当前路口的各交通灯发送控制指令，以控制当前路口交通灯的显示状态和显示时间，包括：

25、按照目标相位状态信息和目标持续时间，控制当前路口的交通灯按照目标相位状态信息显示为绿灯，并将绿灯的显示时间设置为目标持续时间。

26、第二方面，本发明实施例还提供了一种交通灯控制装置，包括：

27、当前交通信息获取模块，被配置为对于每个路口，获取该路口在当前时刻的当前交通状态信息以及预测出的下一时刻的车流量信息，其中，当前交通状态信息包括交通信号灯的当前相位状态信息和当前排队车辆的数量，当前相位状态包括如下任意一种状态：南北方向直行指示灯和右转指示灯为绿灯、南北方向左转指示灯为绿灯、东西方向直行指示灯和右转指示灯为绿灯，以及，东西方向左转指示灯为绿灯；

28、预测模块，被配置为根据当前交通状态信息以及所述下一时刻的车流量信息，并基于交通灯状态预测模型，预测下一时刻交通灯的目标相位状态信息和目标持续时间，其中，交通灯状态预测模型建立了当前时刻的交通状态信息与下一时刻交通灯的相位状态信息和持续时间之间的关联关系；

29、控制模块，被配置为按照目标相位状态信息和目标持续时间，向当前路口的各交通灯发送控制指令，以控制当前路口交通灯的显示状态和显示时间。

30、可选的，交通灯状态预测模型通过如下训练单元训练得到，该训练单元包括：

31、历史交通信息获取子单元，被配置为对于每个路口，获取t时刻的历史交通状态信息以及预测出的t+1时刻的车流量信息，其中，历史交通状态信息包括该时刻交通信号灯的历史相位状态信息和历史车辆排队数量；

32、当前动作估计值确定子单元，被配置为根据t时刻的历史交通状态信息以及预测出的t+1时刻的车流量信息，估计与该状态信息对应的各个候选交通信号灯动作的估计值，并从各个候选交通信号灯动作的估计值中选择数值最大的估计值作为t时刻的目标交通信号灯动作的估计值，其中，交通信号灯动作包括交通信号灯的相位状态及其对应绿灯的持续时间；

33、下一时刻交通信息估计子单元，被配置为根据t时刻的历史交通状态信息及其对应的目标交通信号灯动作，估计t+1时刻的历史交通状态信息；

34、下一时刻动作估计值确定子单元，被配置为根据t+1时刻的历史交通状态信息以及预测出的下一时刻的车流量信息，估计与该状态信息对应的各个候选交通信号灯动作的估计值，并从各个候选交通信号灯动作的估计值中选择数值最大的估计值作为t+1时刻的目标交通信号灯动作的估计值；

35、目标函数值计算子单元，被配置为根据t+1时刻交通信号灯动作的最大估计值，以及t时刻目标交通信号灯动作的奖励值，计算t时刻目标交通信号灯动作的目标函数值；

36、训练子单元，被配置为根据t时刻目标交通信号灯动作的目标函数值以及t时刻目标交通信号灯动作的估计值，计算交通灯状态预测模型的损失函数的值，当各个批次的训练数据对应的损失函数的值收敛到最小值时，交通灯状态预测模型训练完成，其中，损失函数为：

37、

38、其中，其中，j表示损失函数，b表示模型训练中的批次，st,at分别表示t时刻的历史交通状态信息和交通信号灯动作，r(st,at)表示t时刻目标交通信号灯动作的奖励值，q(st,at；θ)表示t时刻目标交通信号灯动作的估计值，θ表示待训练的交通灯状态预测模型的权重参数，表示用于计算目标函数值的目标网络，表示目标网络的权重系数，st+1,at+1分别表示t+1时刻的历史交通状态信息和交通信号灯动作，γ表示折扣因子，的值表示目标网络计算出的目标函数值。

39、可选的，t时刻目标交通信号灯动作的奖励值具体通过奖励值确定单元得到，该奖励值确定单元具体被配置为：

40、根据交通运动压力模型，确定目标交通信号灯动作对应的路口压力信息；

41、根据路口压力信息，并基于动作奖励模型，确述t时刻目标交通信号灯动作对应的动作奖励值；

42、其中，交通运动压力模型通过如下公式表示：

43、

44、其中，i表示第i种交通信号灯动作，pi为交通灯动作i对应的路口压力信息压，nin和nout分别表示进出车道的车辆数，nmax是一条车道上可以容纳的车辆的最大数量；

45、动作奖励模型为：

46、

47、其中，r表示交通信号灯动作对应的动作奖励值。

48、可选的，所述控制模块，具体被配置为：

49、按照目标相位状态信息和目标持续时间，控制当前路口的交通灯按照目标相位状态信息显示为绿灯，并将绿灯的显示时间设置为目标持续时间。

50、第三方面，本发明实施例还提供了一种计算设备，包括：

51、存储有可执行程序代码的存储器；

52、与所述存储器耦合的处理器；

53、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的交通灯控制方法。

54、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的交通灯控制方法。

55、本发明实施例提供的技术方案，通过采用交通灯状态预测模型，可根据当前时刻的交通状态信息以及在当前时刻所预测的下一时刻的车流量信息，预测出下一时刻交通灯的目标相位状态信息和目标持续时间，从而可控制路口交通灯按照目标相位状态信息和目标持续时间进行显示。通过采用上述技术方案，极大地减少了交叉路口的车辆延误和平均停车次数，增加了道路的通行能力，可达到缓解拥堵、增加路网通行效率的目的。

56、本发明实施例的创新点包括：

57、1、通过选用dqn网络作为交通灯状态预测模型，并通过对dqn网络进行训练，可将未来的交通流量用于配时方案，极大地减少了交叉路口的车辆延误和平均停车次数，增加了道路的通行能力，以达到缓解拥堵、增加路网通行效率的目的，是本发明实施例的创新点之一。

58、2、在交通灯状态预测模型的训练过程中，在确定某个时刻目标交通信号灯动作的奖励值时，考虑到了车道的最大承载能力和进出车道的车辆数，使得交通灯状态预测模型的预测结果能够对路口压力进行优化，以减轻该路口的拥堵情况，是本发明实施例的创新点之一。