一种基于强化学习的路面交通信号灯协调控制方法
【技术领域】
[0001] 本发明涉及一种路面交通信号灯控制方法，尤其涉及一种基于强化学习的路面交 通信号灯协调控制方法。
【背景技术】
[0002] 交通是现代社会的基础，是人类社会经济的命脉，人们的社会行为与交通息息相 关。一个城市中，机动车、非机动车保有量大，路口和路段情况纷繁复杂，要处理这样一个规 模庞大、动态、具有高度不确定性的分布式系统，进行有效的控制，是一件十分复杂的工作。 在不新增交通道路的情况下，通过合理的交通控制，提高道路的利用效率，进而提高交通通 行效率是快速解决城市交通问题的一种有效途径。
[0003] 然而，现在交通拥挤、堵塞现象日益严重。导致交通问题的原因，一方面是由于车 辆越来越多，交通规划与设计滞后，另一方面在于很多交通信号控制系统较为落后，交通信 号灯未能很好地根据实时交通情况调节交通流量，起到提高交通通行效率的作用。通过计 算技术和机器智能帮助解决交通问题愈来愈受到人们的重视，已经成为趋势。
[0004] 近年来，大量路面交通监控设备投入使用，实时交通视频数据不间断地传输给交 通管理部门。如何充分利用好这些交通视频数据，改进路面交通信号灯的控制，以提高路面 交通通行效率，已经引起了越来越多的关注。
[0005] 目前已经有一些智能交通控制系统得到了应用，但在实际交通控制所面临的一个 交通区域片内相邻交叉路口间的拥堵问题没有得到很好地解决。区域路面交通协调控制 能较好地处理这个问题。区域路面交通信号灯控制，通过考虑一个交通区域内多个路口的 交通通行情况进行交通信号灯控制，可以获得比仅仅考虑单个路口的交通通行情况就进行 交通信号控制更高的交通通行效率。如"绿波带"式的路面交通信号灯控制方法就是在指 定的交通线路上，当规定好路段的机动车车速范围后，要求信号控制机根据路段距离，把机 动车所经过的各路口绿灯起始时间，做相应的调整，这样一来，以确保机动车到达每个路口 时，正好遇到"绿灯"，从而使该线路的机动车获得最高的交通通行效率。
[0006] 然而该方法无法根据实时路面交通状况作出实际的调整，使得区域路面交通信号 控制无法发挥其优势，形同虚设。例如，在早高峰及晚高峰时，需要考虑的因素较多，如公交 车车站附近公交聚集，学校附近车辆行人在上学和放学时爆增，等等。这些因素会造成某些 路口通行不畅，甚至瘫痪。目前，很多交通管理部门只能依靠人力的方式现场指挥，直接手 动控制信号灯的变化。而人工方式管理交通信号灯容易造成疏漏；同时，人工方式管理交通 信号灯一般只能管理单个路口的信号灯，很难做到区域信号灯的协调控制，很可能是交通 参与者虽然通过了某个路口，但是由于前方交通流量大，导致仍然遭遇拥堵的尴尬局面。若 此时考虑区域交通协调，停止放行很可能是最佳方案。因此，如何最大化利用目前现有的实 时交通视频数据及设备，实现区域交通协调控制，实时适应路况变化，减轻交通管理部门的 工作量，缓解交通拥堵状况，是我们目前急需要解决的问题。
【发明内容】
[0007] 本发明目的是：提供一种基于强化学习的路面交通信号灯协调控制方法，通过采 集实时视频数据，以车辆状态迀移为基础，自动调节与控制某一区域的交通信号灯，提高交 通参与者通行的效率，缓解交通拥堵情况，进而减轻交通管理部门的工作量。
[0008] 本发明的技术方案是：一种基于强化学习的路面交通信号灯协调控制方法，包括 对应每个路口设有监控设备，每一所述监控设备经网络模块与远程服务器连接，其控制方 法为：
[0009] ⑴远程服务器通过接收监控设备发送的视频信号，计算对应路口每个道车上车辆 的等待时间S，该等待时间为车辆在红灯和绿灯情况下停车时间；
[0010] ⑵将交叉路口每个红-绿灯对应车道通行方式的组合作为一个相位状态B1，远程 服务器在每个相位状态&1下，根据步骤⑴中得出的等待时间分析获得道路拥堵情况；
[0011] ⑶根据当前相位状态&1下，其绿灯可通行车道的车流通行情况，远程服务器获得 该相位状态％下的可行度，当车流可以通过时表示为通畅，可行度C4,为1，否则为拥堵， 可行度c(,,:为0 ;
[0012] ⑷远程服务器通过步骤⑴中获得的等待时间S以及步骤⑶中获得的可行度， 分析判断出该路口各个相位状态S1下的行车情况，通过一定时间行车情况数据的记录及更 新，由程序软件分析计算出在该路口最优行车相位状态a1;
[0013] (5)根据最优行车相位状态ai，调整该路口的红灯绿灯组合亮起的时间，获得最大 的行车流量。
[0014] 上述技术方案中，所述相位状态&1为路面交通信号的红灯绿灯组合状态下各车道 的车行状态，对应绿灯的车道上，车辆允许直行通过路口到达对面车道，同时右转车道也被 允许通行，只有当直行与右转均可通行的状态下，所述步骤⑶中的可行度《'为1，否则视为 拥堵，可行度^^,为〇 ;对应红灯的车道上，车辆为停车状态。
[0015] 上述技术方案中，所述等待时间包括该车道上车辆红灯状态下的停车时间，以及 绿灯状态下未能前行的停车时间。
[0016] 上述技术方案中，根据主、次干道或公交车道的车流量需要，设置对应车道的权重 值蚝"
[0017] 上述技术方案中，所述步骤⑷中"程序软件分析计算"为核函数，通过核函数对比 现有行车情况与之前留存在数据库中的已知行车情况之间的相似度，综合考虑路口多个相 位状态下的行车情况，优先选择长时间没有执行的相位状态以及重要的相位状态，执行该 相位状态可使得所有处于等待状态的车辆在红灯和绿灯"等待时间"之差的和最大；所述重 要的相位状态为主干道或公交车道通行的相位状态，可通过设置相应车道的权重值fM勺 初始值来实现。
[0018] 上述技术方案中，所述网络模块为以太网有线模块或无线数据传输网络模块。
[0019] 由于上述技术方案运用，本发明与现有技术相比具有下列优点：
[0020] 1.本发明通过获取由监控设备收录的视频信息，提取视频中在不同相位信号灯变 化状态下的车流量情况，服务器根据路面交通状况实时调整信号灯的变化，让路口交通流 量最大化，减少拥堵；
[0021] 2.服务器收集实时视频数据，以车辆状态迀移为基础，计算车辆的等待时间，运用 强化学习的核算法选择相位状态，找出一个可以使所有车辆等待时间最短的相位状态，实 时调整信号灯的变化，满足路面交通状况的瞬息万变；
[0022] 3.本发明中考虑到各种车道的主次性以及行驶车辆的特殊性，设置权重值私,.的 初始值，也就是每个车道设置不同的权重值，在服务器选择时，优先考虑这些车道的通行， 如主干道或公交车道，优化整个路面交通控制系统。
【附图说明】
[0023] 图1是本发明中实施例一的相位状态1下车道及车位的排列示意图；
[0024] 图2是本发明中实施例一的相位状态1-4示意图；
[0025] 图3是本发明中实施例一的相位状态5-8示意图；
[0026] 图4是本发明中实施例一的某一交通区域的网络结构拓扑图；
[0027] 图5是本发明中实施例一的某一路口的网络结构拓扑图。
【具体实施方式】
[0028] 下面结合附图及实施例对本发明作进一步描述：
[0029] 实施例一：参见图1~5所示，一种基于强化学习的路面交通信号灯协调控制方 法，包括对应每个路口设有监控设备，每一所述监控设备经以太网有线网模块（或无线网 模块）与远程服务器连接，其控制方法为：
[0030]