置；
其中，rf.i:s,2):状态5?时，米取策略a后获得的处罚； s:交通环境当前状态； a:环境状态为s时Agent采取的动作 rf,:时刻t采取策略c,后产生车辆排队长度； e:预设排队长度临界值； 学习率为a，aG[0, 1]，折扣因子为y，yG[0, 1]; 3) 将处理的交通流信息送到Q学习器生成交通决策，基于以上变化的量全都满足 Q-learning算法对交通信号状态空间的要求，所以对于交通状态空间的选择用Q值估计的 形式表示，交通状态Q值的估计值近似表示为： Q=f((C,A,L,P),a(t)) (2) 式（2)中，a(t)是交通信号控制选择的策略，P为交通流量趋势预测概率； 4) 交通决策序列通过交通信号控制器作用于交通路口； 5) 反馈奖惩函数值，评估决策的好坏； 6) 继续感应环境的下一个状态。
[0022] 交通状态控制集包括：单路口的信号周期C，单路口相位的绿信比X，各相位对应 车辆的排队长度L。基于以上变化的量全都满足Q-learning算法对交通信号状态空间的要 求，所以对于交通状态空间的选择可以用Q值估计的形式表示，交通状态Q值的估计值可以 近似表示为： Q=f((C,A,L,P),a(t)) (2) 式（2)中，a(t)是交通信号控制选择的策略，P为交通流量趋势预测概率，属于交通 流量短期预测研宄方向，本文不做研宄。式（1)中这些量能充分反映交叉口的交通状况， 符合采用Q-learning算法优化交通时对交通状态空间的要求。研宄中选择以上变量作为 Q-learning算法的状态空间。
[0023] 决策集包括交通信号灯实时采取的动作，包括红灯、黄灯、绿灯，策略集A(s)采用 三种策略方式：增加当前相位时间As;保持当前相位时间不变；减少当前相位时间As。
[0024] 奖惩函数的设置；
其中，2):状态&时，米取策略(^后获得的处罚（消极回报）； 4 :时刻t采取策略~后产生车辆排队长度； :预设排队长度临界值。
[0025] 本实施例中，定义如下： 第一相位：在第一相位时间片段上，向东的交通流1和向西的交通流2均直行，此时向 南方向交通流和向北方向交通流被禁止通行。
[0026] 第二相位：在第二相位时间片段上，向东的交通流3和向西的交通流4均可右转和 左转，此时向南方向交通流和向北方向交通流被禁止通行。
[0027] 第三相位：在第三相位时间片段上，向南的交通流5和向北的交通流6均直行，此 时向东方向交通流和向西方向交通流被禁止通行。
[0028] 第四相位：在第四相位时间片段上，向南的交通流7和向北的交通流8均可右转和 左转，此时向东方向交通流和向西方向交通流被禁止通行。
[0029] 信号灯变换原则：信号灯变换按时间顺序进行控制，可以通过设置来改变信号变 换的时间。在保证时序控制的基础上，当通行方向已经无车则信号灯立即变为左转通行。当 左转方向无车时，信号灯变为另一方向通行。
[0030] 实施例：参照图1~图5,一种自适应智慧城市智能交通信号的控制方法，该方法 包括以下步骤： (1) 默认南北方向通行，东西方向禁止通行； (2) 若南北方向车辆已经走空或达到最大放行时间Tmax，则南北方向左转通行； (3) 若南北方向左转车辆已经走空或达到最大放行时间Tmax，则东西方向通行； (4) 若东西方向车辆已经走空或达到最大放行时间Tmax，则东西左转通行； (5) 若东西左转车辆已经走空或达到最大放行时间Tmax，则南北方向通行。
[0031] (6)作为一种优选方案，本发明所述最大放行时间30秒<Tmax< 60秒。
[0032](7)本发明系统可达到全面图形监视，实现组态容易、简单、可扩展性好，兼容性 好，操作简捷，实时性强，系统稳定，可靠性高。
[0033] 智能交通信号灯管理系统的出现，使交通路口的信号灯不再是按一天24小时固 定的周期变化，而是根据交通路口各方向车流量和行人的多少及有无，实时变化指挥交通。 通过采用视频检测技术，本发明可对交叉路口车辆通行、行人过街，以及环路出入口道路上 的交通流量进行实时检测，快速准确地了解控制区域内的道路交通状况，并根据实际情况 迅速调整信号灯的变化，凭借技术手段指挥交通，减少交通拥堵情况的发生。依靠视频图象 分析技术，通过分析交通路口的实际情况，控制交通信号灯指挥交通，本发明实现了有车的 方向是绿灯，无车的方向是红灯；交通路口通行量提高40~60 %，车辆的等待时间平均 缩短了 40%左右。
[0034] 下面以一个四个路口的交通岗为例进行说明： 1、首先要在四个路口安放摄像机和车流量感应器，并设置车辆警戒阈值区域。当车辆 排队长度超过警戒阈值区域时系统会接到一条车辆驶入的告警信息。当绿灯放行30秒钟 通行方向无车辆驶入告警时系统认为车辆已经走空。
[0035] 2、程序初始运行时，会先默认南北通行。东西方向禁止通行。
[0036] 3、当南北通行时车辆已经走空时，左转方向有车等待则提前转入左转信号。
[0037] 4、当南北通行时车辆已经走空时，左转方向没有车等待，东西方向有车等待，信号 灯直接变为东西能行，南北等待。
[0038] 5、当南北通行时，左转车辆已经走空，东西方向有车等待时。信号灯变为东西通 行，南北等待。
[0039] 6、当南北通行时，已经到达最大等待时间，车还没走完，东西方向或者左转方向有 车等待时同样改变信号。
[0040] 7、当南北通行时，左转和东西方都无车等待。则南北方向一直保持通行状态不变。
[0041] 8、东西方向通行时的逻辑，可以参照南北方向的。
[0042] 本发明紧贴我国道路交通及城市交通发展实际情况，设计了一套完整的自适应智 慧城市智能交通控制流程，对地磁感应器和摄像头实时捕获的交通信息进行分析处理，适 用于控制复杂交通环境背景下交通流合理分配等问题；通过合理地对单路口交通和井字形 区域交通进行一系列处理，利用Q-learning算法的特征；在设计Q-learning算法时，结合 了实际对实际交通环境背景。实验结果证明，本发明快速高效，有效提高城市自适应交通信 号的控制。
[0043] 最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明不限于 上述实施例，还可以有许多变形。凡是依据本发明的技术实质对以上实施例所作的任何简 单修改、等同变化与修饰，均应认为属于本发明的保护范围。
【主权项】
1. 一种自适应智慧城市智能交通信号的控制方法，其特征在于：所述控制方法包括w 下步骤： 1) 道路传感器对采集的车辆交通流信息进行处理，生成对应的交通状态集和决策集； 交通状态集包括单路口的信号周期C，单路口相位的绿信比A和各相位对应车辆的排队长 度以决策集包括交通信号灯实时采取的动作，包括红灯、黄灯、绿灯； 2) 设置奖惩函数、学习率和折扣因子； 奖惩函数的设置；(1) 其中，；状态油寸，采取策略a后获得的处罚； S;交通环境当前状态； <3;环境状态为S时Agent采取的动作 兩；时刻t采取策略C,后产生车辆排队长度； C;预设排队长度临界值； 学习率为a，aG[0, 1]，折扣因子为丫，丫G[0, 1]; 3) 将处理的交通流信息送到Q学习器生成交通决策，基于W上变化的量全都满足 Q-learning算法对交通信号状态空间的要求，所W对于交通状态空间的选择用Q值估计的 形式表示，交通状态Q值的估计值近似表示为： Q=f(佑入，心P)，a(t)) (2) 式（2)中，a(t)是交通信号控制选择的策略，P为交通流量趋势预测概率； 4) 交通决策序列通过交通信号控制器作用于交通路口； 5) 反馈奖惩函数值，评估决策的好坏； 6) 继续感应环境的下一个状态。
【专利摘要】一种自适应智慧城市智能交通信号的控制方法，包括以下步骤：1）道路传感器对采集的车辆交通流信息进行处理，生成对应的交通状态集和决策集；2）设置奖惩函数、学习率和折扣因子；3）将处理的交通流信息送到Q学习器生成交通决策；4）交通决策序列通过交通信号控制器作用于交通路口；5）反馈奖惩函数值，评估决策的好坏；6）继续感应环境的下一个状态。本发明提供一种控制效果良好、控制算法对环境的影响较小、稳定性良好及控制效果良好的自适应智慧城市智能交通信号的控制方法。
【IPC分类】G08G1/081
【公开号】CN104933876
【申请号】CN201510298976
【发明人】朱信忠, 徐慧英, 赵建民, 王新
【申请人】浙江师范大学
【公开日】2015年9月23日
【申请日】2015年6月3日