一种基于深度卷积神经网络的交通信号灯控制方法

一种基于深度卷积神经网络的交通信号灯控制方法
【专利摘要】本发明公开一种基于深度卷积神经网络的交通信号灯控制方法，主要包括用于获取整个路口的全景视频图像的无死角的全方位视觉传感器；对视频图像进行分割、用深度卷积神经网络分析关键处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器的计算机；用于接收所述计算机的控制命令并对路口信号灯进行控制的信号灯控制器。本发明能有效地解决交叉路口处车辆拥堵的状态情况下出现与“绿灯行、红灯停”的交通规则相桲的窘境，能有效防止由于闯绿灯行为所导致的大面积交通拥堵的发生，极大减轻交警的执法难度和执法强度。
【专利说明】
-种基于深度卷积神经网络的交通信号灯控制方法
技术领域
[0001] 本发明设及计算机技术、模式识别、人工智能、应用数学W及生物视觉技术在智能 交通领域的应用，尤其设及一种基于深度卷积神经网络的交通信号灯控制方法。
【背景技术】
[0002] 目前我国各城市道路中设有红黄绿指示信号灯、"箭头"信号灯、多相位信号灯等； 随着车辆保有量急剧增加，交通高峰期期间时常会出现清空不杨的拥堵和下游排队溢出的 拥堵问题;按照新交通法规机动车遇有前方交叉路口交通阻塞时，应停在路口 W外等候，目 前道路路口的信号灯上方会有一些相应的警示牌告知驾驶员。对于未依次停在路口 W外等 候，在绿灯时进入路口并滞留的被认为是一种交通违法行为。
[0003] "闯绿灯"是指虽然信号灯为绿灯时，但在交通拥堵的情况下驶入交叉路口，运样 可能会造成更加堵塞交通的行为。《中华人民共和国道路交通安全法实施条例》第五十=条 规定:机动车遇前方交叉路口交通阻塞时，应当依次停在路口 W外等候，不得进入路口。如 果出现类似情况将可能被处W罚款100元、记2分的处罚。
[0004] 但是在许多人看来，"闯绿灯"可能并不算是违法行为，但是危害并不小。车辆在绿 灯时进入路口并滞留，而当该行车方向变为红灯，相交叉方向变为绿灯时，交叉方向车辆无 法顺利驶过路口，造成路口交叉拥堵，影响周边路段交通。出现上述情况是与我们原来"绿 灯行、红灯停"的交通规则相梓的，也对交通执法带来了极大地难度；目前的状况，如果在交 通高峰期期间没有交警在现场，许多车辆在高峰时间会有"闯绿灯"行为，从而导致路口堵 塞，继而影响周边路口的车辆行驶，严重时可福射至主干道的交通，进而对整个市区某个区 域的交通产生影响。
[0005] 为了在交通法规上不造成容易混淆现象，在路口出口相位出现清空不杨的拥堵和 下游排队溢出的拥堵情况时，理想的信号灯控制方式是强制将信号灯的状态设置为红灯； 运样就不会出现所谓的"闯绿灯"行为，同时也极大地降低了交警的执法强度和执法难度。 要实现上述目标，需要有一种对路口清空不杨的拥堵和下游排队溢出的拥堵检测技术W及 相对应的信号灯控制技术。
[0006] 近年来，视频检测技术己成为智能交通领域最重要的信息采集手段，综合评比，将 视频检测技术应用于高速公路和城市道路具有极大的实际应用价值，基于视频车辆及路况 识别系统，将全面提升城市道路的信息采集和安全管理的水平，在智能交通系统中会发挥 越来越重要的作用。
[0007]车辆的视觉识别，国内外很多学者进行了相关研究。论文"Robert T. ColIins, Alan J.Lipton,Hironobu Fuj iyoshi, and Takeo Kanade.Algorith rns For cooperative multisensor surveillanee. In Proceedings of the IEEE"披露了一个路 上移动目标的检测、跟踪、识别系统，用训练过的神经网络来识别运动目标是人、人群、车辆 还是干扰，网络的输入特性量有目标的分散性度量、目标大小目标表面大小与摄影机监视 区域大小的相对值。上述技术基本上还需要人工来完成特征抽取，更大的问题是：1)受具体 应用环境的影响太大，各类检测算法要求的条件太苛刻;2)受自然环境影响太大，特别是光 照影响;3)检测算法十分耗时。
[000引申请号为201510012867.3的中国专利申请公开了一种能提示并防止机动车绿灯 跟进阻塞路口 W及闯红灯的系统和方法，检测越过停止线的机动车的速度;计算W该机动 车速度通过路口所需要的通行时间，实时监测当前该放行方向绿灯的剩余时间，如果所需 的通行时间大于绿灯的剩余时间，则通过提示单元提示机动车不要进入路口。通过该方式， 可W在路口即将发生拥堵时，就能通过提示的方式，提示车辆不要进入路口，因此可W有效 的防止路口即将发生拥堵时，机动车看到绿灯继续跟进现象的发生，保证了路口不拥堵方 向的杨通。在此基础上，该方案还提供了对闯红灯违法行为的监控，对于非绿灯时进入路口 的车辆进行拍照，有效对闯红灯行为进行了监管。
[0009] 路口清空不杨的拥堵和下游排队溢出的拥堵视觉检测技术，可W简单理解为是一 种路况视觉识别技术，即通过摄像机获取路口及下游入口的视频图像，通过计算机视觉的 方式分析视频图像中是否存在着大量的车辆，如果车辆在路口及下游入口处所占道路的面 积比超过一个阔值并持续时间超过一个阔值就将进入该下游入口处的上游出口处的信号 灯强制设置为红灯。
[0010] 综上所述，采用计算机视觉的路况识别，目前尚存在着如下若干个棘手的问题：1) 如何从复杂的背景中准确定位分割出被测车辆的整体图像并在每帖图像中准确地框出其 大小;2)如何降低天气光照等条件的影响，增加系统的自适应性和鲁棒性;3)如何兼顾好识 别精度和检测效率，同时尽可能减少训练和学习时间。

【发明内容】

[0011] 为了克服已有的路况视觉识别技术中的自动化和智能化水平低、缺乏深度学习、 难W对适应环境天气变化、难W准确提取出用于识别的车辆整体图像、难W用视觉方式对 路口清空不杨的拥堵和下游排队溢出的拥堵进行检测、难W兼顾识别精度与时间和检测效 率等不足，本发明提供一种基于深度卷积神经网络的交通信号灯控制方法，在检测方法上 能有效提高车辆与路况的视觉识别的自动化和智能化水平、能较好适应环境天气变化具有 广泛的自适应性、能保证在较好的检测识别精度基础上有实时检测识别能力、能较好解决 车辆与路况识别的复杂性和推广性的矛盾具有较佳的普适性。在交通法规方面能有效避免 出现闯绿灯行为等容易混淆现象出现。
[0012] 要实现上述
【发明内容】
，必须要解决几个核屯、问题：（1)设计一种车辆对象的快速视 觉定位识别算法；（2)研发一种快速检测出交叉路口及下游入口处车辆拥堵的状态的算法； (3)设计一种根据交叉路口及下游入口处车辆拥堵状态的信号灯自动控制方法。
[0013] 本发明解决其技术问题所采用的技术方案是：
[0014] 首先，对四岔路口的下游入口处的发生拥堵及溢出的情况有一个全局的了解，如 图1所示，图中的西向方向上车辆已发生拥堵，按照目前的交通法规就不允许其他相位中的 车辆再驶入西向方向上的下游入口处，如图1中的朝东的E2、朝北的No和朝南的Si,由于目前 技术上的问题，只是在信号灯上面用相应的警示牌进行了提示，而信号灯的状态并未设置 成红灯，运种"绿灯行、红灯停"的交通规则相梓的窘境给交警执法带来了很多困难;理想的 情况是当检测到上述状态出现时，将如图1中的朝东的E2、朝北的No和朝南的Si的信号灯强 制的设置为红色。
[0015] 同样道理，对于在四岔路口内发生拥堵的情况，就应该强制地将路口的信号灯全 部设置成红灯，避免闯绿灯行为发生，只有在四岔路口内发生拥堵解除的情况才恢复常态 的周期性信号灯控制。
[0016] 本发明中将下游入口处和岔口内区域部分称为关键处，视觉检测路况的关注区域 只限于关键处，W四岔路口为例，本发明只关注四个方向的下游入口处和岔口内区域部分；
[0017] -种基于深度卷积神经网络的交通信号灯控制方法的系统硬件包括用于获取整 个路口的全景视频图像的无死角的全方位视觉传感器;对整个路口的全景视频图像进行分 害d、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并将处理结果及控制命 令发给信号灯控制器的计算机;用于接收所述计算机的控制命令并对路口信号灯进行控制 的信号灯控制器;用于路口的交通状态进行管理和控制输出的交通信号灯;所述的无死角 的全方位视觉传感器通过视频线与所述的计算机连接，所述的计算机通过控制总线与所述 的信号灯控制器连接，所述的信号灯控制器主要分为常态的周期信号灯控制和拥堵情况时 的非常态信号灯强制控制模式，直接驱动所述的交通信号灯;在所述的非常态信号灯强制 控制模式下，强制地将路口的信号灯全部设置成红灯，避免人员或车辆继续进入拥堵的路 口内，从而防止闯绿灯行为发生。
[0018] 为了获取与图1所示的路口及所有下游入口处的视频图像，本发明采用了一种无 死角的全方位视觉传感器，详细见中国发明专利申请号为200710066757.0，成像原理如图5 所示;无死角的全方位视觉传感器安装在交叉路口中间的正上方，如图3所示;通过计算机 对全景图像进行图像分割和展开等处理得到交叉路口及各下游入口处的视频图像;对于四 岔路口，图2所示是四岔路口从上游出口处到下游入口处的车流指向，本发明将全景图像分 割成1幅交叉路口和4幅不同下游入口处的视频图像，即分割成关键处图像；
[0019] 图4所示的是一幅某下游入口处的视频图像，首先是对该视频图像进行处理，定位 识别出在该区域内的所有车辆;本发明采用深度卷积神经网络来实现车辆的识别与定位， 并在视频图像中框出车辆的位置与大小，为统计交叉路口及下游入口处车辆拥堵的状态做 好数据准备;其次，根据被测图像中框出的各车辆位置与大小统计出车辆所占面积;然后计 算车辆所占面积与下游入口处的道路面积的比，得到拥堵指数;接着进行判断，如果拥堵指 数超过某一阔值，就对拥堵时间进行计时；如果连续拥堵超过时间阔值就强制设置相关相 位的信号灯为红灯，图3所示的是一种基于深度卷积神经网络的交通信号灯控制方法的系 统框图，用无死角的全方位视觉传感器来获取整个路口的全景视频图像，用计算机对全景 视频图像进行分割、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并将处 理结果及控制命令发给信号灯控制器;信号灯控制器根据控制命令对路口的信号灯进行控 审IJ，信号灯控制器中的控制主要分为常态的周期信号灯控制和拥堵情况时的非常态信号灯 强制控制模式，图7所示为本发明中交通信号灯控制方法的系统控制流程框图；
[0020] 在图7所示的框图中主要分为车辆的视觉检测、识别与定位和基于深度卷积神经 网络的交通信号灯控制算法两个重要部分；
[0021] (1)车辆的视觉检测、识别与定位;本发明采用深度卷积神经网络技术对交叉路口 及下游入口处的视频图像进行处理，具体实现如下：
[0022] 在深度卷积神经网络中，有W下几种最主要的层：
[0023] I)卷积运算层，每个神经元会和上一层的若干小区域连接，计算权重和小区域像 素的内积;2)池化层，理解成一个下采样，得到的结果维度就变少;3)激活层，是神经元激励 层，本发明中采用的是ReLU,计算的是max(0，x);4)全连接层，全连接层一般用于最后计算 类别得分，运一层的所有神经元会和上一层的所有神经元有连接。卷积层和全连接层包含 权重和偏移的；而激活层和池化层只是一个固定的函数运算，是不包含权重和偏移参数的。 卷积层、全连接层和池化层包含超参数，激活层没有超参数。
[0024] 卷积层的参数由一系列的可训练/学习的过滤器构成。在前向计算过程中，输入一 定区域大小（宽X高）的数据，过滤器点乘后，得到新的二维数据，然后滑过一个个滤波器， 组成新的3维输出数据。每个过滤器都只关屯、过滤数据小平面内的部分特征，当出现它学习 到的特征的时候，就会呈现激活状态。
[0025] 局部感受野。运是卷积神经网络的独特之处其中之一，在高维数据中，用全连接的 神经网络，实际工程中基本是不可行的。卷积神经网络中每一层的神经元只会和上一层的 一些局部区域相连，运就是所谓的局部感受野。上一层的数据区，有一个滑动的窗口，只有 运个窗口内的数据会和下一层神经元有关联，运样就要求设定一个超参数，即窗口大小。运 里将窗口的宽和高设定相等，我们把宽X高的窗口称为局部感受野。实际的计算中，运个窗 口是W-定的步长来滑动，从而覆盖图片的所有小区域。每个局部感受野的权值共享。
[0026] 从输入的数据到输出数据，有S个超参数决定了输出数据的维度，分别是深度，步 长和填充值:所谓深度指的是卷积层中和上一层同一个输入区域连接的神经元个数。所谓 步长指的是窗口从当前位置到下一个位置，跳过的中间数据个数。所谓填充值指的是在原 始图像数据的周边补上0值的圈数。
[0027] -个完整的深度卷积神经网络就是由上述几种基本层叠加组成的，如图6所示。本 发明采用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7 X 7个网 格的预测，每个网格预测3类对象的概率和坐标。
[00%]第一层卷积层，填充值是3，64个过滤器，窗口大小为7 X 7，步长为2，输出特征为 224 X 224 X 64，然后进行leaky ReliJ激活层1处理，经过池化层1进行最大池化2 X 2的核，步 长为1，得到[(224-1+1)/2]+1 = 112特征，总的特征为112X112X64,然后进行正则化处理；
[0029] 第二层卷积层，填充值是1，窗口大小为3X3,3个过滤器，步长为1，输出为112 X 112 X 192，然后进行leaky ReL阳敦活层2处理，经过池化层2进行最大池化2 X 2的核，步长为 2，输出为56 X 56 X 256，然后进行分裂分成四个支线；
[0030] 第S层卷积层，开始时起始模块，运个的思想受到使用不同尺度的Gabor过滤器来 处理多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线：
[0031] 1:1 X 1 的卷积核输出 28 X 28 X 128;
[0032] 2:3 X 3的卷积核输出 28 X 28 X 256;
[0033] 3:1 X 1的卷积核输出28 X 28 X 256;
[0034] 4:3 X 3的卷积核输出 28 X 28 X 512;
[0035] 将四个结果进行连接，经过池化层3进行最大池化2X2的核，步长为2,输出为28X 28X512；
[0036] 第四层卷积层，思想与第=层雷同，将上述的结果又分成四条支线：
[0037] 1~2:4个1 X 1的卷积核和4个3 X 3卷积核输出14 X 14 X 512;
[003引 3:1 X I的卷积核输出14 X 14 X 512;
[0039] 4:3 X 3卷积核输出 14 X 14X1024;
[0040] 将四个结果进行连接，经过池化层4进行最大池化2X2的核，步长为2,输出为14X 14X1024；
[0041] 第五层卷积层，思想与第=层雷同，将上述的结果又分成四条支线：
[0042] 1~2:2个1 X 1 X512的卷积核和2个3X3X 1024卷积核输出7X7 X 1024;
[0043] 3:1 X 1 X 1024的卷积核输出7 X7 X 1024;
[0044] 4:3 X 3 X 1024卷积核，步长为2，输出为7 X 7 X 1024;
[0045] 将四个结果进行连接，输出为7X7 X 1024;
[0046] 第六层卷积层，思想与第=层雷同，将上述的结果又分成二条支线：
[0047] 1:3 X 3 X 1024的卷积核输出为7 X 7 X 1024;
[004引 2:3 X 3 X 1024的卷积核输出为7 X 7 X 1024;
[0049] 将二个结果进行连接，输出为7X7 X 1024;
[0050] 第屯层全连接层，输出为IX 4092;
[0051] 第八层全连接层，输出为7X7X30,最后预测类的概率和包围框，使用逻辑激活函 数；
[0052] 卷积层和全连接层包含训练参数，leaky ReLU激活层和池化层不包含训练参数； 从第=层开始到第六层为止每个层中都有分支，运样增加了深度卷积神经网络的宽度，能 有效提升深度卷积神经网络的检测精度；
[0053] 深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训 练;深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用leaky ReLU,如公式（1) 所示；
[0054]
Cl)
[0055] 式中，X为输入，4 (X)为输出；为了避免过拟合，运里使用dropout和数据增加技 术，使得深度卷积神经网络具有较好的稀疏性；
[0056] 进一步，说明深度卷积神经网络的视觉检测、定位及分类原理;首先将一幅图像分 成SXS个网格，如图4所示，如果某个对象的中屯、落在运个网格中，则运个网格就负责预测 运个对象;每个网格要预测B个边缘框，每个边缘框除了要回归自身的位置之外，还要附带 预测一个信任值;运个信任值代表了所预测的框中含有对象的置信度和运个框预测的有多 准两重信息，用公式(2)进行计算；
[0化7]
设)
[005引式中，Pr(Object)表示对象落在网格中的概率，如果有对象落在一个网格里，Pr (object) = 1，否则Pr(Object) = 0; Io巧若是预测的边缘框和实际的ground truth之间的 IoU值，loU，即intersection over union表示预测的边缘框和实际的ground truth之间的 交集；
[0化9] 每一个边缘框由X，Y，W，H和信任值5个预测值构成，（X，Y)坐标代表边缘框的中屯、 坐标值，W、H代表边缘框的宽度和高度，信任值是预测的边缘框和实际的ground truth之间 的IoU值；
[0060] 每个网格还要预测一个类别信息，记为C类。贝化XS个网格，每个网格要预测B个边 缘框还要预测C个类。输出就是SXSX (5XB+C)的一个张量;运里，类信息是针对每个网格 的，信任值信息是针对每个边缘框的；由于本发明运用于道路上的对象视觉检测，因此运里 只关屯、车辆、行人和骑车的3类对象，即C = 3。
[0061] 每个网格还预测C类的条件概率，PHclass I Object),运个概率是在包含一个对象 的网格单元上的条件概率，运样我们可W只预测每一个网格单元中的一组类的概率，而不 需要考虑边缘框的数量B;在测试的时候，每个网格预测的类信息和边缘框预测的信任值信 息相乘，就得到每个边缘框的类特殊置信度，公式(3)所示，
[0062]
(3：)
[0063] 式中，Pr(Object)表示对象落在网格中的概率，Iou;:二是预测的边缘框和实际的 ground truth之间的IoU值，PHclassi I Object)表示对象中出现某种类的条件概率，Pr (classi)表示某种类的出现概率；公式(3)左边第一项就是每个网格预测的类别信息，第 二、=项就是每个边缘框预测的信任值。运个乘积编码了预测的属于某一类的概率和该边 缘框准确度的信息；
[0064] 运里我们选择S = 7，B = 2,运样预测结果中共有7X7X(5X化20) = 1470张量；
[0065] 得到每个边缘框的类特殊置信度W后，设置一个阔值，滤掉得分低的边缘框，对保 留的边缘框进行非极大值抑制处理，就得到最终的检测结果。
[0066] 每个网格中共有30维信息，在运30维信息中，2个边缘框的8维信息是回归边缘框 的坐标，2个边缘框的2维信息是边缘框的信任值，还有20维信息是类别。其中坐标的x、y用 对应网格的偏移归一化到0~1之间，边缘框的w、h用被测图像的宽和高归一化到0~1之间。
[0067] 在实现中，如何设计一个好的损失函数，使得边缘框的坐标、边缘框的信任值和类 别运=个方面得到很好的平衡;8维的定位误差和20维的分类误差应该有所区分轻重；另 夕h如果在一个网格中没有对象，那么就会将运些网格中的边缘框的信任值设定为0,相比 于较少的有对象的网格，运种做法会导致网络不稳定甚至发散；
[0068] 为了解决上述问题，在本发明中，深度卷积神经网络输出使用平方和误差，并引入 尺度因子A对类概率和包围框的误差进行加权，同时为了反映出偏离在大的包围框中的影 响比较小，使用包围框的宽和高的平方根，最终的损失函数用公式(4)表示；
[0069]
(64)
[0070] 式中，、DDrd为在网格中对象坐标预测的尺度因子，AnDDbj为在网格中没有对象的边 缘框的尺度因子，Uf表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中 第j个边缘框中没有对象存在，Df表示第i个网格中有对象存在，S2表示被测图像中分割的 网格数目，B表示网格中的边缘框的个数，Xi、^分别表示第i个网格中对象在X轴上的实际坐 标值和预测坐标值，yi、裘分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值， Wi、兩分别表示第i个网格中对象的实际宽度值和预测宽度值，hi、矣分别表示第i个网格中 对象的实际高度值和预测高度值，Ci、4分别表示第i个网格中的实际信任值和预测信任值， Pik)、A(t)分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率;公式(4) 中的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第=项 用于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测；
[0071] 具体做法是：1)运里更为重视8维的坐标预测，给运些损失前面赋予更大的损失比 重，记、DDrd为在网格中对象坐标预测的尺度因子，在本发明的数据集训练中取值为5;2)对 没有对象的边缘框的信任值损失，赋予小的损失比重，记AnDDW为在网格中没有对象的边缘 框的尺度因子，在本发明的数据集训练中取值为〇.5;3)在网格中有对象的边缘框的信任值 损失和类别的损失比重，取值为1;
[0072] 另外，在对不同大小的边缘框位置预测中，相比于大的边缘框位置预测偏一点，小 的边缘框的预测位置稍偏一点肯定也是不能被接受的，运是因为平方和误差损失中对同样 的偏移损失将一视同仁处理。为了缓和运个问题，运里将边缘框的宽和高取平方根计算来 代替原来直接的宽和高的计算，使得小的边缘框的预测位置更敏感;用图8说明就很容易理 解，小的边缘框的横轴X值较小，在发生偏移时，反应到y轴上相比要比大的边缘框更敏感。
[0073] 49个网格单元，每个网格单元包含20个概率预测值，一共就有980个预测值，有时 候只有少数网格有对象物体存在，运样严重的稀疏可能会导致最终所有的概率都为0,导致 训练过程发散；
[0074] 针对运一问题，在每个网格单元引入额外变量，用于表示在此网格存在物体的概 率。运样在某一位置的车辆的类别概率就可W计算出来，即：
[00"75] Pr(Xar)=Pr(Object)XPrKarlObject) (5)
[0076] 公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆 的网格处才更新，运样就能避免概率为0的问题；
[0077] 通过上述计算，得到了每个关键处的图像中各车辆位置与大小信息。
[0078] (2)基于深度卷积神经网络的交通信号灯控制算法
[0079] 基于深度卷积神经网络的交通信号灯控制算法如下；
[0080] STEPl:首先根据路口的各关键处被测图像中框出的各车辆位置与大小统计出车 辆所占面积，面积计算方式如公式(6)所示；
[0081 ]
(6)
[0082] 式中，WI,1为某关键处图像中在第i个网格中有车辆对象的宽度值，hi,1为某关键处 图像中在第i个网格中有车辆对象的高度值;Al, car为路口的某关键处的被测图像中框出的 各车辆所占的面积;A〇,car、AE,car、As,car、Aw,car和AN,car分别表不交叉口中间、东向、南向、西向 和北向下游入口处的车辆所占的面积，关键处lG{〇，E，S，W，N};
[0083] STEP2:然后计算关键处车辆所占面积与关键处的道路面积的比，用公式(7)计算 得到拥堵指数，
[0084]
(7)
[0085] 式中，Al,road为关键处的道路面积，Al,car为被测图像的关键处各车辆所占的面积， Indexi, C。。为某关键处的拥堵指数，关键处I G{o，E，S，W，N};
[0086] STEP3:判断所有关键处的拥堵指数Indexi,c〇n>Tc是否成立;Tc为拥堵指数阔值， 如果都不成立跳转到STEPl;
[0087] 516?4:记录那个拥堵指数1]1(1糾1,。。。>1'。的关键处的1，开始对拥堵时间进行计时； 7; <= 7'/ + A7' ;Ti表示某关键处的计时时间；
[00则 STEP5:判断所有关键处的拥堵时间Ti>化是否成立，化为拥堵时间阔值，如果都不 成立跳转到STEPl;
[0089] STEP6:将拥堵时间超过阔值关键处的非常态标识Fi,C=I,发送命令给信号灯控制 器，通知该关键处发生了拥堵，信号控制转入非常态信号灯强制控制模式；
[0090] STEP7:判断所有关键处的Indexi,。。。《0.7 X T。是否成立，如果成立将非常态标识 Fi, C = O ,Ti = O，跳转到STEPl。
[0091] 关键处的道路面积Al,rnad是在安装好摄像机后，用户在图像中框定出图像中关键 处的道路部分后，如图9所示，然后通过统计计算图像中被框的像素方式得到的；所谓关键 处是指道路岔口的下游入口处和道路岔口的中间部分，对于四岔路口有四个下游入口处和 一个道路岔口的中间部分的五个关键处。
[0092] 本发明的有益效果主要表现在：
[0093] 1)实现了一种基于深度学习的深度卷积神经网络视觉检测方法，能全自动的检 、定位和识别道路上的车辆对象；
[0094] 2)实现了一个真正意义上的使用一个基于深度卷积神经网络实现端到端的车辆 检测、定位和识别的框架，并具有适用于车辆目标的形态多样性，光照变化多样性，背景多 样性等环境下快速、高精度和鲁棒性的车辆和路况识别；
[00%] 3)提供了一种基于深度卷积神经网络的交通信号灯控制算法，有效地解决了在下 游入口处车辆拥堵的状态情况下出现与"绿灯行、红灯停"的交通规则相梓的窘境；
[0096] 4)有效的防止了由于闯绿灯行为所导致的大面积交通拥堵的发生，极大的减轻了 交警的执法难度和执法强度。
【附图说明】
[0097] 图1为道路岔口发生下游入口处拥堵的情况说明图；
[0098] 图2为交通信号灯相位控制说明图；
[0099] 图3为一种基于深度卷积神经网络的交通信号灯控制算法的系统框图；
[0100] 图4为下游入口处的被测图像划分为SXS个网格说明图；
[0101 ]图5为一种无死角的全景摄像机成像原理图；
[0102] 图6为深度卷积神经网络图；
[0103] 图7为基于深度卷积神经网络的交通信号灯控制系统的流程框图；
[0104] 图8为对小的边缘框的预测位置更敏感的处理方法说明图；
[0105] 图9为在四岔路口定制道路关键处说明图。
【具体实施方式】
[0106] 下面结合附图对本发明作进一步描述。
[0107] 实施例1
[0108] 参照图1~9,本发明解决其技术问题所采用的技术方案是：
[0109] 首先，对四岔路口的下游入口处的发生拥堵及溢出的情况有一个全局的了解，如 图1所示，图中的西向方向上车辆已发生拥堵，按照目前的交通法规就不允许其他相位中的 车辆再驶入西向方向上的下游入口处，如图1中的朝东的E2、朝北的No和朝南的Si,由于目前 技术上的问题，只是在信号灯上面用相应的警示牌进行了提示，而信号灯的状态并未设置 成红灯，运种"绿灯行、红灯停"的交通规则相梓的窘境给交警执法带来了很多困难;理想的 情况是当检测到上述状态出现时，将如图1中的朝东的E2、朝北的No和朝南的Si的信号灯强 制的设置为红色。
[0110] 同样道理，对于在四岔路口内发生拥堵的情况，就应该强制地将路口的信号灯全 部设置成红灯，只有在四岔路口内发生拥堵解除的情况才恢复正常的周期性信号灯控制。
[0111] 为了获取与图1所示的路口及所有下游入口处的视频图像，本发明采用了一种无 死角的全方位视觉传感器，详细见中国发明专利申请号为200710066757.0，成像原理如图5 所示;无死角的全方位视觉传感器安装在交叉路口中间的正上方，如图3所示;通过计算机 对全景图像进行图像分割和展开等处理得到交叉路口及各下游入口处的视频图像;对于四 岔路口，图2所示是四岔路口从上游出口处到下游入口处的车流指向，本发明将全景图像分 割成1幅交叉路口和4幅不同下游入口处的视频图像；
[0112] 图4所示的是一幅某下游入口处的视频图像，首先是对该视频图像进行处理，定位 识别出在该区域内的所有车辆;本发明采用深度卷积神经网络来实现车辆的识别与定位， 并在视频图像中框出车辆的位置与大小，为统计交叉路口及下游入口处车辆拥堵的状态做 好数据准备;其次，根据被测图像中框出的各车辆位置与大小统计出车辆所占面积;然后计 算车辆所占面积与下游入口处的道路面积的比，得到拥堵指数;接着进行判断，如果拥堵指 数超过某一阔值，就对拥堵时间进行计时；如果连续拥堵超过时间阔值就强制设置相关相 位的信号灯为红灯，图3所示的系统框图，用无死角的全方位视觉传感器来获取整个路口的 全景视频图像，用计算机对全景视频图像进行分割、用深度卷积神经网络分析路口及下游 入口处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器;信号灯控制器根据 控制命令对路口的信号灯进行控制，信号灯控制器中的控制主要分为常态的周期信号灯控 制和拥堵情况时的非常态信号灯强制控制模式，图7所示的是基于深度卷积神经网络的交 通信号灯控制系统的流程框图；
[0113] 在图7所示的框图中主要分为车辆的视觉检测、识别与定位和基于深度卷积神经 网络的交通信号灯控制相关算法两个重要部分；
[0114] (1)车辆的视觉检测、识别与定位;本发明采用深度卷积神经网络技术对交叉路口 及下游入口处的视频图像进行处理，具体实现如下：
[0115] 在深度卷积神经网络中，有W下几种最主要的层：
[0116] 1)卷积运算层，每个神经元会和上一层的若干小区域连接，计算权重和小区域像 素的内积;2)池化层，理解成一个下采样，得到的结果维度就变少;3)激活层，是神经元激励 层，本发明中采用的是ReLU,计算的是max(0，x);4)全连接层，全连接层一般用于最后计算 类别得分，运一层的所有神经元会和上一层的所有神经元有连接。卷积层和全连接层包含 权重和偏移的；而激活层和池化层只是一个固定的函数运算，是不包含权重和偏移参数的。 卷积层、全连接层和池化层包含超参数，激活层没有超参数。
[0117] 卷积层的参数由一系列的可训练/学习的过滤器构成。在前向计算过程中，输入一 定区域大小（宽X高）的数据，过滤器点乘后，得到新的二维数据，然后滑过一个个滤波器， 组成新的3维输出数据。每个过滤器都只关屯、过滤数据小平面内的部分特征，当出现它学习 到的特征的时候，就会呈现激活状态。
[0118] 局部感受野。运是卷积神经网络的独特之处其中之一，在高维数据中，用全连接的 神经网络，实际工程中基本是不可行的。卷积神经网络中每一层的神经元只会和上一层的 一些局部区域相连，运就是所谓的局部感受野。上一层的数据区，有一个滑动的窗口，只有 运个窗口内的数据会和下一层神经元有关联，运样就要求设定一个超参数，即窗口大小。运 里将窗口的宽和高设定相等，我们把宽X高的窗口称为局部感受野。实际的计算中，运个窗 口是W-定的步长来滑动，从而覆盖图片的所有小区域。每个局部感受野的权值共享。
[0119] 从输入的数据到输出数据，有S个超参数决定了输出数据的维度，分别是深度、步 长和填充值:所谓深度指的是卷积层中和上一层同一个输入区域连接的神经元个数。所谓 步长指的是窗口从当前位置到下一个位置，跳过的中间数据个数。所谓填充值指的是在原 始图像数据的周边补上0值的圈数。
[0120] -个完整的深度卷积神经网络就是由上述几种基本层叠加组成的，如图6所示。本 发明采用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7 X 7个网 格的预测，每个网格预测3类对象的概率和坐标。
[0121] 第一层卷积层，填充值是3,64个过滤器，窗口大小为7 X 7,步长为2,输出特征为 224 X 224 X 64，然后进行leaky ReliJ激活层I处理，经过池化层I进行最大池化2 X 2的核，步 长为1，得到[(224-1+1)/2]+1 = 112特征，总的特征为112X112X64,然后进行正则化处理；
[0122] 第二层卷积层，填充值是1，窗口大小为3X3,3个过滤器，步长为1，输出为112 X 112 X 192，然后进行leaky ReL阳敦活层2处理，经过池化层2进行最大池化2 X 2的核，步长为 2，输出为56 X 56 X 256，然后进行分裂分成四个支线；
[0123] 第S层卷积层，开始时起始模块，运个的思想受到使用不同尺度的Gabor过滤器来 处理多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线：
[0124] 1:1 X 1 的卷积核输出 28 X 28 X 128;
[01巧]2:3 X 3的卷积核输出28 X 28 X 256;
[01 %] 3:1 X 1的卷积核输出28 X 28 X 256;
[0127] 4:3 X 3的卷积核输出 28 X 28 X 512;
[0128] 将四个结果进行连接，经过池化层3进行最大池化2X2的核，步长为2,输出为28X 28X512；
[0129] 第四层卷积层，思想与第=层雷同，将上述的结果又分成四条支线：
[0130] 1~2:4个1 X 1的卷积核和4个3 X 3卷积核输出14 X 14 X 512;
[0131] 3:1 X 1的卷积核输出 14 X 14 X 512;
[0132] 4:3 X 3卷积核输出 14 X 14 X 1024;
[0133] 将四个结果进行连接，经过池化层4进行最大池化2X2的核，步长为2,输出为14X 14X1024；
[0134] 第五层卷积层，思想与第=层雷同，将上述的结果又分成四条支线：
[0135] 1~2:2个1 X 1 X 512的卷积核和2个3 X 3 X 1024卷积核输出7 X 7 X 1024;
[0136] 3:1 X 1 X 1024的卷积核输出7 X 7 X 1024;
[0137] 4:3 X 3 X 1024卷积核，步长为2，输出为7 X 7 X 1024;
[013引将四个结果进行连接，输出为7X7 X 1024;
[0139] 第六层卷积层，思想与第=层雷同，将上述的结果又分成二条支线：
[0140] 1:3 X 3 X 1024的卷积核输出为7 X 7 X 1024;
[0141] 2:3 X 3 X 1024的卷积核输出为7 X 7 X 1024;
[0142] 将二个结果进行连接，输出为7X7 X 1024;
[0143] 第屯层全连接层，输出为IX 4092;
[0144] 第八层全连接层，输出为7X7X30,最后预测类的概率和包围框，使用逻辑激活函 数；
[0145] 卷积层和全连接层包含训练参数，leaky ReLU激活层和池化层不包含训练参数； 从第=层开始到第六层为止每个层中都有分支，运样增加了深度卷积神经网络的宽度，能 有效提升深度卷积神经网络的检测精度；
[0146] 深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训 练;深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用leaky ReLU,如公式（1) 所示；
[0147]
(1)
[014引式中，X为输入，(I)(X)为输出；为了避免过拟合，运里使用dropout和数据增加技 术，使得深度卷积神经网络具有较好的稀疏性；
[0149] 进一步，说明深度卷积神经网络的视觉检测、定位及分类原理;首先将一幅图像分 成SXS个网格，如图4所示，如果某个对象的中屯、落在运个网格中，则运个网格就负责预测 运个对象;每个网格要预测B个边缘框，每个边缘框除了要回归自身的位置之外，还要附带 预测一个信任值;运个信任值代表了所预测的框中含有对象的置信度和运个框预测的有多 准两重信息，用公式(2)进行计算；
[0150]
(2)
[0151] 式中，Pr(Object)表示对象落在网格中的概率，如果有对象落在一个网格里，Pr (Object) = I,否则Pr(Object)=O; Io巧就是预测的边缘框和实际的ground truth之间的 IoU值，loU，即intersection over union表示预测的边缘框和实际的ground truth之间的 交集；
[0152] 每一个边缘框由X、Y、W、H和信任值5个预测值构成，（X，Y)坐标代表边缘框的中屯、 坐标值，W、H代表边缘框的宽度和高度，信任值是预测的边缘框和实际的ground truth之间 的IoU值；
[0153] 每个网格还要预测一个类别信息，记为C类。贝化XS个网格，每个网格要预测B个边 缘框还要预测C个类。输出就是SXSX (5XB+C)的一个张量;运里，类信息是针对每个网格 的，信任值信息是针对每个边缘框的；由于本发明运用于道路上的对象视觉检测，因此运里 只关屯、车辆、行人和骑车的3类对象，即C = 3。
[0154] 每个网格还预测C类的条件概率，PHclass I Object),运个概率是在包含一个对象 的网格单元上的条件概率，运样我们可W只预测每一个网格单元中的一组类的概率，而不 需要考虑边缘框的数量B;在测试的时候，每个网格预测的类信息和边缘框预测的信任值信 息相乘，就得到每个边缘框的类特殊置信度，公式(3)所示，
[0155]
(3)
[0156] 式中，Pr(Object)表示对象落在网格中的概率，IoUp二是预测的边缘框和实际的 ground truth之间的IoU值，PHclassi I Object)表示对象中出现某种类的条件概率，Pr (Classi)表示某种类的出现概率；公式(3)左边第一项就是每个网格预测的类别信息，第 二、=项就是每个边缘框预测的信任值。运个乘积编码了预测的属于某一类的概率和该边 缘框准确度的信息；
[0157] 运里我们选择S = 7，B = 2，运样预测结果中共有7 X 7 X (5 X化20 ) = 1470张量；
[0158] 得到每个边缘框的类特殊置信度W后，设置一个阔值，滤掉得分低的边缘框，对保 留的边缘框进行非极大值抑制处理，就得到最终的检测结果。
[0159] 每个网格中共有30维信息，在运30维信息中，2个边缘框的8维信息是回归边缘框 的坐标，2个边缘框的2维信息是边缘框的信任值，还有20维信息是类别。其中坐标的x、y用 对应网格的偏移归一化到0~1之间，边缘框的w、h用被测图像的宽和高归一化到0~1之间。
[0160] 在实现中，如何设计一个好的损失函数，使得边缘框的坐标、边缘框的信任值和类 别运=个方面得到很好的平衡;8维的定位误差和20维的分类误差应该有所区分轻重；另 夕h如果在一个网格中没有对象，那么就会将运些网格中的边缘框的信任值设定为0,相比 于较少的有对象的网格，运种做法会导致网络不稳定甚至发散；
[0161] 为了解决上述问题，在本发明中，深度卷积神经网络输出使用平方和误差，并引入 尺度因子A对类概率和包围框的误差进行加权，同时为了反映出偏离在大的包围框中的影 响比较小，使用包围框的宽和高的平方根，最终的损失函数用公式(4)表示；
[0162] (斗）
[0163] 式中，、DDfd为在网格中对象坐标预测的尺度因子，AnDDbj为在网格中没有对象的边 缘框的尺度因子，II:;"表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中 第j个边缘框中没有对象存在，Uf''表示第i个网格中有对象存在，S2表示被测图像中分割的 网格数目，B表示网格中的边缘框的个数，Xi、^分别表示第i个网格中对象在X轴上的实际坐 标值和预测坐标值，yi、矣分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值， Wi、瑪分别表示第i个网格中对象的实际宽度值和预测宽度值，hi、|^分别表示第i个网格中 对象的实际高度值和预测高度值，Ci、<^分别表示第i个网格中的实际信任值和预测信任值， Pik)、A的分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率;公式(4) 中的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第=项 用于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测；
[0164] 具体做法是：1)运里更为重视8维的坐标预测，给运些损失前面赋予更大的损失比 重，记、DDrd为在网格中对象坐标预测的尺度因子，在本发明的数据集训练中取值为5;2)对 没有对象的边缘框的信任值损失，赋予小的损失比重，记AnDDW为在网格中没有对象的边缘 框的尺度因子，在本发明的数据集训练中取值为〇.5;3)在网格中有对象的边缘框的信任值 损失和类别的损失比重，取值为1;
[0165] 另外，在对不同大小的边缘框位置预测中，相比于大的边缘框位置预测偏一点，小 的边缘框的预测位置稍偏一点肯定也是不能被接受的，运是因为平方和误差损失中对同样 的偏移损失将一视同仁处理。为了缓和运个问题，运里将边缘框的宽和高取平方根计算来 代替原来直接的宽和高的计算，使得小的边缘框的预测位置更敏感;用图8说明就很容易理 解，小的边缘框的横轴X值较小，在发生偏移时，反应到y轴上相比要比大的边缘框更敏感。
[0166] 49个网格单元，每个网格单元包含20个概率预测值，一共就有980个预测值，有时 候只有少数网格有对象物体存在，运样严重的稀疏可能会导致最终所有的概率都为0,导致 训练过程发散；
[0167] 针对运一问题，在每个网格单元引入额外变量，用于表示在此网格存在物体的概 率。运样在某一位置的车辆的类别概率就可W计算出来，即：
[0168] Pr(Xar)=Pr(Object)XPrKarlObject) (5)
[0169] 公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆 的网格处才更新，运样就能避免概率为0的问题；
[0170] (2)基于深度卷积神经网络的交通信号灯控制算法
[0171] 通过深度卷积神经网络将一帖视频图像中框出车辆的位置与大小，为统计交叉路 口及下游入口处车辆拥堵的状态做好了数据准备;运里首先根据路口的各关键处被测图像 中框出的各车辆位置与大小统计出车辆所占面积，面积计算方式如公式(6)所示；
[0172]
(6)
[017引式中，WI,功某关键处图像中在第i个网格中有车辆对象的宽度值，hi,功某关键处 图像中在第i个网格中有车辆对象的高度值;Al, car为路口的某关键处的被测图像中框出的 各车辆所占的面积;A0,car、AE,car、As,car、Aw,car和AN,car分别表不交叉口中间、东向、南向、西向 和北向下游入口处的车辆所占的面积，关键处IGlo，E，S，W，N};
[0174] 关键处的道路面积Al,rnad是在安装好摄像机后，用户在图像中框定出图像中下游 入口处的道路部分后，通过统计计算图像中被框的像素方式得到的；然后计算车辆所占面 积与下游入口处的道路面积的比，用公式(7)计算得到拥堵指数，
[0175]
讯
[0176] 式中，Al,rnad为关键处的道路面积，Al, car为被测图像的关键处各车辆所占的面积， Indexi, C。。为某关键处的拥堵指数，关键处I G{o，E，S，W，N};
[0177] 考虑四岔路口的情况，本发明分别定义IndexE, con、Indexs, con、Indexw, con和 IndexN,c〇n为东向、南向、西向和北向下游入口处的拥堵指数;定义Index。,。。。为交叉口中间 部分的拥堵指数；
[0178] 如果某朝向的拥堵指数Indexi,c〇n>Tc，即拥堵指数超过某一阔值Tc,就开始对拥 堵时间进行计时；如果连续拥堵超过时间阔值化，即Ti>^，设置一个某朝向的非常态标识 Fi,C=I;如果当某朝向的拥堵指数Indexi,c〇n《0.7 XTc就设置一个某朝向的非常态标识Fi,C =0;当非常态标识Fi,。=1时就强制设置相关相位的信号灯为红灯;如图1所示的情况，在西 向的下游入口处发生了拥堵，即当Fw,C=I时，就将朝东的信号灯E2、朝北的信号灯No和朝南 的信号灯Si均设置为红灯；
[0179] 对于交叉路口内发生拥堵的情况，检测方法与下游入口处的检测雷同，一旦检测 到拥堵指数Index。,c〇n>Tc，即拥堵指数超过某一阔值Tc,就开始对拥堵时间进行计时;如果 连续拥堵超过时间阔值化，即Ti>^，设置岔口的非常态标识F。,C = I;如果当岔口的拥堵指 数Index。,.7 X Tc就设置岔口的非常态标识F。,C = O;当F。,C = 1条件情况下，将岔口所有 的信号灯都强制设置为红灯，禁止所有车辆进入岔口内，W避免发生更大规模的拥堵。
[0180] 实施例2
[0181] 其余与实施例1相同，所不同的是在每个下游入口处前方及岔口上方安装摄像机 分别来获取各下游入口处和岔口上方的视频图像。
[0182] 实施例3
[0183] 在岔口附近有高层建筑物和岔口附近及各下游入口处没有发生遮挡的情况下，其 余与实施例1相同，所不同的是在高层建筑物的10米W上高处安装摄像机W获取各下游入 口处和岔口上方的视频图像。
[0184] 实施例4
[0185] 其余与实施例1相同，对于不同的岔路口情况，检测原理和信号灯控制方法相同， 只要通过设置检测下游入口处和控制信号灯的对应关系。
[0186] W上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于深度卷积神经网络的交通信号灯控制方法，其特征在于，所述交通信号灯 控制方法的系统硬件包括： 全方位视觉传感器，用于获取整个路口的全景视频图像； 交通信号灯，用于对路口的交通状态进行管理和控制输出； 计算机，用于对整个路口的全景视频图像进行分割、用深度卷积神经网络分析路口及 下游入口处车辆拥堵的状态，并输出处理结果及控制命令； 以及信号灯控制器，用于接收所述计算机的控制命令并对路口信号灯进行控制； 其中，所述的全方位视觉传感器通过视频线与所述的计算机连接，所述的计算机通过 控制总线与所述的信号灯控制器连接，所述的信号灯控制器主要分为常态的周期信号灯控 制和拥堵情况时的非常态信号灯强制控制模式，直接驱动所述的交通信号灯； 所述的计算机还包括车辆的视觉检测、识别与定位和基于深度卷积神经网络的交通信 号灯控制算法。2. 如权利要求1所述的交通信号灯控制方法，其特征在于:所述的深度卷积神经网络采 用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7X7个网格的预 测，每个网格预测3类对象的概率和坐标； 第一层卷积层，填充值是3,64个过滤器，窗口大小为7X7,步长为2,输出特征为224X 224 X 64,然后进行leaky ReLU激活层1处理，经过池化层1进行最大池化2 X 2的核，步长为 1，得到[(224-1+1) /2 ]+1 = 112个特征，总的特征数为112 X 112 X 64，然后进行正则化处理； 第二层卷积层，填充值是1，窗口大小为3 X 3，3个过滤器，步长为1，输出为112X112X 192,然后进行leaky ReLU激活层2处理，经过池化层2进行最大池化2 X 2的核，步长为2,输 出为56 X 56 X 256，然后进行分裂分成四个支线； 第三层卷积层，开始时起始模块，这个的思想受到使用不同尺度的Gabor过滤器来处理 多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线： I: I X 1的卷积核输出28X28X128; 2:3 X3的卷积核输出28X28X256; 3:1 X 1的卷积核输出28X28X256; 4:3 X3的卷积核输出28X28X512; 将四个结果进行连接，经过池化层3进行最大池化2 X 2的核，步长为2，输出为28 X 28 X 512； 第四层卷积层，思想与第三层雷同，将上述的结果又分成四条支线： 1~2:4个I X 1的卷积核和4个3 X 3卷积核输出14 X 14 X 512; 3:1 X 1的卷积核输出14 X 14 X 512; 4:3 X 3卷积核输出 14 X 14 X 1024; 将四个结果进行连接，经过池化层4进行最大池化2X2的核，步长为2,输出为14X14X 1024； 第五层卷积层，思想与第三层雷同，将上述的结果又分成四条支线： 1~2:2个I X I X 512的卷积核和2个3 X 3 X 1024卷积核输出7 X 7 X 1024; 3:1 X I X 1024的卷积核输出7 X 7 X 1024; 4:3 X 3 X 1024卷积核，步长为2，输出为7 X 7 X 1024; 将四个结果进行连接，输出为7X7 X 1024; 第六层卷积层，思想与第三层雷同，将上述的结果又分成二条支线： 1:3 X 3 X 1024的卷积核输出为7 X 7 X 1024; 2:3 X 3 X 1024的卷积核输出为7 X 7 X 1024; 将二个结果进行连接，输出为7 X7 X 1024; 第七层全连接层，输出为I X 4092; 第八层全连接层，输出为7X7X30,最后预测类的概率和包围框，使用逻辑激活函数。3. 如权利要求1或2所述的交通信号灯控制方法，其特征在于:所述的深度卷积神经网 络，在深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训练； 深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用IeakyReLU，如公式(1)所示；(1) 式中，X为输入，Φ (X)为输出。4. 如权利要求1或2所述的交通信号灯控制方法，其特征在于:所述的深度卷积神经网 络，深度卷积神经网络输出使用平方和误差，并引入尺度因子λ对类概率和包围框的误差进 行加权，同时为了反映出偏离在大的包围框中的影响比较小，使用包围框的宽和高的平方 根，最终的损失函数用公式(4)表示；式中，λ。。。^为在网格中对象坐标预测的尺度因子，A_bj为在网格中没有对象的边缘框 的尺度因子，表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中第j 个边缘框中没有对象存在，LT表示第i个网格中有对象存在，S 2表示被测图像中分割的网 格数目，B表示网格中的边缘柩的个数，Xi、毛分别表示第i个网格中对象在X轴上的实际坐标 值和预测坐标值， yi、j^分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值，Wl、 唪分别表示第i个网格中对象的实际宽度值和预测宽度值，lu、&分别表示第i个网格中对象 的实际高度值和预测高度值，C 1Ji分别表示第i个网格中的实际信任值和预测信任值，pi (c)、/),(i·)分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率;公式⑷中 的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第三项用 于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测。5. 如权利要求4所述的交通信号灯控制方法，其特征在于:所述的深度卷积神经网络， 在每个网格单元引入额外变量，用于表示在此网格存在物体的概率;这样在某一位置的车 辆的类别概率就可以计算出来，BP: Pr(Car) =Pr(Object) XPr(Car | Object) (5) 公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆的网 格处才更新，这样就能避免概率为0的问题。6. 如权利要求4所述的交通信号灯控制方法，其特征在于:所述的深度卷积神经网络， 在得到每个边缘框的类特殊置信度以后，设置一个阈值Tca ass，滤掉得分低的边缘框，对保留 的边缘框进行非极大值抑制处理，得到最终的检测结果。7. 如权利要求1所述的交通信号灯控制方法，其特征在于:所述交通信号灯控制算法的 具体步骤如下： STEPl:首先根据路口的各关键处被测图像中框出的各车辆位置与大小统计出车辆所 占面积，而积计筧方式如公式（6)所示；(6) 式中，WI, i为某关键处图像中在第i个网格中有车辆对象的宽度值，hi, i为某关键处图像 中在第i个网格中有车辆对象的高度值;A1,。"为路口的某关键处的被测图像中框出的各车 辆所占的面积;A。 ,car > Ae, car > As, car > Aw, car和An, car分别表示交叉□中间、东向、南向、西向和北 向下游入口处的车辆所占的面积，关键处ie{〇，E，S，W，N}; STEP2:然后计算关键处车辆所占面积与关键处的道路面积的比，用公式(7)计算得到 拥堵指数，(T) 式中，A1, TCiad为天键处的道峪囱枳，A1, car为被测图像的关键处各车辆所占的面积， Index1, _为某关键处的拥堵指数，关键处I e{〇，E，S，W，N}; STEP3:判断所有关键处的拥堵指数Index1,_>TC是否成立;Tc为拥堵指数阈值，如果都 不成立跳转到STEPl; STEP4:记录那个拥堵指数Indexi, CC)n>Tc的关键处的I，开始对拥堵时间进行计时； $ (6= Ti + AT J1表示某关键处的计时时间； STEP5:判断所有关键处的拥堵时间T1 > Tl是否成立，Tl为拥堵时间阈值，如果都不成立 跳转到STEPl; STEP6:将拥堵时间超过阈值关键处的非常态标识F1, c = 1，发送命令给信号灯控制器， 通知该关键处发生了拥堵，信号控制转入非常态信号灯强制控制模式； STEP7:判断所有关键处的IndeM,_彡0.7 X Tc是否成立，如果成立将非常态标识F1,C = 0, Ti = O，跳转到STEPl。8. 如权利要求1或7所述的交通信号灯控制方法，其特征在于:所述的关键处的道路面 积仏#^，是在安装好摄像机后，用户在图像中框定出图像中关键处的道路部分后，通过统 计计算图像中被框的像素方式得到的。9. 如权利要求1所述的交通信号灯控制方法，其特征在于:所述的关键处的图像，包括 了交叉口中间、东向、南向、西向和北向下游入口处的5幅透视图像，关键处Ie {〇，E，S，W， N}，在使用透视相机获取图像时分别覆盖交叉口中间、东向、南向、西向和北向下游入口处。10. 如权利要求1所述的交通信号灯控制方法，其特征在于:所述的关键处的图像，包括 了交叉口中间、东向、南向、西向和北向下游入口处的5幅透视图像，关键处Ie {〇，E，S，W， N}，在使用无死角的全方位视觉传感器或者利用安装高度来获取全景图像时，将全景图像 分割并展开成交叉口中间、东向、南向、西向和北向下游入口处5幅透视图像。
【文档编号】G08G1/01GK106023605SQ201610566637
【公开日】2016年10月12日
【申请日】2016年7月15日
【发明人】姹ゅ钩, 汤一平
【申请人】姹ゅ钩, 汤一平