一种基于机器视觉的智慧交通灯控制系统及方法与流程

本发明涉及机器视觉，具体为一种基于机器视觉的智慧交通灯控制系统及方法。

背景技术：

1、

2、目前，大多数城市对交通灯控制设计的处理是：事先对车流量进行统计调查，或者在交通路口安装感应类传感器，通过计算得出一般的红绿灯变换时间。然而，在实际中车流量是不断变化的，在不同时间段有的道路的车流量变化是非常大的。而感应式控制易受环境干扰，且在安装过程中会造成对道路的破坏，施工难度大，成本高。其次，交通路口可能会出现各种复杂的情况，需要一种新型的交通灯控制系统来解决这些困扰。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于机器视觉的智慧交通灯控制系统及方法，具备实时性、易扩展性等优点，解决了交通灯在面对复杂情况处理不及时的问题。

3、(二)技术方案

4、为解决上述交通灯在面对复杂情况处理不及时的技术问题，本发明提供如下技术方案：

5、本实施例公开一种基于机器视觉的智慧交通灯控制方法，包括以下步骤：

6、s1、根据安装的摄像头拍摄道路交通图像；

7、s2、将拍摄到的道路交通情况图像实时传输至图像处理模块，图像处理模块对图像进行处理，提取图像中的特征；

8、s3、基于提取的特征对多帧图像进行对比，分析当前道路交通情况，并基于分析结果对交通灯进行调控。

9、进一步地，在所述图像处理模块对图像进行处理，提取图像中的特征之前，还进行图像的预处理；将预处理后的图像进行图像处理模块处理；

10、图像的预处理包括以下步骤：

11、s21、连续拍照的四张拍摄道路交通图像构建成一组；

12、s22、基于每组图像的大小通过对图像进行尺寸调整和比例缩放后，将其组合成一张图像，组合完成的图像为预处理后的图像，每一张预处理后的图像分别标记为一帧图像；

13、或者，直接将摄像头拍摄得到道路交通图像输入至图像处理模块中进行处理。如此，摄像头每拍摄一张道路交通图像分别标记为一帧图像。

14、进一步地，所述基于每组图像的大小通过对图像进行尺寸调整和比例缩放后，将其组合成一张图像步骤包括：

15、s221、将四张图像根据基准点，经过尺寸调整和比例缩放后，放置在指定尺寸的图像的左上，右上，左下，右下位置；

16、s222、设定图像处理过程中需保证需要416×416尺寸的图像，则需要对超过尺寸的图像进行调整；

17、所述对超过尺寸的图像进行调整步骤包括：

18、设定，图像原始尺寸为800×600，计算其转化为416×416所需的缩放比例；

19、

20、得到0.52和0.69两个缩放系数。选取其中小的缩放系数作为图像缩放系数；

21、缩放后不足的图像部分用灰色填充；

22、s223、完成四张图像的调整后，将四张图像按照放置位置组合成一张图像；

23、进一步地，所述将组合完成的图像输入到卷积神经网络对组合图像进行特征提取步骤包括：

24、进一步地，将拍摄到的道路交通情况图像实时传输至图像处理模块，图像处理模块对图像进行处理，提取图像中的特征具体为：将图像输入到卷积神经网络对组合图像进行特征提取，包括以下步骤：

25、s231、将输入图像划分成n个小区域图像数据块；

26、s232、接收到输入图像数据块后卷积层通过卷积核按照设置的步长在输入的图像数据块上移动，并在每一步的相应区域上与该区域的特征值进行乘积累加，以此实现对每个图像数据块的特征提取；

27、卷积计算公式如下所述：

28、f(x)＝i(x)·w+b

29、其中，i(x)表示输入特征，w表示对应卷积核的权值，b表示偏置值；

30、s233、在神经网络中，上一层的输出会作为下一层的输入；

31、在将数据输入到下层的过程中经过激活函数的处理；

32、设定上层输出作为下层的输入其输入值为xi(i＝1,2,...,n)，每个输出值xi相对应的输入权值为wi，b为偏移量，将这些输入值输入到该神经元后得到的输出结果为：

33、

34、其中，g(·)为对应的激活函数；

35、s234、在不断堆叠的卷积和池化过程中通过scse算法对图像数据块的特征进行

36、优化；

37、s235、将优化后的图像数据块的特征传入全连接层；

38、s236、通过全连接层将特征数据进行展开组合，得到一个特征数组，并保存；

39、进一步地，所述不断堆叠的卷积和池化过程中通过scse算法进行优化包括；

40、scse算法是sse，cse算法的结合；

41、sse首先对图像数据块的特征进行1×1卷积，使通道维数降为一维，然后经过sigmoid函数，进行数据归一化并与原图像数据块的特征相乘，完成对图像数据块特征空间信息的筛选；

42、cse先将图像数据块的特征通过全局平均池化降维成一维；然后使用两个连续1×1卷积进行处理之后，经过sigmoid函数归一化作用与原图像数据块的特征相乘，得到信息筛选后的图像数据块的特征图；

43、scse具体计算公式如下所示：

44、

45、其中，输入图像数据块的特征为u＝[u1,u2,...,uc]，每个通道ui∈rh×w，z为输入特征经过池化后的输出，z∈r1×1×c，zk为k位置对应的元素值，经过两个一维向量卷积的输出为：

46、

47、其中，为经过sigmoid函数归一化后得到的输出，sigmoid函数：

48、在输入特征图v＝[v1,1,v1,2,...vi,j,...vh,w]中，h，w为特征图尺寸，(i，j)为特征图空间位置，卷积降维公式为：

49、q＝wsq×v

50、

51、其中，w为输入特征经过池化后的输出，wsq∈r1×1×c为sq位置对应的元素值，σ(q1,1)为经过sigmoid函数归一化后得到的输出，r1×1×c表示高为1，宽为1，长为c的图像数据块；

52、scse算法总体过程表示为对两种算法的先后使用过程：

53、

54、进一步地，所述s3包括：

55、将第一帧图像传输至图像处理模块中进行特征提取，然后识别出物体且保存特征值，并得到第一帧图像中目标的坐标位置；对下一帧图像进行特征提取，获取新的坐标位置，与上一帧图像的特征值进行对比，若重合度高于设定值，如设定值为80％，判断是为同一个目标，否则，对不同目标；

56、s31、基于拍摄的多帧图像的对比判断当前道路交通情况；

57、首先是第一帧图像分析，得出第一帧图像中目标结果之后进行从1号开始的标号；然后对下一帧图像进行分析会得到下一帧图像中的目标，判断是否与上一帧有共同的目标，若是，仍使用原来的标号；否则，代表有新的车辆驶入检测范围中，增加新的标号；

58、s32、依次在不同帧图像之间循环操作，计算检测时刻所在交通路上的车流量；

59、s33、基于检测道路中车量的通过率对信号灯进行调整；

60、

61、其中，p为检测时间段内道路中车量的通过率，m为检测时间段内车流量总数，t为设定的一段检测时间段；

62、当通拍摄多帧图像检测到当前道路存在异常情况时，会上报应急处理模块，由应急处理模块对交通灯进行调控；

63、进一步地，所述基于检测道路中车量的通过率对信号灯进行调整包括：

64、设定车辆通过率阈值，当检测时间段内车辆通过率小于设定阈值，延长绿灯时间，当检测时间段内车辆通过率超过阈值，保持不变；

65、进一步地，所述应急处理模块对交通灯进行调控包括：

66、当应急处理模块接收到应急信号时，会根据产生的不同条件采取如下应对措施：

67、通过事先对带有各种特种车辆特征的图像进行收集，进行车辆识别，然后与视频数据识别的结果进行对比，以此判断其中是否有特种车辆，如警车、救护车等；当视频数据中存在特种车辆，调控交通灯变为绿色，保障特种车辆通行；

68、若是接收到远程命令所产生的应急信号，则对信号的数据进行分析，得到具体的数据，不同的数据对应不同的功能，如表1所示：

69、表1

70、

71、

72、接收到的数据经过分析之后若为000，则交通灯立即从当前状态跳转为红灯状态，若本身就是红灯状态则保持不变，显示红灯；若为001，则表示为警示状态，使用黄灯与原状态交替显示；若为010，则表示只允许直行通过，其他的跳转至红灯状态；若为011则表示则表示只允许左转通过，其他的跳转至红灯状态；若为100，则表示则表示只允许右转通过，其他的跳转至红灯状态；

73、若接收到的是现场紧急按钮应急信号，则交通灯跳转到红灯状态，然后自动联系急救中心和报警中心，并发送自己的位置；

74、若是内部产生的应急信号，则会自动联系最近的交管部门，并发送自身位置再由临近的交管部门通过调看现场视频决定是否联系急救中心，或采取其他措施。

75、(三)有益效果

76、本发明通过scse算法可以有效的筛选特征提取中产生的冗余特征信息，降低模型的错检率，增强卷积神经网络的性能。

77、本发明通过对提取特征的多帧对比，增强了图像之间的对比度，并通过对图像中每个目标结果进行标号，提高了图像的识别率。

78、本发明通过根据不同分析结果产生的不同的信号来实现对交通灯的控制，保证交通灯控制的唯一性与实时性，降低了交通灯的错误率。

79、本发明通过yolo算法，通过选取四帧图像作为一组，并通过图像尺寸调整和比例缩放的方式，将四帧图像组合成一张，进而根据对合成图像的特征进行提取，并通过不断卷积的方式提高了图像检测的准确率和实时性。