一种基于卷积网络的交通信号灯识别算法的制作方法

本发明涉及智能车辆的环境感知领域与交通安全领域，特别涉及一种基于卷积网络的交通信号灯识别算法。

背景技术：

近年来，全国民用汽车保有量持续增加，但是许多驾驶员并没有养成良好的驾驶操作习惯，因此导致交通事故的频繁发生。所以，提高交通运行安全成为了社会上的热点问题，有关车载辅助驾驶系统的研究也成为了热点。

在车载辅助驾驶系统中，交通信号灯识别尤为重要，它既可以辅助驾驶员驾驶，也可以帮助色盲、色弱者了解前方道路交通信号灯的状态。但是交通信号灯识别受距离影响而导致其远近尺度大小不一，再加上易受到外界条件(如遮挡、光照)的影响，所以实现鲁棒性检测与识别非常困难。

申请号为201610902205.8的中国发明专利申请公开了一种基于红外线的检测识别交通信号灯的方法及装置。利用车辆、交通信号灯周围安装的红外线装置、控制台三者来实现当前路口当前的信号灯信息传递。首先，车辆通过安装在路口的红外线发射装置来确定自己的位置，然后接受控制台发射的对应路口的交通信号灯信息。

但是该方法需要大量资金来建设基础设置，同时不能保证在任一城市该系统都可运用。

申请号为201510181832.2的中国发明专利申请公开了一种交通信号灯的定位方法。通过对交通信号灯图像进行扩展，并计算出图像的二值图，从中提取亮区面积、小面积亮区数目等多种信息，计算出当前为白天还是夜晚。若是白天，再结合黑色框架来定位信号灯。若是晚上则利用亮度信息。

该发明在白天需要标准的黑色背景框架信息，但是在很多地区交通信号灯背景板并不标准。所以，因此设计一个高效的实时的交通信号灯识别算法，具有重要的意义。

技术实现要素：

本发明的目的在于提供一种基于卷积网络的交通信号灯识别算法，以在车载环境下快速、精确的识别前方交通信号灯的颜色与形状，辅助车辆驾驶员驾驶，同时向色盲与色弱者提供当前道路的交通信号灯信息。

说明：

1)根据我国《gb14886-2006道路交通信号灯设置与安装规范》，对智能汽车驾驶具有意义的信号灯主要是：机动车信号灯与方向指示信号灯。因此，本发明中所述的交通信号灯仅为机动车信号灯与方向指示信号灯；

2)本发明中所述的交通信号灯一级分类包括横向交通信号灯、竖向交通信号灯、非交通信号灯；

3)本发明中所述的区域均为矩形；

4)本发明中所述的颜色包括红色、绿色、黄色；

5)本发明中所述的交通信号灯形状包括圆形、左转箭头、直行箭头、右转箭头。

本发明实施例提供了一种基于卷积网络的交通信号灯识别算法，所述算法包括：

原始图像采集与处理模块，用于采集车辆行驶前方的图像数据，并对图像分辨率进行处理，得到rgb色彩空间的输入图像。

输入图像特征提取模块，用于依靠多层卷积特征提取器从所述的输入图像中提取特征，得到卷积特征图。

候选区域获取模块，用于依靠滑动窗口从所述的卷积特征图中获取信息，并将滑动窗口与所述的输入图像中的某一块区域建立映射关系，以此得到图像区域集合，同时获取所述每个图像区域中交通信号灯区域的精确位置。最终从所述的图像区域集合中挑选出最有可能包含交通信号灯的图像区域，生成候选区域集合。

交通信号灯候选区域获取模块，结合滑动窗口信息以及全连接与奇异值分解，得到所述的候选区域集合中每个候选区域的特征向量，进而从中分离出含有交通信号灯的候选区域，生成交通信号灯候选区域集合。

交通信号灯检测模块，用于通过位置回归器来确定所述的每个交通信号灯候选区域在输入图像中的精确位置，结合模块13，最终得到每个交通信号灯候选区域中交通信号灯区域在所述的输入图像中的精确位置。所述的精确位置包括矩形框的中点坐标、矩形框的长与宽。颜色与形状识别模块，用于将所述的交通信号灯区域从rgb色彩空间转化为hsv色彩空间，分割出交通信号灯背景板的二值图像，并根据交通信号灯背景板的特征、交通信号灯发光部分的特征以及交通信号灯一级分类，确定交通信号灯的颜色与形状。所述交通信号灯背景板的特征包括交通信号灯背景板区域的明度、几何特征。所述的交通信号灯发光部分的特征包括圆形度、几何特征、连通域大小以及发光部分相对于所述的交通信号灯背景板的二值图像的相对位置。

识别结果输出模块，用于产生相应的语音、文字等提示信息，输出识别结果。

本发明的优点为：

本发明充分运用了卷积计算的优点，能够降低光照、遮挡、车辆运动对识别精度的影响，提高抗干扰能力。

本发明中的多层卷积特征提取器可根据实际需求扩大、缩小、更新。

本发明的应用场景为任意含有交通信号灯的道路。

本发明不会影响车辆结构，对使用车辆无限制。

本发明提供音频信息，可完成辅助驾驶功能，同时向色盲与色弱者提供当前交通信号灯信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中交通信号灯识别系统结构示意图；

图2为本发明实施例中多层卷积特征提取器示意图；

图3为本发明实施例中竖向交通信号灯的示意图；

图4为本发明实施例中箭头信号灯形状判断示意图。

具体实施方式

如图1所示，交通信号灯识别算法包含原始图像采集与处理模块11、输入图像特征提取模块12、候选区域获取模块13、交通信号灯候选区域获取模块14、交通信号灯检测模块15、颜色与形状识别模块16以及识别结果输出模块17。

原始图像采集与处理模块11，用于采集车辆行驶前方的图像数据，并对图像分辨率进行处理，得到rgb色彩空间的输入图像。

原始图像由固定于车辆前端的车载摄像头拍摄，，用于采集车辆行驶前方的图像数据。模块将对所述原始图像的分辨率进行调整，得到系统的输入图像。

采用以下公式对所述的原始图像分辨率进行调整：

其中pw、ph为所述的原始图像的长与高，npw、nph是所述的输入图像的长与高。

输入图像特征提取模块12，用于依靠多层卷积特征提取器从所述的输入图像中提取特征，得到卷积特征图。

将所述的输入图像输入到所述的多层卷积特征提取器中，多层卷积特征提取器结构如图2所示，可得到所述输入图像的n张卷积特征图，优选地，n可以为512。所述的卷积特征图的长与高相比于所述的输入图像的长与高均缩小了16倍。

多层卷积特征提取器中主要包含卷积、特征抽取、网络激活三个操作。采用以下公式对所述输入图像进行卷积操作：

其中代表第1个卷积层的第j个特征图数值，w代表卷积参数，b代表偏置参数，f()代表网络激活函数。采用以下公式对所述输入图像进行特征抽取操作：

其中代表第l个卷积层的第j个特征图数值，w代表卷积参数，b代表偏置参数，f()代表网络激活函数，down()代表最大值提取操作。

采用以下公式对所述输入图像进行网络激活：

f(x)＝max(0，x)

候选区域获取模块13，靠滑动窗口从所述的卷积特征图中获取信息，并将滑动窗口与所述的输入图像中的某一块区域建立映射关系，以此得到图像区域集合，同时获取所述图像区域中交通信号灯区域的精确位置。最终从所述的图像区域集合中挑选出最有可能包含交通信号灯的图像区域，生成候选区域集合。

利用大小为x*x的滑动窗口从所述的卷积特征图中得到信息，优选地，x可以为3根据输入图像与卷积特征图的坐标关联性(即输入图像的某像素点坐标参数除以16，则可得到其在卷积特征图中所对应的坐标)，利用三种不同尺寸以及三种不同长宽比将滑动窗口与输入图像之间建立映射关系。即用滑动窗口的信息来代表输入图像中的某一块区域。

所述的不同长宽比分别为1:1，1:2，2:1，所述的不同尺寸其长与宽均大于等于48，且为16的倍数即可，例如48x48,96x192等。进而，可以得到一组图像区域的集合。

根据图像区域滑动窗口的信息，目标判别器(cls)将得到所述的图像区域中可能含有交通信号灯的概率，而坐标回归器(reg)将得到所述的图像区域中交通信号灯区域的精确位置。

采用以下公式得到所述的图像区域中交通信号灯区域的精确位置：

其中x，xa分别表示交通信号灯区域的中点的x轴坐标值，图像区域的中点的x轴坐标值，wa，tx为坐标预测参数。y、w、h三个参数组则代表纵轴、宽、高。

从所述的图像区域集合中选取交通信号灯概率排名前m的区域，结合相应的位置信息，组成候选区域集合。优选地，m可以为200。

在实施例中，模块12依靠多层卷积特征提取器来提取所述输入图像的特征，模块13依靠目标判别器、坐标回归器来得到所述的某一图像区域包含交通信号灯的概率以及交通信号灯区域。为了使系统能更好的获取这些信息，在实际设计时具体包括：训练部分和检测部分。训练部分具体为：首先，选取大量的包含交通信号灯的图像，并对这些图像中的交通信号灯区域进行标注，得到交通信号灯的真实区域。系统将根据标注信息与交通信号灯的真实区域，自动生成大量的正样本与负样本，然后不断将这些正负样本带入多层卷积特征提取器、目标判别器、坐标回归器中优化其中的参数值，以此得到系统所使用的多层卷积特征提取器、目标判别器、坐标回归器。举个例子，某一图像中包含交通信号灯，通过标注，系统将得到所述图像中交通信号灯的真实区域，滑动窗口则将不断向系统提供图像中的某一区域。若所述的图像中的某一区域与真实区域的交集除以它们的并集大于0.7，系统将这一区域认定为正样本，小于0.3则认定为负样本。目标判别器可根据所述的正负样本信息与滑动窗口提供的信息，优化参数，以更好的判断所述图像中的某一区域中可能含有交通信号灯的概率。经过训练，使各类判别器的参数达到收敛。检测部分：利用已经确定参数的系统，从所述输入图像中得到候选区域集合。

交通信号灯候选区域获取模块14，用于从候选区域所对应的滑动窗口中获取信息，然后利用全连接与奇异值分解得到所述的候选区域集合中每个候选区域的特征向量，进而从中分离出交通信号灯候选区域集合。

首先，将所述的候选区域所对应的滑动窗口特征输入到全连接网络中，得到目标候选区域的4096维特征向量。

在特征向量计算中利用奇异值分解，加快计算速度。

采用以下公式完成奇异值分解：

w≈u∑tv^t

其中w是权重矩阵，u是左奇异向量，∑t是对角矩阵，v^t是右奇异向量。

将目标候选区域的特征向量输入到softmax分类器中，得到每个候选区域的一级分类及各种分类的概率，通过阈值θ分离出交通信号灯的候选区域及其一级类别。

采用以下公式进行softmax概率判断：

其中，wk表示交通信号灯候选区域为类别k的概率，xk表示交通信号灯候选区域为类别k的参数。当wk大于阈值θ时，则将所述的交通信号灯候选区域认定为类别k。

上述的阈值θ为多次计算后的经验值。优选地，θ可以为0.85。

交通信号灯检测模块15，用于通过位置回归器来确定所述的每个交通信号灯候选区域在输入图像中的精确位置，结合模块13，最终得到每个交通信号灯候选区域中交通信号灯区域在所述的输入图像中的精确位置。所述的精确位置包括矩形框的中点坐标、矩形框的长与宽。

通过将所述的交通信号灯的候选区域在输入图像中的粗略位置信息输入位置回归器中，得到交通信号灯的候选区域在输入图像中的精确位置。

采用以下公式得到所述交通信号灯的候选区域在输入图像中的精确位置：

其中，p表示候选区域在输入图像中的粗略位置，f表示候选区域在输入图像中的精确位置。x，y，w，h分别表示交通信号灯的候选区域的中点x、y、长与度。d*(p)表示位置调整函数。

在得到交通信号灯的候选区域在输入图像中的精确位置后，结合模块13，可最终得到每个交通信号灯候选区域中交通信号灯区域在输入图像中的精确位置。颜色与形状识别模块，用于将所述的交通信号灯区域从rgb色彩空间转化为hsv色彩空间，分割出交通信号灯背景板的二值图像，并根据交通信号灯背景板的特征、交通信号灯发光部分的特征以及交通信号灯一级分类，确定交通信号灯的颜色与形状。所述交通信号灯背景板的特征包括交通信号灯背景板区域的明度、几何特征。所述的交通信号灯发光部分的特征包括圆形度、几何特征、连通域大小以及发光部分相对于所述的交通信号灯背景板的二值图像的相对位置。

hsv是色彩空间的一种，其中v通道代表了色彩的明度。

采用以下公式将所述的交通信号灯区域转换到hsv色彩空间：

所述交通信号灯背景板的特征包括背景板的颜色，发光情况，且竖向交通信号灯长宽比大于3，如图3所示，a/b一般情况下大于3。横状向通信号灯长宽比小于0.33。

采用以下公式将交通信号灯区域二值化：

其中point(x，y)表示交通信号灯区域的一个像素点，(x，y)是像素点的坐标，r,b,g表示该像素在rbg色彩空间的值，v表示该像素在hsv中v通道的值。

t2与t1是统计后得到的阈值。通常的，t1可以为160，t2可以为80。

以竖向交通信号灯为例，如图3：

在得到交通信号灯区域二值图像后，从中分割出交通信号灯背景板二值图，并得到输入图像中对应的交通信号灯背景板的原图，然后将所述的交通信号灯背景板的原图的大小调整为51*15。

再次利用hsv色彩空间对所述交通信号灯背景板的原图做二值化处理，此时仅将t2＜200作为约束条件，得到背景板二值图。

将所述的背景板二值图，从上到下分割为3部分，分别代表红色发光区域、黄色发光区域、绿色发光区域，如图3所示。

采用以下公式计算三种区域内各自的发光像素值：

li＝sum(point(xi，yi))(i∈area(i))

其中，i代表由上到下的3个区域，l代表区域内的像素值和，area代表区域范围。最后，l值最大的区域即为交通信号灯发光区域，由此可得到所述的交通信号灯区域的颜色信息，并获取所述的交通信号灯发光区域在输入图像中的原图。利用hsv色彩空间对交通信号灯发光区域在输入图像中的原图进行二值化操作，仅将t2＜160作为约束条件，得到发光区域二值图。

对所述的发光区域二值图进行预处理，包括形态学处理以及几何特征过滤。

对所述的发光区域二值图进行闭运算，获取连通域，再选取其中面积最大的连通域，此连通域为发光信号灯。

通过圆形度信息，利用阈值t3对所述的发光信号灯的形状是否为圆形进行判断，优选地，t3可以为0.85。

当t3小于阈值时，所述的发光信号灯的形状为直行箭头或左转箭头或右转箭头。

根据所述的交通信号灯几何特征，假设所述的发光区域二值图横轴轴长度为a，纵轴宽度为b，如图4所示。

在第一行中找到发光像素点，得到上端发光像素点的列均值。

采用以下公式得到上端发光像素点的列均值：

其中ul为上端发光像素点的列均值，li表示发光像素点为第几列，n为第一行发光像素点的总数。同理可得到下端发光像素点的列均值dl，以及图像中点bl＝b/2。

根据ul、dl、bl，将所述的发光区域二值图分割为四个部分，计算该部分的参数si。

采用以下公式计算si：

其中，nlie表示该部分所包含列数，i表示该部分左端的列号，n表示该部分右端的列号。对s1与s2来说，dii表示该列最上端的发光像素点距离第一行的行数差。对s3与s4来说，dii表示该列最下端的发光像素点距离最后行的行数差。

最后，根据si的大小关系来确定箭头状交通信号灯的形状。

s1＞s2ands4＞s3，为左转箭头。

s1＜s2ands4＜s3，为右转箭头。

s1＞s4ands2＞s3，为直行箭头。

最终得到交通信号灯的颜色与形状。

识别结果输出模块17，用于产生相应的语音、文字等提示信息，输出识别结果。

根据所述的交通信号灯颜色与形状，在识别出交通信号灯的状态时给予对应的声音等提示信息。如“左转方向为绿灯，直行方向为红灯”等相似的语音信息。

综上所述，本发明通过对交通信号灯的识别，可以辅助驾驶员驾驶，并帮助色盲、色弱者了解前方交通信号灯的信息。