基于HOG+CNN的交通标志的实时检测方法与流程

本发明属于智能交通领域，特别是基于hog+cnn的交通标志的实时检测方法。

背景技术：

随着科学技术的飞速发展以及国家城市智能化进程的不断加快，道路交通网络也在日趋完善。各种交通工具的普及，给人们节约了时间，提高了工作效率，同时也给人们带来了交通拥堵、交通噪声以及频发的交通事故等问题。智能交通是解决目前这些问题的一个重要途径。道路中的交通标志所传达的信息在交通行为中的规范、道路功效的保障以及道路状况的知识等方面都起着十分重要的作用。因此，如何在复杂道路环境中快速的自动的检测并识别交通标志是智能交通中不可或缺的一部分，具有极高的实用价值。近年来，各个国家的汽车生产制造商、科研机构以及高校都对这一方面进行了深入的研究。在国外，kim等人针对现实环境中的交通标示提出了一种结合标示颜色和形状特征的实时检测方法；anh等使用具有车载传感器的探测车辆沿着测试场所的道路检测交通标志；jackgreenhalgh等提出了一种基于hsv阈值理论的自动检测并识别交通标志文本信息的系统。在国内，华中科技大学的zhuy和zhangc等人提出了分为两个阶段的深度学习新框架来提高准确率和检测速度；蔡会祥设计了一种融合多个特征的道路交通标志检测方法；王斌等提出了一种基于roi和svm分类器的多尺度快速交通标志检测方法来解决实时性不高的问题；2001年美国威斯康星大学的liu和ran利用停止标志的特有颜色信息，用hsv模型把停止标志分割出来，然后对分割的部分采用人工神经网络进行分类，对实场景中的图像具有较高的识别率；jin等人使用hingeloss训练卷积神经网络，使用该方法在德国交通标志识别数据库上是的训练时间变短，还提高了识别率。

在道路交通网快速发展的今天，对交通标志检测算法进行研究具有重要的理论及实际意义。只有正确地检测到道路交通标志，交通标志识别系统才能可能准确地识别交通标志。因此想要构造完善的交通标志系统，必须先要有一个好的交通标志检测算法，但是在检测的过程中保证较好的检测实时性以及准确性。本发明是在复杂道路环境中的实时交通标志检测，对交通标志进行预处理，利用mser的交通标志区域提取，实现基于hog+svm的交通标志检测，提高检测交通标志类的实时性和准确性。

技术实现要素：

本发明给出了一种基于hog+cnn的交通标志的实时检测方法，主要检测的是中国道路中的交通标志，该方法包括以下步骤：

步骤s1：将待测图片做图像预处理；

步骤s2：基于mser的交通标志区域提取；

步骤s3：基于hog和svm的交通标志类别检测；

步骤s4：基于cnn的交通标志内容识别。

其中所述步骤s1进一步包括以下步骤：

步骤s11：基于常用颜色空间，采用一种处理交通标志颜色信息的颜色概率模型，以增强交通标志的特定颜色(如红色，蓝色和黄色)，抑制交通标志图像背景颜色；利用概率模型事先计算所有可能的概率p(ci|x)，并将结果离线存储在lut中；

步骤s12：使用直方图均衡化对图像进行处理，将不均匀的原始直方图变换为均匀分布的直方图，有效的增强模糊图像的细节，提高图像的对比度。

其中所述步骤s2进一步包括以下步骤：

步骤s21：将经过颜色概率模型以及直方图均衡化处理的交通标志图像使用mser分割算法进行分割，得到交通标志区域粗提取结果，其中包含了大量非交通标志区域；

步骤s22：使用mser改进算法，结合标志的灰度阈值以及长宽比进一步确定候选区域，对交通标志区域细筛选，剔除干扰区域。

其中步骤s3进一步包括一下步骤：

步骤s31：计算概率图中mser区域的hog特征，在与每张概率图上提取到的mser区域相同的位置上计算直方图均衡化处理后的灰度图的hog特征，将这两个梯度方向直方图结合在一起，形成颜色梯度方向直方图特征；

步骤s32：通过提取的颜色hog特征，训练多类svm分类器来检测交通标志得到检测结果；

步骤s33：交通标志给极大值抑制处理，剔除冗余的检测框。

其中步骤s4进一步包括以下内容：

步骤s41：对得到的分类后的图像进行预处理；

步骤s42：将预处理后的图片输入网络模型进行检测，得出交通标志的检测结果。

本发明的有益效果是：通过对交通标志进行预处理减少算法的搜索空间和检测时间，利用mser的交通标志区域提取以及基于hog+svm的交通标志检测，能够正确检测到交通标志部分遮挡、标志轻微褪色脱落以及小尺度变换等情况下的标志；对一些特殊条件下(阴雨天气，雾霾，角度变化，运动模糊等，排除大雨或者大雾等极端天气)的交通标志检测有较好的检测结果，对交通标志进行定位并作简单的识别，利用cnn可以识别出检测到的标志内容，减少cnn训练的时间，提高实时性。

附图说明

图1是本发明交通标志检测识别步骤图；

图2是本发明的步骤s1的框图；

图3是本发明步骤s4基于cnn交通标志识别的方框图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实例仅旨在便于本发明的理解，而对其不起任何限定作用。

本发明给出一种基于hog+cnn的交通标志的实时检测方法。如图1所示，具体的包括以下步骤：

步骤s1：将待测图片做图像预处理，如图2所示；

步骤s11：将待测的彩色图片基于常用颜色空间，采用一种处理交通标志颜色信息的颜色概率模型，将彩色图像转换成红，黄，蓝3种颜色的概率图(灰度图)，红颜色概率模型处理得到的红色概率图中的红色圆形禁令交通标志突出，其他特征被弱化，黄色以及蓝色概率图同理；由rgb空间向ohta空间的转换，概率的计算耗时，利用概率模型事先计算所有可能的概率p(ci|x)，并将结果离线存储在lut中，以减少算法的搜索空间和检测时间；

步骤s12：使用直方图均衡化对图像进行处理得到灰度图，设图像的直方图可用函数h(rk)＝nk表示，其中灰度[0,l-1],rk表示第k级的灰度值，nk表示灰度级为rk的个数，归一化的直方图用p(rk)＝nk/n，其中k＝0,1...,l-1。rk发生的概率为p(rk)，得其中k＝0,1...,l-1，将原图像分布比较集中的某些灰度区间处理为在整个灰度区间内大致均匀分布的图像，直方图均衡化增强了图像的对比度，使得图像在处理后分布更均匀。

进一步，在matlab中的处理：载入需要进行直方图均衡化处理的图像；因为直方图均衡化处理只能处理灰度图，故在此步骤将待处理图像转换为灰度图；计算图像中所有不同像素的强度分布；将得到的结果进行离散化处理得到新的像素值分布；最后得到处理结果。

步骤s2：利用mser的交通标志区域提取；

步骤s21：将经过颜色概率模型以及直方图均衡化处理的图像使用mser分割算法进行分割，得到交通标志区域粗提取结果，其中mser区域包含交通标志区域以及非交通标志区域；

进一步，mser数学定义为：

其中，qi表示阈值为i时连通区域的面积，δ为微小的阈值变化，q(i)为阈值是i时的区域qi的变化率。当q(i)为局部极小值时，则qi为mser。公式只能检测出灰度图像的黑色区域，无法测出具有黑色背景的白色区域，因此对图像进行mser操作后需要将其反转，将白色区域转化为黑色区域，再对转换后的图片进行mser区域筛选。

步骤s22：使用算法速度较快的mser改进算法，算法使用的最小变化率q(i)＝|qi-qi-δ|/|qi-δ|，为了减少mser处理时间，将mser算法中的灰度值的起点设置为60，终点为200；ctsd交通数据集中的场景图分辨率大都为1280×960，样本选取的最小尺寸为20×20，最大尺寸为380×378像素，所以设定最大面积为380×380，最小面积为20×20；进一步限定mser最小矩形的长和宽最小值设定为20，最大值设置为380，长宽比最大值设置为1.5，最小值设定为0.5。

进一步，概率图中的高强度表明交通标志颜色的存在，采用mser区域检测器找到稳定区域作为交通标志方案提取。概率图增交了提取最大稳定值和背景之间的对比度。如果强度大于阈值，则将概率图中的每个像素的值设置为1，否则设置为0。结合标志的灰度阈值以及进一步确定候选区域，对交通标志区域细筛选，剔除干扰区域，得到候选区域。

步骤s3：利用hog和svm的交通标志检测。

步骤s31：在每张概率图上提取mser，然后再提取的mser中计算hog特征，概率图强度高的像素凸显了交通标志的形状信息，抑制背景影响，对交通标志的色彩和形状信息编码；为了解决概率图不包括内部内容和交通标志图表的信息的问题，将与每张概率图上提取到的mser区域相同的位置上计算直方图均衡化处理后的灰度图的hog特征，将这两个梯度方向直方图结合在一起，形成颜色梯度方向直方图特征；

进一步，图像局部区域hog特征提取：gamma标准化，其公式i′(x,y)＝i(x,y)^gamma，其中i(x,y)表示在进行gamma标准化处理前图像中像素点(x,y)处的灰度值，i′(x,y)为gamma标准化处理后图像中像素点(x,y)处的灰度值，gamma＝1/2；图像梯度计算；构建单个细胞单元的hog；块内归一化hog；生成hog特征向量。

步骤s32：通过提取的颜色hog特征，训练多类svm分类器检测交通标志；

进一步，训练4类分类器，实现对3种交通标志及背景的分类：收集需要训练的样本，训练样本分为正样本和负样本，其中红色圆形交通标志类、黄色三角形交通标志类以及蓝色圆形交通标志类为正样本，所有背景类为负样本；对样本进行归一化处理；将样本图像名称写入txt文件，方便程序调用；hog特征的提取；svm分类器的训练。

步骤s33：交通标志给极大值抑制处理，剔除冗余的检测框，得到检测结果。

进一步，同一个交通标志所在的区域存在多个检测框，交通标志非极大值抑制处理使得一个交通标志值保留一个最优的框，主要做法：首先，将所有检测框的得分按从打到小排序，选出最高分对应的框，然后，再遍历其余得分小的检测框，如果得分小的检测框与当前得分最高的检测框的重叠面积大于阈值，就将该得分小的检测框删除，然后从未处理的框中集训选出一个检测框，重复上述过程。交通标志非极大值抑制处理结果。

步骤s4：基于cnn的交通标志内容识别，如图3所示。

步骤s41：对得到的分类后的图像进行预处理；

进一步，对训练样本进行灰度处理以及归一化处理，用于训练模型；

步骤s42：将预处理后的图片输入网络模型进行分类，得出交通标志的检测结果。

进一步，架构模型，采用7×7、5×5和3×3的卷积核，使用最大值采样的采样方法，relu为激活函数，进一步进行训练，其中训练步数为100，学习速率为0.001，动量为0.9，权值衰减设置为0.0005，dropout系数为0.5。

进一步，使用高斯核函数为初始化网络权值，从训练集中随机选择m个样本作为训练组，输入到网络中，经过逐层前后传播，计算每一层的网络输出，计算输出与预期的输出的误差，与阈值做比较，如果小于阈值则停止训练，否则继续训练，再进行误差的反向传播，利用梯度下降算法逐层更新权值，训练结束以后保存权值和阈值于文件中，再次训练时直接使用保存的阈值和权值；使用训练好以后的网络权值，从测试集中随机选择一个测试的样本作为网络的输出，使得样本进行前后向传播，计算网络输出并与测试样本标签进行比较，是否正确，并统计分类结果；训练测试样本直至结束，使用训练后的架构模型对待测的分类后的图片进行交通标志检测。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。