技术领域：
本发明属于交通标志检测与识别
技术领域：
，更为具体地讲，涉及一种多特征协同的交通标志检测与识别方法。
背景技术：
：随着经济与技术的发展，智能交通技术得到了大力的发展，交通标志的检测与识别作为智能交通技术的一个重要组成部分，得到了越来越广泛的重视。交通标志的检测与识别一般是根据所拍摄的道路图像，首先对道路图像进行预处理，然后从道路图像中检测出交通标志，最后再进行分类识别。交通标志检测的任务是在输入的图像中检测交通标志的位置，应具有低漏检率、低误检率的特点。其中低漏检率是最关键的指标，因为交通标志检测是后续的交通标志识别的基础，前者为后者提供了识别的对象。一旦检测的过程漏掉某个标志，将会直接导致整个交通标志检测与识别系统漏掉这个交通标志。针对交通标志形状规则、颜色鲜明的特点，学者们提出了很多基于形状、基于颜色、基于模板的检测方法。从2013年的德国交通标志检测大赛公布的结果来看，基于模板的方法在准确率方面具有很大的优势，对光照、遮挡等多种不利条件都有很好的适应能力。但是这类方法的运算量普遍较大，难以满足实时性的要求。对于交通标志的识别而言，是一个多类别的分类问题，因此很多模式识别算法被引入交通标志的识别中来，包括模板匹配、稀疏编码、SupportVectorMachine(SVM)，DeepNeuralNetworks(DNN)，Adaboost算法等等。CNN(ConvolutionalNeuralNetwork,卷积神经网络)相对于其他机器学习算法来说，由于其具有自动提取特征的特性而被广泛关注。但是普通直线型CNN网络在交通标志识别过程中，由于后一层的输入只和前一层的输出有关，对于那些过小且模糊图像的识别能力还是有限制的。技术实现要素：本发明的目的在于克服现有技术的不足，提供一种多特征协同的交通标志检测与识别方法，采用交通标志的多种特征协同完成交通标志的检测与识别，降低交通标志的漏检率和误检率，提高交通标志的识别效果。为实现上述发明目的，本发明多特征协同的交通标志检测与识别方法，其特征在于包括：S1：根据交通标志的颜色特点对交通标志进行分类，每个颜色类别分别获取若干张交通标志样本图像；对于每张交通标志样本图像，提取各个像素点的颜色特征，根据颜色特征对该交通标志样本图像的所有像素进行聚类，聚类数量为N+1，N为交通标志的主要颜色数量，将每类交通标志样本图像中各样本图像中对应聚类的像素点合并，得到该颜色类别的N+1个样本集，对每个样本集建立对应的高斯模型；S2：对于每个颜色类别的交通标志，根据其对应的N+1个的颜色概率模型计算各个R,G,B值属于各颜色的概率p(ci|x)，x表示像素点R,G,B值，ci表示颜色，i＝1,2,…,N+1；从该颜色类别的N种主要颜色中选取一种颜色作为代表颜色，记为ci′，然后对代表颜色的概率进行归一化得到其归一化概率建立各个R,G,B值属于代表颜色的概率查找表；S3：将交通标志根据形状分为M类，每个形状类别建立一个基于HOG特征的形状分类器，其训练方法为：对于每个形状分类器，获取两类样本图像，一类为对应形状的交通标志样本图像，另一类为其他图像；统一样本图像尺寸，提取每张样本图像的HOG特征，将HOG特征作为形状分类器的输入，是否为所属形状类别的判定值作为形状分类器的输出，训练得到对应形状类别交通标志的形状分类器；S4：按照交通标志的形状类别数M，对每一个形状类别的交通标志分别设置一个识别模型，每个形状类别分别获取若干张交通标志样本图像；先对所有样本图像进行预处理，包括统一图像尺寸和对比度增强；采用每个形状类别预处理后的样本图像对其识别模型进行训练，每次训练完毕后将预处理后的交通标志样本图像随机排序然后分组，设置Q种畸变方式，对每组样本图像在Q种畸变方式中随机选择q种畸变方式按照随机顺序对样本图像进行畸变处理，采用畸变处理后的新样本图像对其识别模型进行训练，直到达到训练结束条件；S5：遍历待检测的交通图像中的各个像素，根据每个代表颜色的概率查找表，计算每个像素点属于该类颜色的概率，得到待检测交通图像在每个代表颜色下的概率图，然后转换为灰度图；利用MSER算法检测各灰度图中的灰度变化稳定区域，去除稳定区域中高宽比在预设高宽比范围以外的区域，剩余的稳定区域作为候选窗口；S6：将候选窗口尺寸调整至形状分类器输入尺寸，提取每个候选窗口对应图像块的HOG特征，输入各个交通标志形状分类器，判断该候选窗口是否为交通标志的形状类别，如果是，则说明该候选窗口存在交通标志，交通标志的形状即为对应形状分类器所进行判定的形状，否则不存在交通标志；S7：对于步骤S6判断结果为存在交通标志的候选窗口，提取对应图像，调整至识别模型的输入图像尺寸，并按照步骤S6判定的交通标志形状，将尺寸调整后的交通标志图像输入对应形状的识别模型，得到识别结果。本发明多特征协同的交通标志检测与识别方法，先通过交通标志样本图像建立各个颜色类别交通标志的颜色概率模型，选择各个颜色类别交通标志的代表颜色，计算得到各个代表颜色的概率查找表，同时训练得到各个形状类别交通标志的形状分类器以及识别模型，对于待检测交通图像，先使用各个代表颜色的概率查找表得到待检测交通图像的概率图，然后转换为灰度图，利用MSER算法检测各灰度图中的灰度变化稳定区域，将符合预设高宽比范围的区域作为候选窗口，将各个候选窗口采用各个交通标志形状分类器判定是否存在交通标志，对于存在交通标志的候选窗口，采用对应形状的识别模型进行交通标志识别。本发明在交通标志的检测与识别过程中，采用了颜色和形状特征两种特征的结合来协同完成检测，从而提高了检测效率，提高了交通标志的识别效果。附图说明图1是本发明多特征协同的交通标志检测与识别方法的具体实施方式流程图；图2是禁令标志的示例图；图3是交通标志样本图像聚类结果示例图；图4是畸变效果示例图；图5是卷积神经网络结构图；图6是第一卷积层的卷积核及卷积结果；图7是第二卷积层的卷积核及卷积结果；图8是待检测交通图像；图9是待检测交通图像根据红色概率查找表得到的概率图；图10是图9所示概率图对应的灰度图；图11是MESE算法检测得到的灰度变化稳定区域结果图；图12是待检测交通图像的候选窗口图；图13是待检测交通图像的交通标志检测结果图；图14是直线型卷积神经网络(网络1)与多列型卷积神经网络(网络2)的误识别率对比图。具体实施方式下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。实施例图1是本发明多特征协同的交通标志检测与识别方法的具体实施方式流程图。如图1所示，本发明多特征协同的交通标志检测与识别方法包括以下步骤：S101：建立颜色概率模型：根据交通标志的颜色特点对交通标志进行分类，每一类分别获取若干张交通标志样本图像。对于每张交通标志样本图像，提取各个像素点的颜色特征，根据颜色特征对该交通标志样本图像的所有像素进行聚类，聚类数量为N+1，N为交通标志的主要颜色数量，也就是说交通标志的各个主要颜色分别为一类，剩下一类为背景色，聚类方法可以根据需要进行选择。将每类交通标志样本图像中各样本图像中对应聚类的像素点合并，得到该分类的N+1个样本集，对每个样本集建立对应的高斯模型，并且计算每个颜色类别下各样本集的先验概率。对于交通标志图像来说，其颜色主要由N+1中颜色构成(前N种为构成交通标志的主要颜色，第N+1种为背景)，例如除开背景色之后，警告标志的主要颜色为黄色和黑色，禁令标志的主要颜色为红色、黑色和白色，指示标志的主要颜色为蓝色和白色。图2是禁令标志的示例图。图2中的禁令标志均为限速标志。因此交通标志的颜色特点还是较为明显的。在建立颜色概率模型时，可以根据需要选择颜色特征。由于自然场景下的交通标志受到不同条件(背光、强烈光照等)的光照影响，为了使颜色概率模型更为准确，本实施例中提出了一种采用颜色不变量(colorinvariance)作为颜色特征。根据Geosebmek等人建立的高斯光谱模型，彩色图像各像素值(R,G,B)和高斯彩色模型的参数(E,Eλ,Eλλ)的关系为：EEλEλλ=HRGB]]>其中H为3×3的系数矩阵，近似为然后计算得到Cλ和Cλλ是色彩衡量，与视角、光照强度、表面朝向、照明方向无关。因此本实施例中优选色彩衡量Cλ和Cλλ作为各个像素的颜色特征。每个颜色类别下各样本集的先验概率的计算公式为：p(ci)=ncin]]>其中，ci表示第i个样本集，i＝1,2,…,N+1，表示属于ci的像素点个数，n表示颜色类别下所有样本像素点的个数。图3是交通标志样本图像聚类结果示例图。如图3所示，该交通标志样本图像为禁令标志，其主要颜色有三种，因此令聚类数量为4，采用kmeans聚类方法进行聚类。可见，该交通标志样本图像中的像素点被很好地分为了4个类。对所有的红色禁令交通标志样本采用同样的方式进行聚类，将对应聚类的像素点进行合并，得到4种颜色的样本集。然后对每个样本集建立高斯模型。通过对样本集元素的分析，为了提高模型的鲁棒性，本实施例中对红色、黑色、背景样本集分别建立混合高斯模型，对白色样本集建立单高斯模型。S102：计算交通标志颜色概率查找表：对于每个颜色类别的交通标志，根据其对应的N+1个的颜色概率模型计算各个R,G,B值属于各颜色的概率p(ci|x)，x表示像素点R,G,B值，ci表示颜色，i＝1,2,…,N+1。由于各个颜色类别的交通标志，可以选择出一个代表颜色，即可以将该颜色类别与另一个颜色类别完全区分的颜色，例如警告标志的代表颜色为黄色，禁令标志的代表颜色为红色，指示标志的代表颜色为蓝色，因此从其N种主要颜色中选取一种颜色作为代表颜色，然后对代表颜色进行归一化得到其归一化概率，建立各个R,G,B值属于代表颜色的概率查找表。对于像素点x＝(r,g,b)，其属于颜色ci的概率为：p(ci|x)=p(x|ci)p(ci)p(x)]]>在一张具体的图片中，p(x)是确定的，所以可以认为：p(ci|x)≈p(x|ci)p(ci)又由上一步得到的颜色概率模型，可以直接得到p(x|ci)：N(x;ucij,Σcij)=12πΣcijexp-12(x-ucij)Σcij-1(x-ucij)T]]>p(x|ci)=Σj=1KλkN(x,ucij,Σcij)]]>式中，表示颜色ci的高斯模型中第j个高斯模型的均值，表示颜色ci高斯模型中第j个高斯模型的协方差，K表示颜色ci的高斯模型数量。由此可以确定p(ci|x)。p(ci|x)=p(x|ci)p(ci)=p(ci)Σj=1KλkN(x,ucij,Σcij)]]>记代表颜色为ci′，其归一化后的概率为：p~(ci′|x)=p(ci′|x)Σi′=1N+1p(ci′|x)]]>由此，就可以计算出每一个像素点属于代表颜色ci′的概率。为加快检测速度，本发明根据颜色概率模型，计算每个颜色类别的代表颜色的离线概率查找表。代表颜色就是可以将该颜色类别与其他颜色类别区分开的颜色。以红色禁令交通标志为例，针对其红色特征比较明显的特点，计算红色概率查找表，含有256^3个元素，这样对于任意一个像素点，都可以根据其R,G,B值直接查表得到其属于红色的概率。S103：训练交通标志形状分类器：将交通标志根据形状分为M类，每个形状类别建立一个基于HOG((HistogramofOrientedGradient，方向梯度直方图)特征的形状分类器，其训练方法为：对于每个形状分类器，采集两类样本图像，一类为对应形状的交通标志样本图像，另一类为其他图像，包括其他形状的交通标志样本图像或其他非交通标志的样本图像。统一样本图像尺寸，本实施例中将所有的样本图像归一化到20*20的大小，提取每张样本图像的HOG特征，将HOG特征作为形状分类器的输入，是否为所属类别的判定值作为形状分类器的输出，训练得到对应形状类别交通标志的形状分类器。本实施例中将交通标志按照形状分为圆形和三角形两类，所采用的分类器为SVM(SupportVectorMachine，支持向量机)分类器。S104：训练交通标志识别模型：为了完成交通标志的识别，需要预先训练好识别模型。为了提高识别模型的识别准确率，本发明按照交通标志的形状类别数M，对每一个形状类别的交通标志分别设置一个识别模型，每个形状类别分别获取若干张交通标志样本图像。先对所有样本图像进行预处理，包括统一图像尺寸和对比度增强。统一图像尺寸是为了避免样本尺寸大小对识别模型的训练效果产生影响。本实施例中采用限制对比度自适应直方图均衡(CLAHE)算法进行对比度增强。限制对比度自适应直方图均衡算法相对比传统的对比度自适应直方图均衡(AHE)增强图像，在增强过程中不会过度放大噪声，可以达到较为理想的处理效果。此外，为了保证识别模型的训练效果并增加识别的鲁棒性，对于每个形状类别，每次训练完毕后将预处理后的交通标志样本图像随机排序然后分组，设置Q种畸变方式，对每组样本图像在Q种畸变方式中随机选择q种畸变方式按照随机顺序对样本图像进行畸变处理，采用畸变处理后的新样本图像对其识别模型进行训练，直到达到训练结束条件。训练结束条件即为预先设置的识别模型所要达到的要求，一般是输出误差，如果满足要求即训练结束。本实施例中畸变方式包括添加白噪声、平移、仿射变换、旋转四种。图4是畸变效果示例图。在畸变时，可以随机选择几种畸变方式，以随机顺序进行畸变，例如选择平移和旋转两种方式，先对样本图像进行旋转，然后再进行平衡。通过畸变处理，可以大量增加样本数量与类型，可以使得最后训练得到的交通标志识别模型更加准确，从而提升交通标志识别率。现有的识别模型有多种，本发明中采用卷积神经网络。为了提高交通标志的识别率，本实施例中重新设计了一种卷积神经网络。图5是卷积神经网络结构图。如图5所示，本实施例中的卷积神经网络的第一层为输入层，作为第一阶段--低层特征提取的输入，包括第一卷积层、第一最大池化层和第一局部归一化层，然后是第二阶段高层特征提取：第二卷积层、第二最大池化层和第二局部归一化层；再将第二局部归一化层的输出结果输入到第一局部卷积层和第二局部卷积层组成的卷积网络中；在全连接层，本发明不仅将第二局部卷积层作为全连接层的输入来训练交通标志识别模型，还与更前面层的输出(即第一局部卷积层)相结合，第一局部卷积层和第二局部卷积层具有不同层次的特征表达，所以将这两者相结合，同时输入给全连接层，作为网络最终的特征描述；最后，为了获得待识别对象属于某类别的概率数据，使用SoftMax回归作为输出层。卷积神经网络的工作过程如下：1)第一卷积层：第一卷积层对输入图像进行卷积。本实施例中交通标志样本图像的尺寸都统一为32×32，将3通道彩色交通标志图像作为输入图像，输入训练数据的维度为3072维。第一卷积层采用64个大小为5×5的不同卷积核进行卷积，得到卷积层，其输出即为特征图，输出至第一最大池化层。图6是第一卷积层的卷积核及卷积结果。如图6所示，本实施例中第一卷积层得到的特征图总共64个，大小为28×28，本实施例中采用的计算公式为：y2r=f(Σy1*kijr+bjr)]]>其中，y1为输入的交通标志样本图像，为经卷积后得到的第r张特征图，为第r个卷积核，为相应的偏置，与是需要训练的参数，f(·)为sigmoid激活函数。2)第一最大池化层第一最大池化层对步骤1)所得64张特征图进行最大池化。本实施例中池化方式选择最大池化，本实施例中池化核大小为2×2，得到的池化层大小为14×14，计算公式如下：y3r=f(β2rdown(y2r)+b2r)]]>其中，是池化后所得图像，为卷积层1后所得的第r个特征图，down(·)为一个下采样函数，和分别为乘性偏置和加性偏置，是需要训练的参数。3)第一局部归一化层第一局部归一化层将2)得到的池化层进行局部归一化。第一局部响应归一化层完成一种“临近抑制”操作，对局部输入区域进行归一化。归一化公式如下：y4=(1+(α/λ)Σxi2)β]]>其中，y4为归一化后所得图像，λ为局部尺寸大小，α为归一化缩放因子，β为指数项，本实施例中α和β分别选1和5。4)第二阶段高层特征提取。第二阶段高层所涉及到的第二卷积层、第二局部归一化层、第二最大池化层的公式如前面所述，只是此时不再是如第一卷积层以输入图像为基础而是在第一阶段输出的基础上进行。图7是第二卷积层的卷积核及卷积结果。5)第一局部卷积层和第二局部卷积层第一局部卷积层接收池化层进行局部卷积，将得到的局部卷积层分别发送给第二局部卷积层和全连接层；第二局部卷积层接收局部卷积层继续进行局部卷积，将得到的局部卷积层输出至会连接层。通过第一局部卷积层和第二局部卷积层进一步提取特征。6)全连接层在多列型卷积神经网络中，全连接层的输入既包括了第二局部卷积层的输出，也包括了第一局部卷积层的输出。全连接层融合第一局部卷积层和第二局部卷积层的局部卷积层，将融合结果输出至Softmax层。通过这种方式，全连接层输入的信息是多层次的，既包括了该更高层次的抽象特征，也包括了较低层的特征输入，获得了更好的交通标志识别效果。6)Softmax层。使用卷积、将采样方式获取的数据，通过全连接层可以获得一个卷积神经网络下的特征描述，然后通过Softmax层将全连接层输出的融合结果(即网络提取的特征)采用SoftMax回归进行分类。输出大小根据训练时确定的子类数目决定，比如三角形识别模型就有15种类型，那么该层的最大输出就为15。以上四个步骤完成了交通标志检测与识别的准备工作，接下来由进入实际的检测和识别。S105：交通图像预处理：遍历待检测的交通图像中的各个像素，根据每个颜色类别的代表颜色的概率查找表，计算每个像素点属于该类颜色的概率，得到待检测交通图像在每个代表颜色下的概率图，然后转换为灰度图。也就是说，待检测的交通图像会得到多副灰度图，每个代表颜色对应一副。图8是待检测交通图像。图9是待检测交通图像根据红色概率查找表得到的概率图。图10是图9所示概率图对应的灰度图。根据图8至图10可以看出，图中红色的区域概率较高，其在灰度图中对应的区域较亮，其他区域概率较低，其在灰度图中对应的区域较暗。利用MSER(MaximallyStableExtremalRegions，最大稳定极值区域)算法检测各个灰度图中的灰度变化稳定区域。经过反复实验，交通标志所在的区域在灰度图中一定是灰度变化稳定的区域。因此在得到灰度变化稳定区域之后，根据交通标志的形状特点设置交通标志的高宽比范围，去除稳定区域中高宽比在所设置的高宽比范围以外的区域，剩余的稳定区域作为候选窗口。本实施例中，交通标志的高宽比范围为[0.6,1.4]。图11是MESE算法检测得到的灰度变化稳定区域结果图。图12是待检测交通图像的候选窗口图。采用以上方法来得到候选窗口，相比传统的滑动窗口检测，可以极大地减少候选窗口数量，加快检测速度。S106：交通标志检测：将候选窗口尺寸调整至形状分类器输入尺寸，提取每个候选窗口对应图像块的HOG特征，输入步骤S103得到的各个交通标志形状分类器，判断该候选窗口是否为交通标志的形状类别，如果是，则说明该候选窗口存在交通标志，否则不存在。可见，采用这种方式可以同时得到该交通标志的形状。图13是待检测交通图像的交通标志检测结果图。S107：交通标志识别：将步骤S106提取的交通标志图像调整至识别模型的输入图像尺寸，并按照步骤S106判定的交通标志形状，将尺寸调整后的交通标志图像输入识别模型，得到识别结果。本实施例中识别模型采用多列式卷积神经网络。图14是直线型卷积神经网络(网络1)与多列型卷积神经网络(网络2)的误识别率对比图。如图14所示，多列型卷积神经网络的收敛性更快，要达到同样的误识别率，所需训练样本较少，从而降低识别模型的训练复杂度。从以上步骤可以看出，本发明在检测阶段，利用交通标志的颜色特征建立颜色概率模型进行粗筛选，利用交通标志的形状特点搜索灰度变化稳定区域进行细筛选；在识别阶段，利用交通标志的HOG特征和图像特点进行识别。可见本发明结合了交通标志的颜色和形状特征，采用特征协同的方式来进行交通标志的检测与识别，从而得到更好的检测与识别效果。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本
技术领域：
的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本
技术领域：
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。当前第1页1 2 3