自然场景下的交通标志检测方法与流程

本发明涉及标志识别检测技术领域，尤其涉及的是一种自然场景下的交通标志检测方法。

背景技术：

交通标志对于保障道路交通有序通行具有重要作用，在驾驶过程中，准确识别交通标志对提升道路驾驶安全性具有重要意义，忽视交通标志可能导致交通事故。对于无人驾驶汽车而言，若车辆不能自动检测并准确识别出交通标志，则不能成为真正意义上的无人驾驶。目前，在计算机视觉，模式识别，智能机器人和智能交通系统等领域，交通标志检测和识别技术得到广泛的研究，具有重要的学术意义和实用价值。交通标志检测识别在现实生活中应用仍面临巨大挑战，包括：adas，自动驾驶和标志监控保养等多方面。造成交通标志检测识别困难的因素有许多，包括：(1)标志牌长期暴露在阳光下而导致褪色情况；(2)空气污染和天气状况导致能见度降低；(3)室外复杂光线情况影响标志牌颜色；(4)标志牌被障碍物遮挡；(5)车辆运行导致运动模糊。以上干扰都对标志检测识别带来困难，对相关算法的实时性和鲁棒性提出了更高的要求。

目前，交通标志检测模块主要研究方法包括基于颜色分割技术，基于特定形状的检测技术，以及基于纹理和局部特征设计的分类器等方法。

基于颜色分割技术包括分别在rgb，hsi和yuv颜色空间下提取目标区域。(1)基于rgb空间下的颜色分割，通过利用r，g，b三个分量间的差值关系提取目标颜色区域。然而，rgb颜色空间对光照变化十分敏感，易造成漏检或错检情况，因此如何克服这一问题一直是rgb空间下颜色分割的重点和难点。(2)基于hsi空间下的颜色分割，将rgb颜色空间转换成hsi颜色空间，利用hsi颜色空间对光照不敏感的特点提取目标颜色区域。然而，颜色空间的转化是一个耗时过程，将导致检测过程的实时性得不到保障。(3)基于yuv空间下的颜色分割，将rgb颜色空间转换成yuv颜色空间，该系统将用于检测蓝色矩形标志牌。然而，对于种类繁多的标志牌，该方法凸显鲁棒性不足。基于颜色的分割通在追求鲁棒性时常需要设计许多阈值，而这些阈值的确定在实际中是非常困难的。基于rgb空间下颜色分割具有满足实时性要求的优势，但如何满足鲁棒性要求一直是该领域研究的重点和值得突破的地方。

基于特定形状的检测技术是利用标志牌特定的形状特征，提取目标区域，基于形状特征的算法将被直接应用到图像上，主要包括：hough变换，径向对称和梯度直方图等。(1)hough变换主要用来检测圆形标志，不足以检测所有标志形状。此外，hough变换还存在计算较慢的缺点，无法满足实时性要求。(2)径向对称快速检测算法利用三角形，正方形，菱形，圆形的对称性提取目标区域，然而，对于形变的目标，暴露出鲁棒性不足。(3)梯度直方图利用了目标特征计算都依赖于图像梯度信息的特点，进行目标提取。然而，梯度特征对图像噪声非常敏感，无法满足鲁棒性要求。基于特定形状的检测技术通常在提取形状特征过程中耗费较大时间成本，无法满足实时性要求。

基于纹理和局部特征设计的分类器是将颜色特征与形状特征相互补充，首先利用颜色分割进行粗检测，再利用形状特征进行精检测，主要包括：hsi颜色分割和模板匹配结合；颜色形状对；神经网络；adaboost分类器；hog和svm分类器结合。(1)hsi颜色分割和模板匹配方法，首先在hsi颜色空间内完成分割，再利用形状模板匹配方法得到检测结果。然而，hsi颜色转换和模板匹配都将耗费大量时间，无法满足实时性要求。(2)颜色形状对是针对不同的交通标志将特定的颜色分割结果与特定的形状提取方法联系起来。但对于城市交通复杂干扰，鲁棒性不能保证。(3)神经网络是针对颜色和形状特征分别设计一个神经网络特征提取器再利用模糊逻辑对其融合，但该方法计算量很大，无法满足实时性要求。(4)adaboost分类器有效组合颜色和局部特征信息实现交通标志检测，但对于复杂现实场景在线计算需要较长时间，无法满足实时性要求。(5)hog和svm分类器结合是构件每个颜色分量的hog特征，有效的将颜色信息与边缘信息融合起来作为svm分类器的输入特征，但该过程耗时较长，无法满足实时性要求。

上述研究方法都无法兼顾标志检测的鲁棒性和实时性，往往在保证鲁棒性，提高检测准确率的前提下，无法满足实时性要求；亦或是在保证实时性前提下，对于现实环境鲁棒性表现不足。

技术实现要素：

本发明所要解决的技术问题是提供一种自然场景下的交通标志检测方法，可兼顾标志检测的鲁棒性和实时性。

为解决上述问题，本发明提出一种自然场景下的交通标志检测方法，包括以下步骤：

s1：获取自然场景下拍摄的检测图像；

s2：对所述检测图像的亮度信息进行统计，依据等级亮度阈值划分出不同亮度区域，分别计算不同亮度区域的像素比例，根据各像素比例及场景分类阈值而将图像分为阴暗场景、明亮场景、逆光场景和正常场景；

s3：根据场景分类结果选取gamma参数取值，采用自适应gamma增强算法对分类图像进行图像增强处理；

s4：在rgb颜色空间下，针对不同场景选取分割算法进行图像颜色分割，得到疑似目标区域；其中，针对明亮场景，采用归一化rgb分割算法进行颜色分割；针对阴暗场景、逆光场景和正常场景，均采用改进的三分量色差法进行颜色分割，所述改进的三分量色差法通过设置自适应加权因子来自适应调整提取的颜色区域；

s5：将经颜色分割后的灰度图像进行二值化处理，得到二值化后的疑似目标区域；

s6：通过特征筛选器对疑似目标区域进行筛选，定位交通标志区域；其中，所述特征筛选器是根据交通标志的形状特征而建立的。

根据本发明的一个实施例，所述步骤s2包括：

s21：对亮度信息进行统计，根据亮度划分阈值划分亮度区域，确定高频区域、中频区域和低频区域的像素点个数，分别以亮度统计变量num_high、num_middle和num_low表示；

s22：分别计算高频区域、中频区域和低频区域的像素点个数在所有像素点中所占比重p_high、p_middle和p_low，

其中，

m*n为所有像素点个数；

s23：根据场景分类阈值将图像分为阴暗场景、明亮场景、逆光场景和正常场景，其中，

亮光场景为p_high＞0.53&p_low＜0.35；

黑暗场景为p_low＞0.51；

逆光场景为p_high+p_low＞0.8&p_low＞p_middle&p_high＞p_middle；

正常场景为其他情况。

根据本发明的一个实施例，对亮度信息进行统计并进行归一化处理，根据亮度划分阈值划分亮度区域为：低频区域为[0，0.4]；中频区域为[0.4，0.7]；高频区域为[0.7，1]。

根据本发明的一个实施例，所述步骤s3中，采用自适应gamma增强算法对分类图像进行图像增强处理的公式为：

f(i)＝i^γ，其中

其中，i为处理前的图像每个像素点的灰度值，f(i)为处理后的图像每个像素点的灰度值，γ为gamma参数。

根据本发明的一个实施例，所述步骤s4中，在rgb颜色空间下，采用改进的三分量色差法进行颜色分割包括：

提取红色区域的特征算子为λr-g-b，对图像的r、g、b分量依据公式(1)根据特征算子进行处理提取红色区域，得到r分量图，

提取蓝色区域的特征算子为入b-r-g，对图像的r、g、b分量依据公式(2)根据特征算子进行处理提取蓝色区域，得到b分量图，

其中，ca1表示提取的红色区域的像素灰度值，ca2表示提取的蓝色区域的像素灰度值，λ为自适应加权因子；

所述步骤s4中，在rgb颜色空间下，采用归一化rgb分割算法进行颜色分割包括：

计算r＝r/(r+g+b)，g＝g/(r+g+b)，b＝b/(r+g+b)；

若r＞＝0.4&g＜0.3则像素点为红色，若b＞0.4则像素点为蓝色，若r+g＞0.85则像素点为黄色。

根据本发明的一个实施例，所述自适应加权因子通过如下步骤得到：

a1，设定自适应加权因子入的初始值；

a2，分别依据公式(1)和(2)计算r分量图和b分量图上像素值为0的像素点个数，分别用num_red0和num_blue0表示；

a3，计算目标比例k0＝(num_red0+num_blue0)/2*m*n，m*n为所有像素点个数；

a4，判断若k0＞0.98&λ≤2，则λ＝λ+0.2，并返回步骤a2进行计算；否则，确定此时的入为最终的自适应加权因子。

根据本发明的一个实施例，所述步骤s5包括以下步骤：

s51：将图像分为l个灰度级；

s52：针对每个灰度级，计算前景点数占图像比例为w0、平均灰度为uo，背景点数占图像比例为w1、平均灰度为u1；计算图像的总平均灰度为u＝w0*u0+w1*u1，计算前景和背景图象的方差为g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1)；

s53：在方差g最大时的灰度，为最佳分割阈值；

s54：以所述最佳分割阈值进行前景与背景的分割。

根据本发明的一个实施例，所述步骤s5包括：在将经颜色分割后的灰度图像进行二值化处理之后，使用形态学腐蚀、膨胀方法处理毛糙和填补空隙，得到疑似目标区域。

根据本发明的一个实施例，所述步骤s6中，利用标志牌的形状特征，包括长宽比、周长面积比、区域占比和形状相似不变特征建立特征筛选器，通过特征筛选器对疑似目标区域进行筛选，其中：

长宽比为0.45＜ratio1＜1.2；

周长面积比为0.045＜ratio2＜0.07|ratio2＜0.038；

区域占比为0.58＜ratio3＜0.63；以及

利用形状轮廓的相似不变特征及空间分布信息，对不同形状设定不同判断标准，将轮廓坐标转为极坐标(θ-ρ)，根据ρ值的特征区分圆形，三角形和矩形。

根据本发明的一个实施例，还包括步骤s7：将得到的交通标志区域与原图像进行掩膜处理：

s71：将定位的交通标志区域的二值图像作为掩膜模板，与原图像进行相乘，则交通标志区域内图像值保持不变，而区域外的图像值都为0；

s72：对掩膜得到的图像，分别统计图像水平方向和竖直方向像素灰度值的和，得到交通标志区域，然后裁剪提取出来。

采用上述技术方案后，本发明相比现有技术具有以下有益效果：

针对自然场景下复杂的状况条件能够快速检测到交通标志牌，并能达到很高的检测率，同时满足标志检测对鲁棒性和实时性要求，提出基于亮度情况的场景分类方法，解决了复杂光照对rgb颜色分量的影响，克服了基于rgb空间下图像分割鲁棒性不足的缺点；结合了基于rgb颜色分割和基于形状特征的筛选，实现由粗到精的标志检测，大幅度提高了检测速率，保证了标志检测实时性要求。

附图说明

图1为本发明一实施例的自然场景下的交通标志检测方法的流程示意图；

图2a为本发明一实施例的原检测图像的图像示意图；

图2b为本发明一实施例的图像颜色分割并得到二值化后的疑似目标区域的图像示意图；

图2c为本发明一实施例的筛选并定位交通标志区域后的图像示意图；

图2d为本发明一实施例的掩膜处理后的图像示意图；

图2e和2f为本发明一实施例的裁剪提取的交通标志区域的图像示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

参看图1，在一个实施例中，自然场景下的交通标志检测方法，包括以下步骤：

s1：获取自然场景下拍摄的检测图像；

s2：对所述检测图像的亮度信息进行统计，依据等级亮度阈值划分出不同亮度区域，分别计算不同亮度区域的像素比例，根据各像素比例及场景分类阈值而将图像分为阴暗场景、明亮场景、逆光场景和正常场景；

s3：根据场景分类结果选取gamma参数取值，采用自适应gamma增强算法对分类图像进行图像增强处理；

s4：在rgb颜色空间下，针对不同场景选取分割算法进行图像颜色分割，得到疑似目标区域；其中，针对明亮场景，采用归一化rgb分割算法进行颜色分割；针对阴暗场景、逆光场景和正常场景，均采用改进的三分量色差法进行颜色分割，所述改进的三分量色差法通过设置自适应加权因子来自适应调整提取的颜色区域；

s5：将经颜色分割后的灰度图像进行二值化处理，得到二值化后的疑似目标区域；

s6：通过特征筛选器对疑似目标区域进行筛选，定位交通标志区域；其中，所述特征筛选器是根据交通标志的形状特征而建立的。

下面结合附图对本发明实施例的自然场景下的交通标志检测方法进行具体的描述，但并不应以此为限。

在步骤s1中，可以通过在行程过程中实时拍摄，来获取自然场景下拍摄的检测图像，当然，并非每次拍摄的检测图像均会出现交通标志，检测图像中是否存在交通标志可以通过后续的步骤检测出来，如果没有交通标志则可忽略该图像。在本实施例的处理步骤中，检测图像中是存在交通标志的。当然，由于后续需要在rgb空间中进行图像处理，因而图像拍摄出来是彩色图像，图2a为了便于描述而去掉了其色彩。

接着执行步骤s2，对步骤s1中获得的检测图像的亮度信息进行统计，依据等级亮度阈值划分出不同亮度区域，分别计算不同亮度区域的像素比例，根据各像素比例及场景分类阈值而将图像分为阴暗场景、明亮场景、逆光场景和正常场景。

可以通过亮度直方图，比较不同光照情况下亮度区间的明显差异范围，缩小分类区间，再针对区间调试从而调整场景分类阈值，以获得最佳的场景分类结果。

进一步的，步骤s2可以包括：

s21：对亮度信息进行统计，根据亮度划分阈值划分亮度区域，确定高频区域、中频区域和低频区域的像素点个数，分别以亮度统计变量num_high、num_middle和num_low表示；

s22：分别计算高频区域、中频区域和低频区域的像素点个数在所有像素点中所占比重p_high、p_middle和p_low，

其中，m*n为所有像素点个数；

s23：根据场景分类阈值将图像分为阴暗场景、明亮场景、逆光场景和正常场景，其中，

亮光场景为p_high＞0.53&p_low＜0.35；

黑暗场景为p_low＞0.51；

逆光场景为p_high+p_low＞0.8&p_low＞p_middle&p_high＞p_middle；

正常场景为其他情况。

可选的，对亮度信息进行统计并进行归一化处理，根据亮度划分阈值划分亮度区域为：低频区域为[0，0.4]；中频区域为[0.4，0.7]；高频区域为[0.7，1]。

接着执行步骤s3，根据场景分类结果选取gamma参数取值，采用自适应gamma增强算法对分类图像进行图像增强处理。

具体的，步骤s3中，采用自适应gamma增强算法对分类图像进行图像增强处理的公式为：

f(i)＝i^γ，其中

其中，i为处理前的图像每个像素点的灰度值，f(i)为处理后的图像每个像素点的灰度值，γ为gamma参数。

根据场景分类结果，对分类图像采用自适应gamma增强方法进行相应图像增强处理，不同于一般的gamma变换，本实施例中gamma参数的取值根据分类结果自适应选取，即亮光场景为0.5；黑暗场景为2.2；逆光场景为1.2；正常场景为1。

rgb颜色空间对光照变化十分敏感，易造成漏检或错检情况，通过亮度场景分类并进行适应性的增强处理，消除了光照对rgb颜色空间的影响，避免了漏检或错检的问题，克服了基于rgb空间下图像分割鲁棒性不足的缺点。

接着执行步骤s4，进行基于rgb空间下的标志粗定位。在rgb颜色空间下，针对不同场景选取分割算法进行图像颜色分割，得到疑似目标区域；其中，针对明亮场景，采用归一化rgb分割算法进行颜色分割；针对阴暗场景、逆光场景和正常场景，均采用改进的三分量色差法进行颜色分割，所述改进的三分量色差法通过设置自适应加权因子来自适应调整提取的颜色区域。

由于亮度场景分类消除了光照对rgb颜色空间的影响，因此可以直接在rgb空间下对增强后的图像进行颜色分割。根据亮度场景分类结果，自适应选择改进的三分量色差法和归一化rgb分割法。

具体的，在步骤s4中，在rgb颜色空间下，采用改进的三分量色差法进行颜色分割包括：

提取红色区域的特征算子为入r-g-b，对图像的r、g、b分量依据公式(1)根据特征算子进行处理提取红色区域，得到r分量图，

提取蓝色区域的特征算子为λb-r-g，对图像的r、g、b分量依据公式(2)根据特征算子进行处理提取蓝色区域，得到b分量图，

其中，ca1表示提取的红色区域的像素灰度值，ca2表示提取的蓝色区域的像素灰度值，λ为自适应加权因子。

因为红色的阈值区间与黄色的相近，所以提取红色的同时，黄色也会得到，只需要提取红色区域和提取蓝色区域即可提取出rgb分量。

以前的加权因子是定值，不具有鲁棒性；而对加权因子进行改进，使其能根据不同图像进行自适应调节。如果加权因子是定值1.6，则阴暗图像可能出现漏检，逆光图像出现过检；自适应调整后可改善这种现象。

在步骤s4中，在rgb颜色空间下，采用归一化rgb分割算法进行颜色分割包括：

计算r＝r/(r+g+b)，g＝g/(r+g+b)，b＝b/(r+g+b)；

若r＞＝0.4&g＜0.3则像素点为红色，若b＞0.4则像素点为蓝色，若r+g＞0.85则像素点为黄色。r、g、b均为临时的比例参数。

虽然亮度场景分类降低了光照对rgb空间的影响，但是对于明亮场景直接使用改进的三分量色差法时，提取出的图像处理边缘会出现不完整情况，而采用归一化rgb分割法时避免了这种情况，因而将明亮场景采用与其他场景不同的颜色分割法。

优选的，自适应加权因子可以通过如下步骤得到：

a1，设定自适应加权因子入的初始值；初始值可以设置为1.2；

a2，分别依据公式(1)和(2)计算r分量图和b分量图上像素值为0的像素点个数，分别用num_red0和num_blue0表示；也就是分别计算图像中所需分量值为0的像素点个数；

a3，计算目标比例k0＝(num_red0+num_blue0)/2*m*n，m*n为所有像素点个数；

a4，判断若k0＞0.98&λ≤2，则λ＝λ+0.2，并返回步骤a2进行计算；否则，确定此时的λ为最终的自适应加权因子。

本发明实施例根据亮度值实现亮度场景分类，基于分类思想将图片分为不同的亮度场景，然后针对性选择匹配的提取算法，提高鲁棒性；如果不进行场景分类，而用同一种方法，则不具有鲁棒性，即提取算法可能只适合正常光照情况，对于光照弱或者强的图像处理效果不好。

接着执行步骤s5，将经颜色分割后的灰度图像进行二值化处理，得到二值化后的疑似目标区域。分割后会出现疑似区域，但分割后的得到的图像是灰度图像，因此需要进行二值化处理得到二值图像。

具体的，步骤s5包括以下步骤：

s51：将图像分为l个灰度级；

s52：针对每个灰度级，计算前景点数占图像比例为w0、平均灰度为u0，背景点数占图像比例为w1、平均灰度为u1；计算图像的总平均灰度为u＝w0*u0+w1*u1，计算前景和背景图象的方差为g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1)；

s53：在方差g最大时的灰度，为最佳分割阈值；

s54：以所述最佳分割阈值进行前景与背景的分割。

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度t是最佳阈值，图像上灰度值低于t的都变为0，高于t的都变1。

优选的，步骤s5包括：在将经颜色分割后的灰度图像进行二值化处理之后，使用形态学腐蚀、膨胀方法处理毛糙和填补空隙，得到疑似目标区域。疑似目标区域得到之后的图像如图2b所示。

接着执行步骤s6，通过特征筛选器对疑似目标区域进行筛选，定位交通标志区域；其中，所述特征筛选器是根据交通标志的形状特征而建立的。

对于步骤s5中提取到的疑似目标区域，仍存在非标志区域，因此需要去除该部分疑似区域。利用特征筛选器，去除无关区域，实现交通标志的精确定位，得到交通标志区域。

具体的，步骤s6中，利用标志牌的形状特征，包括长宽比、周长面积比、区域占比和形状相似不变特征，建立特征筛选器，通过特征筛选器对疑似目标区域进行筛选，其中：

长宽比为0.45＜ratio1＜1.2；

周长面积比为0.045＜ratio2＜0.07|ratio2＜0.038；

区域占比为0.58＜ratio3＜0.63；以及

利用形状轮廓的相似不变特征及空间分布信息，对不同形状设定不同判断标准，将轮廓坐标转为极坐标(θ-ρ)，根据ρ值的特征区分圆形，三角形和矩形。

利用轮廓相似不变特征，可以解决对图像平移、旋转、收缩等噪声敏感的问题。精确定位后，得到交通标志区域如图2c所示。

在一个实施例中，自然场景下的交通标志检测方法还可以包括步骤s7：将得到的交通标志区域与原图像进行掩膜处理：

s71：将定位的交通标志区域的二值图像作为掩膜模板，与原图像进行相乘，则交通标志区域内图像值保持不变，而区域外的图像值都为0；掩膜处理后的图像如图2d所示；

s72：对掩膜得到的图像，分别统计图像水平方向和竖直方向像素灰度值的和，得到交通标志区域，然后裁剪提取出来。裁剪提取出来的图像如图2e和2f所示。

本发明在德国交通标志数据库(gtsdb)中进行验证试验，实验结果表明本方法兼顾鲁棒性和实时性要求。与目前交通标志检测识别领域相关资料比较，本发明使用亮度场景分类与基于rgb和形状特征相结合的标志检测方法，克服了光照对rgb分量的影响，并达到较高检测速率，展现出较好的鲁棒性和实时性。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。