一种室外恶劣光照条件下的快速鲁棒交通标志检测方法【专利摘要】本发明涉及一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，包括：建立多类交通标志的颜色直方图；生成基于多类直方图的概率图；提取基于MSER的交通标志候选区域；去除非交通标志区域。本发明构建不同光照下的多个颜色直方图，并基于多直方图反投影生成输入图像的概率图，将不同光照条件下的交通标志图像变换到统一条件下，对MSER特征区域进行一致性处理，提高了算法对于恶劣光照变化的鲁棒性，同时具有较快的检测速度。实验表明，在弱光照和强光照条件下，现有算法的检测准确率明显下降，而本发明的检测准确率依然保持在90%以上。本发明不仅可以提取红色、黄色、蓝色的交通标志，同时可以提取白色背景的交通标志。【专利说明】一种室外恶劣光照条件下的快速鲁棒交通标志检测方法【
技术领域：
】[0001]本发明属于机器视觉和图像处理【
技术领域：
】，具体涉及一种针对室外恶劣光照条件下的快速鲁棒交通标志检测方法。【
背景技术：
】[0002]随着社会的发展，机动车数量和出行人数大量增加，交通安全和交通拥堵已经成为日益严重的社会问题。智能交通系统被认为是解决这些问题的有效方法。国内外已经在智能交通系统方面投入了大量的人力和财力。基于视频图像的交通标志识别系统是智能交通系统的重要组成部分，它为驾驶员提供重要的警告和禁令信息，从而有效降低驾驶员复杂道路情况下繁重的工作负荷，最终为驾驶员安全驾驶提供保障，在主动避免交通事故及提高驾驶舒适性方面发挥了重要作用。[0003]交通标志识别系统一般被分为检测和识别两个部分。准确快速的交通标志检测是交通标志能够被正确识别的前提。对于快速鲁棒的交通标志检测而言，其难点主要在于道路场景中恶劣的光照变化，这种恶劣的光照变化主要包括:剧烈的光照变化及必然存在的场景光照不均匀(强弱光照变化)、不同的天气条件(阴雨天气、黄昏等)、阴影遮挡以及强光照导致交通标志出现反光等一系列情况。为此，近年来国内外的学者就交通标志的快速鲁棒检测问题进行了大量的研究，主要方法分为三类:第一类是基于颜色信息分割的交通标志检测，如Gomez-MorenoH采用对光照变化鲁棒的归一化RGB颜色空间进行阈值分割以得到交通标志候选区域(Goalevaluationofsegmentationalgorithmsfortrafficsignrecognition[J].1ntelligentTransportationSystems,IEEETransactionson,2010，11(4):917-930.)。这类方法速度快，准确率高，不足是需要根据经验来选取最优的阈值，难以自适应剧烈的光照变化，易出现漏检问题，而且基于颜色进行阈值分割的方法不能检测白色背景的交通标志。第二类方法为基于交通标志形状特征的，如Garcia等人在感兴趣区域内用霍夫变换检测圆形和三角形标志(Fastroadsigndetectionusinghoughtransformforassisteddrivingofroadvehicles[C].ProceedingsoftheEUR0CASTComputerAidedSystemsTheory,2005，3643:543-548.)。然而这类方法主要基于Hough变换，其算法耗时多，且当交通标志被部分遮挡或背景与交通标志颜色相似时，其算法的检测准确率下降明显。GreenhalghJ等人提出了另一种基于交通标志形状特征的方法(Real-TimeDetectionandRecognitionofRoadTrafficSigns[J].1ntelligentTransportationSystems,IEEETransactionson,2012,13(4):1498-1506.),该方法在红蓝图上提取MSER特征，取得了很好的检测效果，然而对恶劣光照条件的适应性较差，而且不能检测黄色的警告交通标志。第三类是基于机器学习方法，如支持向量机、神经网络等，Fang等人使用两层神经网络进行交通标志颜色的提取，取得了很好的检测效果(Roadsigndetectionandtracking[J].VehicularTechnology,IEEETransactionson,2003,52(5):1329-1341.)0然而这类方法计算复杂度高，很难满足实时检测的要求。综上所述，目前的算法一定程度上存在着对恶劣光照条件自适应能力差，较难满足实时检测的需要，并且由于算法本身的限制，很多算法不能够检测出所有类型的交通标志。【
发明内容】[0004]为了解决交通标志检测算法在恶劣光照条件下检测准确率显著降低和目前算法难以满足实时性的问题，本发明提出了一种采用多类颜色直方图反投影建立概率图，并结合最大稳定极值区域(MaximallyStableExtremalRegions,MSER)进行特征提取的快速鲁棒交通标志检测方法。[0005]一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，包括以下步骤:[0006]步骤I，建立多类交通标志的颜色直方图。[0007]步骤1.1，在不同光照条件下采集大量真实场景中含有交通标志的图像，手动抠取交通标志区域作为待训练的交通标志样本。[0008]步骤1.2，按颜色和光照条件对交通标志训练样本进行分类。[0009]共分为9类样本子集，分类方法如下:[0010](I)按颜色分类。按颜色分为红色、蓝色和黄色三类；[0011](2)按光照条件分类。按光照条件分为三类:白天正常光照；白天强烈光照或场景有强烈光源导致交通标志出现反光；弱光照，包括阴雨天气、黄昏、被阴影遮挡。对于某一类颜色，这三个子类中的交通标志数量基本相等，且三个子类中的标志数量不少于30张。[0012]步骤1.3，建立多类颜色直方图。[0013]首先，将每个图片样本归一化到同一尺寸，并从RGB颜色空间转换到HSI颜色空间，计算公式为:【权利要求】1.一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于包括以下步骤:步骤I，建立多类交通标志的颜色直方图；步骤1.1，在不同光照条件下采集大量真实场景中含有交通标志的图像，手动抠取交通标志区域作为待训练的交通标志样本；步骤1.2，按颜色和光照条件对交通标志训练样本进行分类；步骤1.3，建立多类颜色直方图；步骤1.4，设定颜色直方图的统计范围；步骤2，生成基于多类直方图的概率图；步骤2.1，将待检测图像从RGB颜色空间转换到HSI颜色空间；步骤2.2，将HSI空间的待检测图像中的每一个像素点P(i，j)与步骤I中建立的颜色直方图按如下公式进行直方图反投影:P(i,j)=max(fiJk(b))式中，fuk(b)表示坐标为(i，j)的像素点在第k个直方图中对应bins归一化之后的值，k=1，2，...，K，K=9为直方图数目，即步骤I得到的样本子集数目；遍历整幅图像的所有像素点，得到待检测图像对应的概率图；步骤3，提取基于MSER的交通标志候选区域；步骤3.1，提取白色背景的交通标志候选区域；(O图像灰度化:采用加权平均灰度化算法将待检测的原始数字图像中每个像素点的红、绿、蓝三分量赋以不同的权值进行加权平均，最终得到灰度图像，计算公式如下:f(x,y)=0.212671R(x,y)+0.715160G(x,y)+0.072169B(x,y)其中，f(x，y)为灰度化后(x,y)点的灰度值，R(x,y)，G(x,y),B(x,y)分别为待检测的原始数字图像中(x，y)点的红、绿、蓝三分量的值；(2)在生成的灰度图上提取图像中的MSER特征区域；利用BinSort算法将所有的像素点按照灰度值进行排序，其像素灰度值取值范围为`O~255;将所有像素点排好序后，按照降序或者升序将这些像素点在图像中标记出来，在标记的过程中，采用联合-查找算法，保存一系列不断增大或者出现的连通区域和它们的面积，这些连通区域就是极值区域ε;在给定的阈值范围下，从ε中挑选出连通区域面积变化随阈值变化取得局部最小值的连通区域，得到MSER区域；阈值选取的范围为70~`190，在此范围内对灰度图像进行24次阈值分割以提取候选的标志区域；步骤3.2，提取彩色交通标志候选区域；步骤4，去除非交通标志区域；步骤4.1，去除彩色交通标志候选区域中的非交通标志区域；(1)在步骤3.2中得到的彩色交通标志的候选区域上建立MSER特征区域矩形边界框；(2)根据MSER区域形状特征去除非交通标志区域；(3)当出现同一个交通标志被检测为多个符合条件的MSER区域时，如果两个MSER的矩形边界框所包含的面积70%以上重叠，则认为这两个MSER区域出现重叠，取多个MSER中最大的矩形边界框作为最终的交通标志区域；(4)当一个MSER区域的矩形边界框中包含三个及以上不重叠的MSER区域时，则去除最外面的矩形边界框，保留各个小的MSER区域，并取各自的矩形边界框作为最终的交通标志区域；步骤4.2，去除白色背景交通标志候选区域中的非交通标志区域；(1)在步骤3.1中得到的白色背景交通标志候选区域上建立MSER特征区域矩形边界框；(2)按照步骤4.1(2)、(3)、(4)去除非交通标志，得到含交通标志的矩形边界框；(3)对矩形框中每一个像素点进行彩色和非彩色分解，公式如下:2.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤1.2按颜色和光照条件将交通标志训练样本分为9类样本子集，分类方法如下:(O按颜色分为红色、蓝色和黄色三类；(2)按光照条件分为三类:白天正常光照；白天强烈光照或场景有强烈光源导致交通标志出现反光；弱光照，包括阴雨天气、黄昏、被阴影遮挡；对于某一类颜色，这三个子类中的交通标志数量基本相等，且三个子类中的标志数量不少于30张。3.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤1.3建立多类颜色直方图的方法如下:(I)将每个图片样本归一化到同一尺寸，并从RGB颜色空间转换到HSI颜色空间，计算公式为:4.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤1.4设定颜色直方图统计范围的公式如下:5.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤3.2提取彩色交通标志候选区域的方法如下:(O按照步骤2所述方法对待检测的原始彩色图像建立概率图；(2)采用3X3的模板对概率图像进行中值滤波，公式如下6.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤4建立MSER特征区域矩形边界框的方法如下:对于每一个MSER区域，找到它的最左边像素点向左3个像素点的位置，最右边像素点向右3个像素点的位置，最上边像素点向上3个像素点的位置和最下边像素点向下3个像素点的位置，根据得到的这4个位置即可得到包含该MSER区域的矩形边界框。7.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，其特征在于，所述步骤4根据MSER区域形状特征去除的非交通标志区域为不满足以下条件的MSER区域:(1)矩形边界框的宽度范围为30~210，高度范围为30~210，高度与宽度的比值范围为0.5~1.5;(2)MSER特征区域的周长与其矩形边界框周长的比值范围为0.4~1.3;(3)MSER区域的面积与其矩形边`界框面积的比值范围为0.4~1.0。【文档编号】G06K9/62GK103824081SQ201410062277【公开日】2014年5月28日申请日期:2014年2月24日优先权日:2014年2月24日【发明者】辛乐,房圣超,高江杰,陈阳舟申请人:北京工业大学