一种交通信号灯候选图像区域的验证方法与流程

本发明涉及车辆的智能驾驶辅助及无人驾驶技术领域，更具体地，涉及一种交通信号灯候选图像区域的验证方法。

背景技术：

红绿灯自动识别技术，尤其是红灯的自动识别技术，是车辆安全驾驶辅助和无人驾驶的关键支撑技术之一，是车辆交通环境感知的重要组成部分。根据所采用的技术方案不同，现有识别方案主要分为基于车路通信、基于周边车辆状态感知、基于gps导航和基于车辆视觉四大类。尽管多方案融合是未来发展的趋势，但基于车载视觉的识别技术仍是学术界和企业界研究的热点，已成为智能交通系统的热点研究领域。其中，由于红灯表示禁止标志，对于交通次序和安全具有更为重要的意义，因此，能够快速实时、准确可靠的从交通环境视频图像中检测出红灯是工程应用的基本要求。

现有红灯图像自动检测技术主要分为传统图像识别和基于深度学习的红灯识别两大类。前者多基于红灯的颜色、几何等特征提取红灯的候选图像区域，实时性较好，但由于车辆运行过程中相对于红灯灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，对于这些特征的具体参数如何界定缺乏依据，准确率不高。后者需要大量的图像样本进行模型的训练，准确率好，但由于训练好的神经网络模型的参数数量往往很庞大，对硬件处理速度提出了较高要求，不利于部署在车辆上，实时性也较差。这些直接制约着基于车载视觉的红灯自动检测技术在智能驾驶辅助和无人驾驶技术中的应用。

针对图像识别技术，为了提高准确率，降低漏检率，往往通过扩大阈值范围的方式，但是这样做的结果就是会识别出一些看似灯体而非灯体的伪灯体。这时就有必要进一步对获得的信号灯候选图像区域进行验证。

另外，交通信号灯除了具有相对简单且结构对称的圆形灯和叉形灯以外，还包括箭形交通信号灯。事实上，我国关于交通红绿灯的制作、设置和安装都分别在国标gb14886-2006《道路交通信号灯设置与安装规范》、国标gb14886-2016《道路交通信号灯设置与安装规范》、gb14887-2011《道路交通信号灯》和gb14887-2016《道路交通信号灯》等标准内做出了详细的规定。根据这些标准，常见的箭形交通信号灯主要有箭头朝左的禁止左转方向指示灯和箭头朝上的禁止直行方向指示灯两种，如图1所示。

理想情况下，箭形交通信号灯在视频图像中为如图1所示的分体形式，其包括“指向箭头”和“尾部直线”两个独立部分。然而在现实中可能由于光晕、距离过远等原因，其图像成为一体形式，如图2所示。在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下的分离灯体图像时如何选取合适的形态学内核大小一直没有好的方案。因此对于图像的识别存在限制性。

为此，本案发明人提出特定的灯体几何形状特征阈值，可以识别分体式灯体的指向箭头图像和尾部直线图像，之后再通过特殊的方法进行配对拼接(已另案申请)。这种方式可以大大降低漏检率，然而，由于整灯的几何形状阈值与各分体的阈值存在交集，会出现将指向箭头图像和尾部直线图像作为整灯识别的现象。

因此基于各种原因，均有必要进一步对获得的交通信号灯候选图像区域进行验证，本案由此而产生。

参考文献(references):

[1]kimkt.stvc:securetraffic-lighttovehiclecommunication[c].internationalcongressonultra-moderntelecommunicationsandcontrolsystemsandworkshops,st.petersburgrussia,2012:96-104。

[2]iglesiasi,isasil,larburum,etal.i2vcommunicationdrivingassistancesystem:on-boardtrafficlightassistant[c].vehiculartechnologyconference,calgarycanada,2008:1-5。

[3]campbellj,amorhb,angmh,etal.trafficlightstatusdetectionusingmovementpatternsofvehicles[c].proceedingsoftheieeeinternationalconferenceonintelligenttransportationsystems,riodejaneirobrazil,2016:283-288。

[4]campbellj,tuncalice,liup,etal.modelingconcurrencyandreconfigurationinvehicularsystems:aπ-calculusapproach[c].ieeeinternationalconferenceonautomationscienceandengineering,texasusa,2016。

[5]fairfieldn,urmsonc.trafficlightmappinganddetection[c].ieeeinternationalconferenceonroboticsandautomation,shanghaichina,2011:5421-5426。

[6]levinsonj,askelandj,dolsonj,etal.trafficlightmapping,localization,andstatedetectionforautonomousvehicles[c].ieeeinternationalconferenceonroboticsandautomation,shanghaichina,2011:5784-5791。

[7]jangc,chos,jeongs,etal.trafficlightrecognitionexploitingmapandlocalizationateverystage[j].expertsystemswithapplications,2017,88:290-304。

[8]周宣汝,袁家政,刘宏哲,等.基于hog特征的交通信号灯实时识别算法研究[j].计算机科学,2014,41(7):313-317。

[9]shiz,zouz,zhangc.real-timetrafficlightdetectionwithadaptivebackgroundsuppressionfilter[j].ieeetransactionsonintelligenttransportationsystems,2015,17(3):690-700。

[10]salarianm,manavellaa,ansarir.avisionbasedsystemfortrafficlightsrecognition[c]//2015saiintelligentsystemsconference(intellisys).ieee,2015:747-753。

[11]sainis,nikhils,kondakr,etal.anefficientvision-basedtrafficlightdetectionandstaterecognitionforautonomousvehicles[c]//2017ieeeintelligentvehiclessymposium(iv).ieee,2017:606-611。

[12]武莹,张小宁,何斌.基于图像处理的交通信号灯识别方法[j].交通信息与安全,2011,29(3):51-54。

[13]谷明琴,蔡自兴,李仪.应用圆形度和颜色直方图的交通信号灯识别[j].计算机工程与设计,2012,33(1):243-247。

[14]李宗鑫,秦勃,王梦倩.基于时空关系模型的交通信号灯的实时检测与识别[j].计算机科学,2018,45(06):314-319.

[15]佀君淑,朱文兴,沙永贺.复杂背景下的交通信号灯综合识别方法[j].山东大学学报(工学版),2013,44(2):64-68。

[16]吴泽峰,张重阳,许明文.基于投影特征值的交通信号灯检测与识别方法[j].现代电子技术,2016,39(09):160-163。

[17]彭祖胜.交通标志和信号灯实时检测与识别技术研究[d].重庆大学,2012。

[18]金涛,王春香,王冰,等.基于级联滤波的交通信号灯识别方法[j].上海交通大学学报,2012,46(09):1355-1360。

[19]yuc,huangc,langy.trafficlightdetectionduringdayandnightconditionsbyacamera[c]，ieee10thinternationalconferenceonsignalprocessingproceedings.ieee,2010:821-824。

[20]diaz-cabreram,cerrip,sanchez-medinaj.suspendedtrafficlightsdetectionanddistanceestimationusingcolorfeatures[c]//201215thinternationalieeeconferenceonintelligenttransportationsystems.ieee,2012:1315-1320。

[21]吴国庆,王星星,张旭东,等.基于图像处理的交通灯检测技术[j].现代电子技术,2017,40(8):103-106。

[22]wonghabutp,kumphongj,ung-arunyaweer,etal.trafficlightcoloridentificationforautomatictrafficlightviolationdetectionsystem[c]//2018internationalconferenceonengineering,appliedsciences,andtechnology(iceast).ieee,2018:1-4。

[23]朱永珍,孟庆虎,普杰信.基于hsv色彩空间与形状特征的交通灯自动识别[j].电视技术,2015,39(5):150-154。

[24]chenz,huangx.accurateandreliabledetectionoftrafficlightsusingmulticlasslearningandmultiobjecttracking[j].ieeeintelligenttransportationsystemsmagazine,2016,8(4):28-42。

[25]mug,xinyuz,deyil,etal.trafficlightdetectionandrecognitionforautonomousvehicles[j].thejournalofchinauniversitiesofpostsandtelecommunications,2015,22(1):50-56。

[26]gongj,jiangy,xiongg,etal.therecognitionandtrackingoftrafficlightsbasedoncolorsegmentationandcamshiftforintelligentvehicles[c]//2010ieeeintelligentvehiclessymposium.ieee,2010:431-435。

[27]许明文,张重阳.基于显著性特征的交通信号灯检测和识别[j].计算机与数字工程,2017,45(07):1397-1401。

[28]almagambetova,velipasalars,baitassovaa.mobilestandards-basedtrafficlightdetectioninassistivedevicesforindividualswithcolor-visiondeficiency[j].ieeetransactionsonintelligenttransportationsystems,2014,16(3):1305-1320。

[29]隗海林,包翠竹,王涵,等.基于图像识别的信号灯路口辅助驾驶方法[j].浙江大学学报:工学版,2017(6):1090-1096。

[30]谷明琴,蔡自兴,黄振威,等.城市环境中箭头型交通信号灯的实时识别算法[j].中南大学学报(自然科学版),2013,44(04):1403-1408。

[31]lix,mah,wangx,etal.trafficlightrecognitionforcomplexscenewithfusiondetections[j].ieeetransactionsonintelligenttransportationsystems,2017,19(1):199-208。

[32]许明文.基于无人驾驶平台的交通灯及数字检测与识别系统[d].江苏:南京理工大学,2016。

[33]yug,leia,lih,etal.areal-timetrafficlightdetectionalgorithmbasedonadaptiveedgeinformation[r].saetechnicalpaper,2018。

[34]jensenmb,nasrollahik,moeslundtb.evaluatingstate-of-the-artobjectdetectoronchallengingtrafficlightdata[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognitionworkshops.2017:9-15。

[35]钱弘毅,王丽华,牟宏磊.基于深度学习的交通信号灯快速检测与识别[j].计算机科学,2019,46(12):272-278。

[36]熊辉,郭宇昂,陈超义,等.基于遗传优化与深度学习的交通信号灯检测[j].汽车工程,2019,41(08):960-966。

[37]潘卫国,陈英昊,刘博,等.基于faster-rcnn的交通信号灯检测与识别[j].传感器与微系统,2019,38(09):147-149+160。

技术实现要素：

本发明所要解决的技术问题在于一种可对已经提取获得的交通信号灯候选图像区域进一步进行是否为真灯体的验证方法。

为解决上述技术问题，本发明的技术解决方案是：

一种交通信号灯候选图像区域的验证方法，包括如下步骤：

(1)将待验证的交通信号灯候选图像区域分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体；

(2)经过步骤(1)筛选的候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像中切割出同一区域，提取hog特征，并利用预训练好的二级支持向量机进一步验证。

优选地，所述候选图像区域如果不是二值化图像，先进行二值化处理。

优选地，所述一级支持向量机和二级支持向量机中的样本图像，均通过人工标记其所属类别，并分为7类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯、圆形灯和叉形灯；并基于相应特征和类别构建训练样本。

优选地，所述步骤(2)中，候选图像区域扩展方式为：以候选图像区域外接矩形r0(i)中心为基点，在宽度w0(i)和高度h0(i)方向进行适当延展获得矩形r′0(i)，基于r′0(i)从原始图像中分割提取出同一区域图像c′0(i)，其中，矩形r′0(i)的宽度w′0(i)＝(1+α)w0(i)，高度h′0(i)＝(1+β)h0(i)，α和β为延展系数。

优选地，所述的延展系数为2.1。

优选地，所述一级支持向量机的训练样本集方法为：(1)大量采集各种情况下含有交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，获得二值化信号灯样本图像集合c0，并人工标记c0中每个样本图像c0(i)所属类别t0(i)，t0(i)＝0～6，即共分为7类，其中类别0为伪灯体，类别1至6分别为朝左、朝右、朝上、朝下箭头灯、圆形灯和叉形灯；(2)将样本图像c0(i)分割成n*m个子块，计算每一子块的像素密度，提取c0(i)的n*m维像素密度特征向量f0(i)；(3)基于f0(i)和t0(i)构建训练样本；(4)基于训练样本进行i级向量机svm1的训练，直至收敛。

优选地，所述二级支持向量机的预训练样本集构造方法如下：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像，获得二值化信号灯样本图像集合c0，将c0中的每个图像元素c0(i)适当延展，基于该延展的c0(i)从原始彩色图像中提取同一区域图像c′0(i)，并人工标记c′0(i)所属类别t′0(i)；t′0(i)＝0～6，即共分为7类，其中类别0为伪灯体，类别1至6分别为朝左、朝右、朝上、朝下箭头灯、圆形灯和叉形灯；(2)提取c′0(i)的hog特征向量f′0(i)；(3)基于f′0(i)和t′0(i)构建训练样本；(4)基于训练样本进行ii级向量机svm2的训练，直至收敛。

优选地，所述hog特征向量的提取过程如下：(1)将候选灯体图像缩放到40*40像素大小；(2)进行gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的hog特征并串联，最终共可获得1764维向量。

优选地，最后采取判断识别准则为：当且仅当信号灯候选图像能够通过两级向量机验证，且两级向量机的分类结果一致，将该候选图像判断为真并给定灯体类别。

采用上述方案后，本发明通过二级向量机对候选灯体图像进行验证并且可进一步进行类别判断，其中一级向量机所处理的图像为二值化图像，运算效率很高，并且通过其筛选之后的图像才进行二级向量机进一步判断，可减少后续需进行高维特征提取的图像数目，从而减少总耗时；而二级向量机验证采用提取原始彩色图像的hog特征的方式，从而可以提高判断准确率。

附图说明

图1是两种典型的分离式箭形交通信号灯图像；

图2是两种典型的箭形交通信号灯实际成为连体式图像；

图3是本发明的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详述。

本发明所揭示的是一种交通信号灯候选图像区域的验证方法，该方法是对已经提取的交通信号候选图像区域集中的图像的进一步验证，而交通信号候选图像区域的识别提取方法可以采用现有或者创新的任何技术，其不在本发明的范围之内。而本发明所述的验证方法包括下述步骤：

(1)将待验证的交通信号灯候选图像区域分割成若干子块，提取每个子块的像素密度特征，利用预训练好的一级支持向量机判断是否为灯体；

(2)经过步骤(1)筛选的候选图像区域，先按一定延展系数进行扩展，依据该扩展的候选图像区域，从原始图像中切割出同一区域，提取hog特征，并利用预训练好的二级支持向量机进一步验证。

由于左右、上下灯型的一些几何参数是相同的，在对灯体进行识别之后，还需要对灯体的类型进一步判断。为此，本发明对两级支持向量机样本进行分类，即通过人工标记每个样本图像的所属类别，并分为7类，分别为伪灯体、朝左、朝右、朝上及朝下箭头灯、圆形灯和叉形灯；并基于相应特征和类别构建训练样本。

本发明验证方法的具体步骤可以采用如下方式(如图3所示)：

stepl.利用i级svm1判断候选灯体图像是否为一个完整灯体以及灯体类型。

遍历箭形交通信号灯候选图像集合binarylights中的每一个元素，基于其外接矩形的宽度和高度进行若干等分，分割成若干个子块(子块数目与样本图像相同)。计算各子块的像素密度，据此构造n维特征向量，然后作为i级svm1的输入用以判断候选灯体图像是否为一个完整灯体及其朝向类型，判断为非灯体的给予删除。

svm1本身是二分类器，其样本集具有7个类别，即类别0为伪灯体，类别1至6分别为朝左、朝右、朝上、朝下箭头灯、圆形灯和叉形灯。本发明基于ovr即“一对多”法来实现多目标分类，即每次训练时把某一类当作正样本，剩余其它类当作负样本，迭代进行。为了解决正负样本比例不对称问题引入较大的惩罚因子。

其中，本发明i级svm1的训练样本集可以采用如下方式：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像(提取方法可以任意选择)，获得二值化信号灯样本图像集合c0，并人工标记c0中每个样本图像c0(i)所属类别t0(i)，t0(i)＝0～6，即共分为7类，其中类别0为伪灯体，类别1至6分别为朝左、朝右、朝上、朝下箭头灯、圆形灯和叉形灯。(2)将样本图像c0(i)分割成n*m个子块，分割子块数目可根据实际情况而定，本发明分割成3*3子块，计算每一子块的像素密度，提取c0(i)的9维像素密度特征向量f0(i)。(3)基于f0(i)和t0(i)构建训练样本。(4)基于训练样本进行i级向量机svm1的训练，直至收敛。

由于该步骤所处理的图像为二值图，因此运算效率很高。此外，只有判断合格的候选对象才会被后续处理，可以有效减少后续需进行高维特征提取的图像数目，从而减少总耗时。

step2.利用ii级svm2进行验证。

经过i级svm1筛选后的候选灯体图像集合binarylights中的每一个图像元素，以其外接矩形r0(i)中心为基点，在宽度w0(i)和高度h0(i)方向进行适当延展获得矩形r′0(i)，基于r′0(i)从原始图像srcimage中分割提取出同一区域图像c′0(i)，其中：矩形r′0(i)的宽度w′0(i)＝(1+α)w0(i)，高度h′0(i)＝(1+β)h0(i)，α和β为延展系数。延展图像的目的在于使得候选图像包含灯体点亮区域外围的黑色背板，以充分利用红绿灯系统的固有特征。经过对比，延展系数优选α＝2.1，b＝2.1效果最佳。之后提取c′0(i)的hog特征向量f′0(i)，并利用ii级svm进行灯体类别验证。

该hog特征向量的提取过程可以采用如下方式：(1)将c′0(i)缩放到40*40像素大小；(2)进行gamma校正；(3)计算图像每个像素的梯度；(4)将5*5个像素划分为一个单元；(5)计算每个单元的梯度直方图；(6)将2*2个单元组成一个块，计算每个块的hog特征并串联，最终共可获得1764维向量。上述步骤中具体参数数值以及维数向量，均非唯一选择，但经过对比采用上述参数效果较好。

ii级svm的预训练样本集构造如下：(1)大量采集各种情况下含有箭形交通信号灯的交通图像，提取各图像中所有交通信号灯候选图像(提取方法可以任意选择)，获得二值化信号灯样本图像集合c0，将c0中的每个图像元素c0(i)适当延展，基于该延展的c0(i)从原始彩色图像中提取同一区域图像c′0(i)，并人工标记c′0(i)所属类别t′0(i)；同样的t′0(i)＝0～6，即共分为7类，其中类别0为伪灯体，类别1至6分别为朝左、朝右、朝上、朝下箭头灯、圆形灯和叉形灯。(2)如上，提取特征向量f′0(i)。(3)基于f′0(i)和t′0(i)构建训练样本。(4)基于训练样本进行ii级向量机svm2的训练，直至收敛。

step3.最后采取判断识别准则为：当且仅当信号灯候选图像能够通过两级svm验证，且两级svm的分类结果一致，将该候选图像判断为真并给定灯体类别。

以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。