一种基于预先标定的信号灯识别方法
【专利摘要】本发明涉及一种基于预先标定的信号灯识别方法。它首先通过HOG特征训练SVM分类器检测信号灯背板，完成对信号灯候选区域进行初定位；其次从实时视频中获取信号灯候选区域的彩色图像，再将信号灯背板区域剔除得到各信号灯的位置；然后利用连通区域与水平外接矩形的面积比对信号灯候选区域中的信号灯形状进行判断；最后利用HSV颜色空间进行信号灯识别。本发明通过识别背板区域代替直接识别信号灯本身，避免多轮分类，降低样本训练的难度，预先标定过程全部采用灰度图像，进一步降低训练样本的类型要求，在实时检测信号灯中，只需要在预先标定好的信号灯候选区内进行识别，大大缩小了检测范围，从而提高了运算速度，实时性高。
【专利说明】
一种基于预先标定的信号灯识别方法
技术领域
[0001]本发明属于智能交通技术领域，具体是一种利用预先标定策略进行信号灯识别的基于预先标定的信号灯识别方法。
【背景技术】
[0002]信号灯标定等同于一次性的信号灯检测，通过标定出各色信号灯位置与类型的对应关系，降低实时检测的成本。目前国内外对于交通信号灯检测的研究主要可以分为四类方法:(I)根据信号灯的颜色特征进行区分；(2)直接利用信号灯的形状进行识别；(3)通过机器学习训练信号灯的某类特征从而做出预测；(4)利用先验地图的形式进行后期查询。
[0003]根据信号灯的颜色特征进行识别的方式首先需要确定具体的颜色空间或者说编码方式，此类研究有基于RGB颜色模型、HSV颜色模型、HIS颜色模型、YUV(YCbCr)颜色模型和Lab颜色模型，然而RGB颜色模型的各分量均受亮度的影响，在不同光照条件下变化幅度大，用于实际的红绿灯颜色特征划分时较难给出阈值，因而通常需要组合各分量信息进行判断，如使用RGB空间相似距离或者转化为其他更易区分的颜色模型。
[0004]利用信号灯形状进行识别的研究所根据的具体对象有基于圆形发光区域、信号灯矩形框架和信号灯杆的几何形状信息。其中基于圆形发光区域展开的研究有Hough变化检测圆灯、计算候选区域圆形度、计算候选区域圆形标准差;针对信号灯的矩形框架的研究有基于信号灯背板进行矩形识别、计算矩形度以及模板匹配。但这些方法都需要比较高质量的图像才能得到明显的形状信息进行识别，并且只利用单一靠形状特征很难对距离较远的情况进行定位。
[0005]通过机器学习的识别方法需要获取训练样本并对某类特征进行预先学习，由于信号灯的种类不一，通常只能针对某一类信号灯进行训练学习，现有的研究有通过提取信号灯的局部二值特征，再利用分类器来训练识别圆形信号灯;采用小波变换与分类器对箭头形信号灯进行识别，但复杂的分类器容易导致运算速度缓慢，影响系统实时性。
[0006]利用基于先验地图的方法，预先通过驾驶配有GPS、加速度传感器、摄像头设备的测绘车辆制作先验地图，在后期识别时利用当前地理位置信息找到先验地图中对应红绿灯的位置，从而完成信号灯定位。但该方法在前期需要投入非常大的人力物力并且不够灵活，在后期维护也同样繁琐，很难及时更新先验地图。
[0007]除了上述现有的研究方向，交通信号灯还有其他的特征信息如纹理特征、统计特征、边界特征可以帮助进一步分析和理解图像，结合这些互有优势的特征和具有高适用性与可成长性的机器学习方法，本发明利用城市交叉路口的信号灯检测应用场景中相机位置固定不动的特点(即具体单个相机的所有视频中红绿灯位置固定)，提出一种基于预先标定的信号灯识别方法，可以高效低耗地对信号灯进行实时检测识别。
【发明内容】
[0008]针对现有技术中存在的上述问题，本发明的目的在于提供一种基于预先标定的信号灯识别方法。它首先通过HOG特征训练SVM分类器检测信号灯背板，完成对信号灯候选区域进行初定位;其次从实时视频中获取信号灯候选区域的彩色图像，再将信号灯背板区域剔除得到各信号灯的位置;然后利用连通区域与水平外接矩形的面积比对信号灯候选区域中的信号灯形状进行判断;最后利用HSV颜色空间进行信号灯识别。
[0009]所述的一种基于预先标定的信号灯识别方法，其特征在于包括以下步骤:
[0010]步骤1:提取信号灯背板的HOG特征，并利用SVM进行训练；
[0011]步骤2:对待标定的视频帧利用多尺度的滑动窗口机制初步确定信号灯所在的区域，即背板位置；
[0012]步骤3:实时提取信号灯背板区域的局部彩色图像，通过灰度分割操作后将信号灯背板区域的暗部区域去除，得到发光的信号灯区域，再利用连通区域与水平外接矩形的面积比来判断发光信号灯的外形；
[0013]步骤4:进一步判断步骤3中识别为箭头形信号灯的箭头方向；
[0014]步骤5:进一步将检测到的信号灯转化到HSV的颜色空间，再对信号灯颜色进行识另IJ，从而得到各种类型的信号灯位置与颜色信号的映射关系，完成标定，具体步骤如下:
[0015]步骤5.1:将发光的连通区域图像转化至HSV颜色空间；
[0016]步骤5.2:统计各信号灯区域的H、S、V通道平均值；
[0017]步骤5.3:满足He(O，30) U (330，360)，Se [ 10，100]，Ve [5，100)的区域判断为红灯；
[0018]步骤5.4:满足H G (40，80)，S e [ 30，100 ]，V e [ 5，100)的区域判断为黄灯；
[0019]步骤5.5:满足He(90,160)，Se [30,100]，Ve[5，100)的区域判断为绿灯。
[0020]所述的一种基于预先标定的信号灯识别方法，其特征在于步骤I中利用SVM进行训练的具体步骤如下:
[0021]步骤1.1:使用宽为Wo、高为Ho的灰度图作为样本进行HOG特征采集，其中，正样本为各类信号灯背板图片，负样本为除信号灯背板外的其他区域；
[0022]步骤1.2:设置!106特征块尺寸为￥1^*11^，块步长为3朽，胞元尺寸为0(:，划分直方图区间个数为K;
[0023]步骤1.3:对HOG特征块进行归一化并将归一化后的各个胞元的特征向量联结在一起构成块的HOG特征，所有的HOG特征集合即为整个信号灯背板的HOG的特征；
[0024]步骤1.4:利用SVM对信号灯背板正负样本的特征进行训练，确定分割两种训练样本的最佳超平面。
[0025]所述的一种基于预先标定的信号灯识别方法，其特征在于步骤2中对待标定的视频帧利用多尺度的滑动窗口机制初步确定信号灯所在的区域的具体步骤如下:
[0026]步骤2.1:待标定的视频帧提取的目标图像大小为Width*Height，设定矩形滑动窗口大小为Wwin*Hwin，按照水平步长为Hste3p和竖直步长为Vste3p滑动遍历整个目标图像，将窗口中采集到的部分缩放至训练样本WQ*HQ大小后再作为SVM识别；
[0027]步骤2.2:对目标图像的遍历操作需要进行多次，即通过调整滑动窗口的比例，在其0.5?2倍范围内创建11个尺度的滑动窗口进行搜索，定位信号灯背板区域。
[0028]所述的一种基于预先标定的信号灯识别方法，其特征在于步骤3利用连通区域与水平外接矩形的面积比来判断发光信号灯的外形的具体步骤如下:
[0029]步骤3.1:将信号灯背板区域的图像转换到灰度空间中，并通过划分信号灯背板黑色像素的灰度区间，得到一系列连通的信号灯区域；
[0030]步骤3.2:计算出各个连通区域与相应的水平外接矩形的面积比；
[0031]步骤3.3:保留面积比在60%?99%的连通区域，并判断为圆形信号灯；
[0032]步骤3.4:保留面积比在20%?45%的连通区域，并判断为箭头形信号灯。
[0033]所述的一种基于预先标定的信号灯识别方法，其特征在于步骤4中判断步骤3中识别为箭头形信号灯的箭头方向的具体步骤如下:
[0034]步骤4.1:按连通区域外接矩形对半划分为上下两部分，计算这两部分中各自的连通区域面积；
[0035]步骤4.2:按连通区域外接矩形对半划分为左右两部分，计算这两部分中各自的连通区域面积；
[0036]步骤4.3:计算各连通区域的左右、上下部分的面积比，用作对称性判别依据；
[0037]步骤4.4:满足左右面积比大于1.5、上下面积比在0.9?1.1之间的识别为左转灯；
[0038]步骤4.5:满足左右面积比在0.9?1.1之间、上下面积比大于1.5的识别为直行灯；
[0039]步骤4.6:满足左右面积比小于0.66、上下面积比在0.9?1.1之间的识别为右转灯。
[0040]本发明的有益效果为通过识别背板区域代替直接识别信号灯本身，避免多轮分类，降低样本训练的难度，预先标定过程全部采用灰度图像，进一步降低训练样本的类型要求，在实时检测信号灯中，只需要在预先标定好的信号灯候选区内进行识别，大大缩小了检测范围，从而提高了运算速度，实时性高。
【附图说明】
[0041 ]图1为信号灯标定流程示意图；
[0042]图2为信号灯背板区域定位效果图；
[0043]图3为信号灯背板灰度分割效果图；
[0044]图4-1为箭头形信号灯外接矩形示意图；
[0045]图4-2为圆形信号灯外接矩形示意图；
[0046]图5-1为箭头形左转信号灯左右部分面积示意图
[0047]图5-2为箭头形左转信号灯上下部分面积示意图；
[0048]图5-3为箭头形直行信号灯左右部分面积示意图
[0049]图5-4为箭头形直行信号灯上下部分面积示意图；
[0050]图5-5为箭头形右转信号灯左右部分面积示意图；
[0051 ]图5-6为箭头形右转信号灯上下部分面积示意图。
【具体实施方式】
[0052]下面结合附图对本发明进行进一步的说明，应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0053]图1是根据本发明实施例的信号灯标定的具体流程图，分为基于单帧图像的预标定(标定出信号灯背板区域)和基于视频的信号灯标定(标定出信号灯的位置与类型的映射关系)，具体流程为首先通过HOG特征训练SVM分类器检测信号灯背板，完成对信号灯候选区域进行初定位;其次从实时视频中获取信号灯候选区域的彩色图像，再将信号灯背板区域剔除得到各信号灯的位置;然后利用连通区域与水平外接矩形的面积比对信号灯候选区域中的信号灯形状进行判断;最后利用HSV颜色空间进行信号灯识别。
[0054]本发明的技术方案包括以下步骤:
[0055]步骤1:提取信号灯背板的HOG特征，并利用SVM进行训练，具体步骤如下:
[0056]步骤1.1:使用宽为Wo、高为Ho大小的灰度图作为样本进行HOG特征采集，其中，正样本为各类信号灯背板图片，负样本为除信号灯背板外的其他区域;在实例中，Wo=100、Ho =50；
[0057]步骤1.2:设置HOG特征块尺寸为Whqg*Whqg，块步长为S*S，胞元尺寸为C*C，划分直方图区间个数为K;在本实施例中，Whqg=10，S = 5，C = 5，K = 9;
[0058]步骤1.3:对HOG特征块进行归一化并将归一化后的各个胞元的特征向量联结在一起构成块的HOG特征，所有的HOG特征集合即为整个信号灯背板的HOG的特征；
[0059]步骤1.4:利用SVM对信号灯背板正负样本的特征进行训练，确定分割两种训练样本的最佳超平面；
[0060]步骤2:对待标定的视频帧利用多尺度的滑动窗口机制初步确定信号灯所在的区域，即背板位置，具体步骤如下:
[0061 ] 步骤2.1:待标定的视频帧提取的目标图像大小为Width*Height，设定滑动窗口大小为Wwin*Hwin，按照水平步长为Hste3p和竖直步长为Vste3p滑动遍历整个目标图像，将窗口中采集到的部分缩放至训练样本Wq*Hq大小后再作为SVM识别对象;在本实施例中，滑动检测窗口Wwin=10, Hwin = 50,滑动步长 Hstep = 5，Vstep = 5;
[0062]步骤2.2:对目标图像的遍历操作需要进行多次，即通过调整滑动窗口的比例，在其0.5?2倍范围内创建11个尺度的滑动窗口进行搜索，定位信号灯背板区域;本实施例中，图2为路口背景图像中的信号灯背板定位效果图，其中识别为背板的区域已用红线框出；
[0063]步骤3:实时提取信号灯区域的局部彩色图像，通过灰度分割操作后将信号灯背板区域的暗部区域去除，得到发光的信号灯区域，再利用连通区域与水平外接矩形的面积比来判断发光信号灯的外形，具体步骤如下:
[0064]步骤3.1:将信号灯区域的图像转换到灰度空间当中，并通过划分信号灯背板黑色像素的灰度区间，得到一系列连通的信号灯区域;图3为本实施例中信号灯背板黑色像素的灰度划分效果图；
[0065]步骤3.2:计算出各个连通区域与相应的水平外接矩形的面积比；
[0066]步骤3.3:保留面积比在60%?99%的连通区域，并判断为圆形信号灯；图4-2为本实施例中圆形信号灯示意图；
[0067]步骤3.4:保留面积比在20%?45%的连通区域，并判断为箭头形信号灯；图4-1为本实施例中箭头形信号灯示意图；
[0068]步骤4:进一步判断步骤3中识别为箭头形信号灯的箭头方向，具体步骤如下:
[0069]步骤4.1:按连通区域外接矩形对半划分为上下两部分，计算这两部分中各自的连通区域面积；
[0070]步骤4.2:按连通区域外接矩形对半划分为左右两部分，计算这两部分中各自的连通区域面积；
[0071]步骤4.3:计算各连通区域的左右、上下部分的面积比，用作对称性判别依据；
[0072]步骤4.4:满足左右面积比大于1.5、上下面积比在0.9?1.1之间的识别为左转灯；图5-1为本实施例中箭头左转信号灯左右部分面积示意图，图5-2为本实施例中箭头形左转信号灯上下部分面积示意图；
[0073]步骤4.5:满足左右面积比在0.9?1.1之间、上下面积比大于1.5的识别为直行灯；图5-3为本实施例中箭头形直行信号灯左右部分面积示意图，图5-4为本实施例中箭头形直行信号灯上下部分面积示意图；
[0074]步骤4.6:满足左右面积比小于0.66、上下面积比在0.9?1.1之间的识别为右转灯；图5-5为本实施例中箭头形右转信号灯左右部分面积示意图，图5-6为本实施例中箭头形右转信号灯上下部分面积示意图；
[0075]步骤5:进一步将检测到的信号灯转化到HSV的颜色空间，再对信号灯颜色进行识另IJ，从而得到各种类型的信号灯位置与颜色信号的映射关系，完成标定，具体步骤如下:
[0076]步骤5.1:将发光的连通区域图像转化至HSV颜色空间；
[0077]步骤5.2:统计各信号灯区域的H、S、V通道平均值；
[0078]步骤5.3:满足He(O，30) U (330，360)，Se [ 10，100]，Ve [5，100)的区域判断为红灯；
[0079]步骤5.4:满足He(40,80)，Se [30,100]，Ve[5，100)的区域判断为黄灯；
[0080]步骤5.5:满足He(90,160)，Se [30,100]，Ve [5，100)的区域判断为绿灯;
[0081]本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
【主权项】
1.一种基于预先标定的信号灯识别方法，其特征在于包括以下步骤: 步骤I:提取信号灯背板的HOG特征，并利用SVM进行训练； 步骤2:对待标定的视频帧利用多尺度的滑动窗口机制初步确定信号灯所在的区域，SP背板位置； 步骤3:实时提取信号灯背板区域的局部彩色图像，通过灰度分割操作后将信号灯背板区域的暗部区域去除，得到发光的信号灯区域，再利用连通区域与水平外接矩形的面积比来判断发光信号灯的外形； 步骤4:进一步判断步骤3中识别为箭头形信号灯的箭头方向； 步骤5:进一步将检测到的信号灯转化到HSV的颜色空间，再对信号灯颜色进行识别，从而得到各种类型的信号灯位置与颜色信号的映射关系，完成标定，具体步骤如下: 步骤5.1:将发光的连通区域图像转化至HSV颜色空间； 步骤5.2:统计各信号灯区域的H、S、V通道平均值； 步骤5.3:满足He (O，30) U (330，360)，Se [ 10，100]，Ve [5，100)的区域判断为红灯； 步骤5.4:满足H e (40，80)，S e [ 30，100 ]，V e [ 5，100)的区域判断为黄灯； 步骤5.5:满足H e (90，160)，S e [ 30，100 ]，V e [ 5，100)的区域判断为绿灯。2.根据权利要求1所述的一种基于预先标定的信号灯识别方法，其特征在于步骤I)中利用SVM进行训练的具体步骤如下: 步骤1.1:使用宽为Wo、高为Ho的灰度图作为样本进行HOG特征采集，其中，正样本为各类信号灯背板图片，负样本为除信号灯背板外的其他区域； 步骤1.2:设置HOG特征块尺寸为Whqg*Whqg，块步长为S*S，胞元尺寸为OC，划分直方图区间个数为K; 步骤1.3:对HOG特征块进行归一化并将归一化后的各个胞元的特征向量联结在一起构成块的HOG特征，所有的HOG特征集合即为整个信号灯背板的HOG的特征； 步骤1.4:利用SVM对信号灯背板正负样本的特征进行训练，确定分割两种训练样本的最佳超平面。3.根据权利要求1所述的一种基于预先标定的信号灯识别方法，其特征在于步骤2)中对待标定的视频帧利用多尺度的滑动窗口机制初步确定信号灯所在的区域的具体步骤如下: 步骤2.1:待标定的视频帧提取的目标图像大小为Width*Height，设定矩形滑动窗口大小为Wwin*Hwin，按照水平步长为Hste3p和竖直步长为Vste3p滑动遍历整个目标图像，将窗口中采集到的部分缩放至训练样本WQ*HQ大小后再作为SVM识别； 步骤2.2:对目标图像的遍历操作需要进行多次，即通过调整滑动窗口的比例，在其0.5?2倍范围内创建11个尺度的滑动窗口进行搜索，定位信号灯背板区域。4.根据权利要求1所述的一种基于预先标定的信号灯识别方法，其特征在于步骤3)利用连通区域与水平外接矩形的面积比来判断发光信号灯的外形的具体步骤如下: 步骤3.1:将信号灯背板区域的图像转换到灰度空间中，并通过划分信号灯背板黑色像素的灰度区间，得到一系列连通的信号灯区域； 步骤3.2:计算出各个连通区域与相应的水平外接矩形的面积比； 步骤3.3:保留面积比在60%?99%的连通区域，并判断为圆形信号灯； 步骤3.4:保留面积比在20%?45%的连通区域，并判断为箭头形信号灯。5.根据权利要求1所述的一种基于预先标定的信号灯识别方法，其特征在于步骤4中判断步骤3中识别为箭头形信号灯的箭头方向的具体步骤如下: 步骤4.1:按连通区域外接矩形对半划分为上下两部分，计算这两部分中各自的连通区域面积； 步骤4.2:按连通区域外接矩形对半划分为左右两部分，计算这两部分中各自的连通区域面积； 步骤4.3:计算各连通区域的左右、上下部分的面积比，用作对称性判别依据； 步骤4.4:满足左右面积比大于1.5、上下面积比在0.9?1.1之间的识别为左转灯； 步骤4.5:满足左右面积比在0.9?1.1之间、上下面积比大于1.5的识别为直行灯； 步骤4.6:满足左右面积比小于0.66、上下面积比在0.9?1.1之间的识别为右转灯。
【文档编号】G06K9/62GK105913041SQ201610270273
【公开日】2016年8月31日
【申请日】2016年4月27日
【发明人】高飞, 令狐乾锦, 童伟圆, 倪逸扬, 李定谢尔, 卢书芳, 肖刚
【申请人】浙江工业大学