基于前脸特征的车型识别方法
【专利摘要】本发明提供一种基于前脸特征的车型识别方法，包括以下部分：S01、一种基于图像直方图信息的路面车辆自动提取方法：分析道路上交通卡口传回的路面图像，采用单目图像分析方法，提取出路面图像中可能存在的车辆区域；S02、一种融合了颜色和梯度信息的车前脸截取方法：在采用S01得到的车辆区域图像中通过分析目标的颜色和梯度信息，完成车前脸的截取；S03、进行基于异类样本分析的车辆型号在线训练，建立各种车型的车辆模板；S04、一种基于车前脸特征子空间的车辆型号判别方法：基于S02所截取的车辆前脸与S03得到的车型模板匹配，得出车辆型号的判别决策。本发明能够准确的进行车辆车型的自动识别，大大方便了需要车型信息的相关部门的日常工作。
【专利说明】基于前脸特征的车型识别方法
【技术领域】
[0001]本发明涉及图像识别【技术领域】，尤其是一种基于车辆前脸特征的车型识别方法。【背景技术】
[0002]随着人工智能、自动控制和模式识别等领域的发展，智能交通系统应运而生，并取得巨大发展。车辆类型的智能识别分类一直是智能交通系统的重要组成部分。车辆类型的准确识别对于高速公路收费额的确定、大型停车场的管理以及公路交通监视控制等都有着非常重要的意义。
[0003]传统的车型分类检测器主要有压电式检测器、红外检测器、磁感应式检测器及超声波检测器，易受其他外部不稳定因素的影响，且多是大体估计车辆长度而不能准确估计车辆类型。视觉监测装置与其他类型的检测器相比，有安装简单、维修方便、成本低以及信息量丰富等优点，目前已成为智能交通系统研究的热点。
[0004]视频监控是计算机视觉、模式识别以及人工智能等领域的一个重要的研究内容，在安全监控、智能交通、军事导航等方面有着广泛的应用前景。在目前的车辆类型判别中，大多通过降噪处理、边缘检测，从视频图像中提取汽车总长、宽度、高度、不变矩等特征量，然后进行模式识别，判断出车辆的车型，但只能对车辆的大体种类进行判断，如货车、轿车等，并无法实现车辆所对应的具体型号的判别。
[0005]由于同种类的车辆所对应的型号有近万种，对车辆具体型号进行判别的工作非常具有挑战性，当前相关研究甚少。
【发明内容】
[0006]本发明的目的在于提供一种基于前脸特征的车型识别方法，通过获取交通卡口图像，利用图像分析技术快速准确获取车前脸图像，自动建立不同车型的车前脸特征识别模板集，通过多层搜索及近邻比对技术，进而实时完成通过各交通卡口的车辆的车型的判别工作，为交通管理及刑侦系统提供技术支持。本发明采用的技术方案是:
[0007]一种基于前脸特征的车型识别方法，包括以下部分:
[0008]S01、一种基于图像直方图信息的路面车辆自动提取方法:分析道路上交通卡口传回的路面图像，采用单目图像分析方法，提取出路面图像中可能存在的车辆区域；
[0009]S02、一种融合了颜色和梯度信息的车前脸截取方法:在采用SOl得到的车辆区域图像中通过分析目标的颜色和梯度信息，完成车前脸的截取；
[0010]S03、进行基于异类样本分析的车辆型号在线训练，建立各种车型的车辆模板；
[0011]S04、一种基于车前脸特征子空间的车辆型号判别方法:基于S02所截取的车辆前脸与S03得到的车型模板匹配，得出车辆型号的判别决策。
[0012]本发明的优点在于，本发明提出的方法，对于捕获的交通卡口图像，可以快速获取车前脸图像，并且能够准确的进行车辆车型的自动识别，大大方便了需要车型信息的相关部门的日常工作。【专利附图】
【附图说明】
[0013]图1为本发明的主要流程图。
[0014]图2为本发明的详细流程图。
【具体实施方式】
[0015]下面结合具体附图和实施例对本发明作进一步说明。
[0016]如图1、图2所示:
[0017]本发明所提出的基于前脸特征的车型识别方法，包括以下部分:
[0018]S01、一种基于图像直方图信息的路面车辆自动提取方法，分析道路上交通卡口传回的路面图像，采用单目图像分析方法，提取出路面图像中可能存在的车辆区域；
[0019]所述SOl具体为:
[0020](I)对于输入图像I，建立其灰度直方图1hist，提取出现频次最多的灰度，将该灰度值记为B，对应的频次为P;
[0021](2)设定灰度区间阈值T=P/3，建立路面候选目标掩膜二值图像Μ=(Ι>Β+Τ) I (KB-T)；
[0022](3)对目标掩模二值图像M进行中值滤波处理；
[0023](4)根据目标掩模二值图像M中白色像素的个数对M进行膨胀处理；
[0024](5)对目标掩模二值图像M进行标记，获得M中斑点集合R={R(t)}, t=l, 2，Λ, Nm, Nm 为 M 中斑点个数；
[0025](6)分析斑点集合R中各斑点的尺寸和形状，剔除面积过小和长宽比过大或过小的斑点；面积过小是指斑点的面积小于50个像素，长宽比过大指长宽比大于5，长宽比过小指长宽比小于0.98 ；
[0026](7)对斑点集合R中的每对斑点RU1)，R(t2)，根据该对斑点在图像平面的空间分布，判断是否属于同一辆车，若是，则合并两斑点区域，进而得到斑点区域集合P= {P(c)}，c=l, 2, Λ，NP，Np为区域集合P中区域的个数；
[0027](8)分析区域集合P中的每块区域的尺寸和形状以及在图像中的位置，剔除面积过小和长宽比过大或过小以及过分靠近图像边缘的区域，得到修正后的车辆目标区域集合P’={P’ (c)},c=l,2, Λ，N’P，N’p为区域集合P’中区域的个数；过分靠近图像边缘的区域指区域的中心离图像边缘的距离小于整幅图像宽度的1/5。因为图像中可能有多辆车辆，所以最后获得的是一个可能包含多个车辆目标区域的集合。
[0028]具体的，所述SOl的步骤(4)的具体实现步骤如下:
[0029](a)统计目标掩模图像M中白色像素的个数，记为N ；
[0030](b)若N〈800，选择结构元素se为大小为15X7的矩形元素；若N>6000，选择结构元素se为大小为7X3的矩形元素；否则，选择结构元素se为大小为9X5的矩形元素；
[0031](c)若N〈23000，采用se对M进行数学形态学膨胀处理，否则，不做膨胀处理；
[0032]S02、一种融合了颜色和梯度信息的车前脸截取方法，在采用SOl得到的车辆区域图像中通过分析目标的颜色和梯度信息，完成车前脸的截取。
[0033]在本实施方式中，所述步骤S02具体为:[0034](I)根据得到的目标区域集合P’={P’(c)}，在输入图像I中截取对应的目标区域
图像 Ip，(c)；
[0035](2)在目标区域图像IP，(。)中，根据车牌颜色信息，建立车牌位置候选区集合{Ri(j) = {[x(s), y(s)] I b (S) min (r (S)，g(s))}>Tb}，j=l, 2，A, N1, N1 为车牌位置候选区个数，(r(s),g(s),b(s))为像素点s的红、绿、蓝颜色分量，Tb为颜色阈值；
[0036](3)将每一个车牌位置候选区R1GO所对应的坐标值的像素值赋1，其余像素赋0，形成二值图像bw ；
[0037](4)对二值图像bw进行中值滤波后做斑点标记，计算每一个斑点的面积、长宽比、矩形度，根据斑点的几何特征删除不可能为车牌的斑点；
[0038](5)统计经删除操作之后的斑点个数Nb，若Nb > 1，则将该斑点进行车牌区域确认；
[0039](6)若通过区域确认，输出该斑点中心[X1J1]，并根据中心在图像中的位置确定前脸区域尺寸和位置，得到当前目标区域中前脸图像F。，否则，删除该斑点，且Nb=Nb-1 ；
[0040](7)若Nb=0，计算目标区域图像IP，(。)的梯度图像Ig(。)，并进行膨胀操作；
[0041](8)对Ig(。)进行标记，寻找其中面积最大的斑点，并对其面积，位置，对称性进行判定，确定前脸候选；
[0042](9)根据前脸候选斑点计算前脸高度，并根据斑点位置确定前脸区域尺寸，得到当前目标区域中前脸图像F。。
[0043]具体的，所述S02的步骤(5)的具体实现步骤如下:
[0044](a)统计经删除操作之后的斑点个数Nb ；
[0045](b)将Nb个斑点分别按照与车牌的尺寸与形状的接近程度和面积大小进行排序，得到排序后的斑点集合Db和Ds ；
[0046](c)若斑点与车牌的尺寸与形状的接近度的最大值和次大值之差小于0.02，则按照Db的排序次序进行车牌区域确认；否则，按照Db的排序次序进行车牌区域确认；
[0047](d)在车牌确认环节，将目标区域图像IP，(。)转化为灰度图像，并进行阈值化处理，得到车牌二值图像Ibw ;
[0048](e)从上到下，从左到右扫描车牌二值图像Ibw，记录从0到I和从I到0的像素个数，并除以Ibw中白色区域所占高度，得到Nbw ；
[0049](f)若Nbw>Tbw，则该区域通过车牌确认，其中Tbw为阈值；
[0050]S03、进行基于异类样本分析的车辆型号在线训练，建立各种车型的车辆模板；具体包括下述步骤:
[0051](I)对于给定车辆型号G，形成对应于该型号的图像中所截取的车前脸图像集合Fg= {f (I1)，I1=I, 2，A，NtraiJ G，其中Ntrain为训练图像个数，并求取每一幅图像f (I1)的有向梯度直方图特征，形成对应于该车辆型号的特征集合Ft/ ；
[0052](2)形成对应于混合车型的图像所截取的车前脸图像集合Fm= {f (J1)，J1=I, 2，A，Nm}M，其中Nm为混合车型图像总的个数，并求取每一幅图像f (J1)的有向梯度直方图特征，形成对应于混合车辆型号的特征集合Fm’ ；混合车辆型号是指多种不同车型。
[0053](3)将混合车辆型号的特征集合Fm’中的数据进行主成分分析，形成车辆前脸特征子空间S ；
[0054](4)将混合车辆型号的特征集合Fm’中的数据投影至车辆前脸特征子空间S，形成混合车型模板 Mm= {(1μ(^)，Ii1=I, 2，A，NtraiJ ；
[0055](5)将对应于给定车辆型号G的特征集合Fe’中的数据投影至车辆前脸特征子空间 S，形成在 S 中的点集 Dg= {dG (k2)，k2=l, 2，Λ，N，f};
[0056](6)对点集De进行直方图分析，从Fe中删除出现频率小于0.1的数据所对应的车前脸图像，将其定义为异类样本，同时记录出现频率大于0.1的数据及数据个数Ne，将数据保存为给定车辆型号G的车型模板Mg= {dG (k’)，k’ =1，2，Λ , NJ 0
[0057]S04、一种基于车前脸特征子空间的车辆型号快速判别方法，基于S02所截取的车辆前脸与S03得到的车型模板匹配，得出车辆型号的判别决策。
[0058]在本实施方式中，所述步骤S04中的模板比对的过程具体为: [0059](I)形成车辆模板集合M={MJ，G=1，2，Λ , η,其中η为待识别车型个数，并计算每个模板的特征均值集合E= {EJ，G=I, 2，A, η ；
[0060](2)按融合了颜色和梯度信息的车前脸截取方法对输入图像J进行前脸截取，获得对应于图像J的前脸图像集合Ff {fj (t)}，t=l，2，Λ，N’ f ;
[0061](3)将fT(t)投影至混合车型前脸图像形成的特征子空间S，获得投影系数d(t)；
[0062](4)计算投影系数d(t)与车型特征均值模板E的距离向量ds(g) = | d(t)-Ee |2 ；
[0063](5)对ds中的数据进行从小到大的排序，取前500个所对应的类型及其类型索引，建立粗搜索索引集合ID={i}，进而获取粗索引车型模板集合Msub= {DJ ;
[0064](6)计算投影系数d(t)与粗索引车型模板集合Msub中各数据的距离矩阵dis(i, k) = I d (t) -Di (k) |2 ；
[0065](7)求取dis的最小值，若其最小值小于一设定阈值，则认为该输入车辆的车型未能识别，并返回；否则进入(8)；
[0066](8)对dis中的数据从小到大进行排序，并寻找与前50个值对应的车型，并记录每种车型的个数，将对应个数最多的车型设定为最终车型识别结果。
【权利要求】
1.一种基于前脸特征的车型识别方法，其特征在于，包括以下部分: 501、一种基于图像直方图信息的路面车辆自动提取方法:分析道路上交通卡口传回的路面图像，采用单目图像分析方法，提取出路面图像中可能存在的车辆区域； 502、一种融合了颜色和梯度信息的车前脸截取方法:在采用SOl得到的车辆区域图像中通过分析目标的颜色和梯度信息，完成车前脸的截取； 503、进行基于异类样本分析的车辆型号在线训练，建立各种车型的车辆模板； 504、一种基于车前脸特征子空间的车辆型号判别方法:基于S02所截取的车辆前脸与S03得到的车型模板匹配，得出车辆型号的判别决策。
2.如权利要求1所述的基于前脸特征的车型识别方法，其特征在于，所述SOl具体包括下述步骤: (1)对于输入图像I，建立其灰度直方图1hist，提取出现频次最多的灰度，将该灰度值记为B，对应的频次为P;
(2)设定灰度区间阈值T=P/3，建立路面候选目标掩膜二值图像M=(I>B+T)I (KB-T)； (3)对目标掩模二值图像M进行中值滤波处理； (4)根据目标掩模二值图像M中白色像素的个数对M进行膨胀处理； (5)对目标掩模二值图像M进行标记，获得M中斑点集合R={R(t)}，t=l，2，Λ，Nm,Nm为M中斑点个数； (6)分析斑点集合R中各斑点的尺寸和形状，剔除面积过小和长宽比过大或过小的斑占.(7)对斑点集合R中的每对斑点RU1),R(t2)，根据该对斑点在图像平面的空间分布，判断是否属于同一辆车，若是，则合并两斑点区域，进而得到斑点区域集合P= {P(c)}，c=l, 2, Λ，NP，Np为区域集合P中区域的个数； (8)分析区域集合P中的每块区域的尺寸和形状以及在图像中的位置，剔除面积过小和长宽比过大或过小以及过分靠近图像边缘的区域，得到修正后的车辆目标区域集合P’={P’ (c)},c=l,2, Λ，N’P，N’p为区域集合P’中区域的个数。
3.如权利要求2所述的基于前脸特征的车型识别方法，其特征在于:所述SOl的步骤(4)的具体实现步骤如下: (a)统计目标掩模图像M中白色像素的个数，记为N; (b)若N〈800，选择结构元素se为大小为15X7的矩形元素；若N>6000，选择结构元素se为大小为7X3的矩形元素；否则，选择结构元素se为大小为9X5的矩形元素； (c)若N〈23000，采用se对M进行数学形态学膨胀处理，否则，不做膨胀处理。
4.如权利要求2或3所述的基于前脸特征的车型识别方法，其特征在于:所述S02具体包括下述步骤: (1)根据得到的目标区域集合P’={P’(c)}，在输入图像I中截取对应的目标区域图像Ip’ (C); (2)在目标区域图像IP，(。)中，根据车牌颜色信息，建立车牌位置候选区集合{Ri(j) = {[x(s), y(s)] b(s)min(r(s), g(s))}>Tb}，j=l, 2，A, N1, N1 为车牌位置候选区个数，(r(s),g(s),b(s))为像素点s的红、绿、蓝颜色分量，Tb为颜色阈值； (3)将每一个车牌位置候选区R1GO所对应的坐标值的像素值赋1，其余像素赋0，形成二值图像bw ； (4)对二值图像bw进行中值滤波后做斑点标记，计算每一个斑点的面积、长宽比、矩形度，根据斑点的几何特征删除不可能为车牌的斑点； (5)统计经删除操作之后的斑点个数Nb，若Nb^ 1，则将该斑点进行车牌区域确认； (6)若通过区域确认，输出该斑点中心[Xl，yi]，并根据中心在图像中的位置确定前脸区域尺寸和位置，得到当前目标区域中前脸图像F。，否则，删除该斑点，且Nb=Nb-1 ； (7)若Nb=O,计算目标区域图像IP，(。)的梯度图像Ig(。)，并进行膨胀操作； (8)对Ig(。)进行标记，寻找其中面积最大的斑点，并对其面积，位置，对称性进行判定，确定前脸候选； (9)根据前脸候选斑点计算前脸高度，并根据斑点位置确定前脸区域尺寸，得到当前目标区域中前脸图像F。。
5.如权利要求4所述的基于前脸特征的车型识别方法，其特征在于:所述S02的步骤(5)的具体实现步骤如下: (a)统计经删除操作之后的斑点个数Nb; (b)将Nb个斑点分别按照与车牌的尺寸与形状的接近程度和面积大小进行排序，得到排序后的斑点集合Db和Ds ； (c)若斑点与车牌的尺寸与形状的接近度的最大值和次大值之差小于0.02，则按照Db的排序次序进行车牌区域确认；否则，按照Db的排序次序进行车牌区域确认； (d)在车牌确认环节，将目标区域图像IP，(。)转化为灰度图像，并进行阈值化处理，得到车牌二值图像Ibw ； (e)从上到下，从左到右扫描车牌二值图像Ibw，记录从0到I和从I到0的像素个数，并除以Ibw中白色区域所占高度，得到Nbw ； (f)若Nbw>Tbw，则该区域通过车牌确认，其中Tbw为阈值。
6.如权利要求5所述的基于前脸特征的车型识别方法，其特征在于:所述S03具体包括下述步骤: (1)对于给定车辆型号G，形成对应于该型号的图像中所截取的车前脸图像集合Fg= {f (I1)，I1=I, 2，A，NtraiJ G，其中Ntrain为训练图像个数，并求取每一幅图像f (I1)的有向梯度直方图特征，形成对应于该车辆型号的特征集合Ft/ ； (2)形成对应于混合车型的图像所截取的车前脸图像集合Fm=KU1),J1=I, 2，A1NJm,其中Nm为混合车型图像总的个数，并求取每一幅图像f (J1)的有向梯度直方图特征，形成对应于混合车辆型号的特征集合Fm’ ； (3)将混合车辆型号的特征集合Fm’中的数据进行主成分分析，形成车辆前脸特征子空间S; (4)将混合车辆型号的特征集合Fm’中的数据投影至车辆前脸特征子空间S，形成混合车型模板 Mm= {dM (Ic1), Ic1=I, 2，A , NtrainI ； (5)将对应于给定车辆型号G的特征集合Ft/中的数据投影至车辆前脸特征子空间S，形成在3中的点集0(；={(1(；(1^)，1^=1，2，A，N，f}； (6)对点集De进行直方图分析，从Fe中删除出现频率小于0.1的数据所对应的车前脸图像，将其定义为异类样本，同时记录出现频率大于0.1的数据及数据个数^，将数据保存为给定车辆型号G的车型模板Me= {dG (k’)，k’ =1，2，Λ , NJ 0
7.如权利要求6所述的基于前脸特征的车型识别方法，其特征在于，所述S04具体包括下述步骤: (1)形成车辆模板集合M={MJ，G=1，2，Λ,η,其中η为待识别车型个数，并计算每个模板的特征均值集合E= {EJ，G=I, 2，A, η ； (2)按融合了颜色和梯度信息的车前脸截取方法对输入图像J进行前脸截取，获得对应于图像J的前脸图像集合Fj= {fj (t)}，t=l，2，Λ，N’ f ; (3)将fT(t)投影至混合车型前脸图像形成的特征子空间S，获得投影系数d(t)；(4)计算投影系数d(t)与车型特征均值模板E的距离向量ds(g)= | d(t)-EeI2; (5)对ds中的数据进行从小到大的排序，取前500个所对应的类型及其类型索引，建立粗搜索索引集合ID= {i}，进而获取粗索引车型模板集合Msub= {DJ ； (6)计算投影系数d(t)与粗索引车型模板集合Msub中各数据的距离矩阵dis(i, k) = I d (t) -Di (k) |2 ； (7)求取dis的最小值，若其最小值小于一设定阈值，则认为该输入车辆的车型未能识另U，并返回；否则进入⑶； (8)对dis中的数据 从小到大进行排序，并寻找与前50个值对应的车型，并记录每种车型的个数，将对应个数最多的车型设定为最终车型识别结果。
【文档编号】G06K9/00GK103745598SQ201410009098
【公开日】2014年4月23日 申请日期:2014年1月9日 优先权日:2014年1月9日
【发明者】陈莹, 化春健, 梅俊琪 申请人:中科联合自动化科技无锡有限公司