基于稀疏取样灰度分布和梯度分布特征的车标识别方法与流程

本发明涉及一种基于稀疏取样灰度分布和梯度分布特征的车标识别方法，属于图像处理技术领域。

背景技术：

智能交通系统(intelligenttransportsystem简称its)，又叫做车辆道路系统，是一种广泛的、多功能的、及时的、高效率和精确的综合运输和治理的系统。车标作为车辆的品牌标志，人们对它的关注不亚于甚至超过车牌。现阶段车辆标志识别系统其过程主要分为定位和识别两个主要阶段，研究方法包括：定位部分，李侠等提出基于模板匹配和边缘检测的车标定位方法，刘玉松等提出基于梯度值投影的车标定位，郑德键等提出基于中轴线和先验知识的车标定位。识别部分，刘玉松等提出基于模板匹配的车标识别方法，郑德键等提出基于修正不变矩的车标识别方法，朱资淘提出基于sift算子的车标识别方法，陈舜杰、王建均提出基于特征值提取和支持向量机的车标识别。但是现在研究方法都是基于样本图像分辨率高、图像质量较好进行的，如果因为客观原因导致图像质量不理想，分辨率不高，就很难取得理想状态下的识别效果。事实也如此，交通摄像头在阴雨大雾等天气里，所形成的图像质量不高。因此，研究低分辨率低质量的车辆图像具有重要的现实意义。

技术实现要素：

发明目的：针对现有技术中存在的问题，本发明目的在于提出一种基于稀疏采样的灰度分布和梯度分布特征的车标识别方法，针对成像效果不理想的图像进行定位识别，提高识别率。

技术方案：为实现上述发明目的，本发明提供一种基于稀疏取样灰度分布和梯度分布特征的车标识别方法，包括如下步骤：

在车牌上方选取一个区域，作为车标识别的感兴趣区域；

采用随机均匀稀疏采样方法对样本图像进行采样，并将所有的采样点随机配对，划分成邻近点对集和非邻近点对集，对两类不同的点对集采用不同的方法进行特征提取，建立特征库，其中对于邻近点对集中的每个采样点提取八个角度范围的梯度幅值作为梯度分布特征，对于非邻近点对集中的每个采样点对计算其明暗关系及明暗关系的信任度作为灰度分布特征；

在确定感兴趣区域并准备好样本特征库后，设定一可缩放的窗口，在待测的感兴趣区域内进行扫描，对当前窗口位置上，窗口大小的图像进行特征提取，并与准备好的特征库进行对比，最终确定车标类型。

作为优选，所述车标识别的感兴趣区域的位置为：

xl＝xpl

xr＝xpr

yb＝ypt

yt＝ypt+a*height

其中，xl,xr,yb,yt分别表示车标的左边界、右边界、下边界和上边界；

xpl,xpr,ypt,height分别表示车牌的左边界、右边界、上边界以及车牌的高度；a为设定的车牌高度倍数。

作为优选，对于采样点集中的随机配对的两个点p1点与p2点，分类方法为：对于随机选择的第一个点p1：若选择的第二个点p2满足：

则p1点与p2点配成的点对分类到非邻近点对集，否则分类到邻近点对集；其中，p(p1)、p(p2)分别表示选择p1点和p2点的概率，(x1，y1)为第一个点p1的坐标，(x2，y2)为第二个点p2的坐标，n0表示采样点总数目，np为已配对采样点数，p(x,y)为已配对的采样点，σ为尺度参数。

作为优选，所述对于邻近点对集中的每个采样点提取八个角度范围的梯度幅值中，八个角度范围为0°～45°、45°～90°、90°～135°、135°～180°、180°～225°、225°～270°、270°～315°、315°～360°八个角度范围；将一个样本图像上邻近点对集中的每个采样点的梯度幅值按照对应角度范围区间累加到一起，得到一个梯度幅值总和的集合作为该样本图像的随机梯度分布特征。

作为优选，所述非邻近点对集中的采样点对的明暗关系表示为：

其中，ip1和ip2是采样点p1和p2邻域内的灰度均值,t1是灰度均值临界值。

作为优选，所述非邻近点对集中的采样点对的明暗关系的信任度表示为

其中，relc,i表示第c类车标的第i个采样点对的明暗关系信任度，s为第c类车标的样本总数，rc,s,i表示第c类车标的第i个采样点对在第s个样本中的明暗关系。

作为优选，从非邻近点对集中筛选出信任度大于设定阈值的点对集作为新的信任点对集。

作为优选，从所述新的信任点对集中筛选出与其他车标类别明暗关系相关度最小的若干采样点对作为最小相关点对集，所述最小相关点对集作为区分与其他类别车标的特征点对集。

作为优选，根据如下公式计算待测图像的特征与特征库的相似度，并选择最大相似度值对应的车标类别作为识别结果：

其中，mt,w,c表示在缩放尺度为t，第w步的窗口位置的图像与第c类车标的相似度值，s为第c类车标的样本总数，rt,w,i表示在缩放尺度为t，第w步的窗口位置的图像的第i个点对的明暗对比关系，n4表示筛选后非邻近点对集中的点对数，relc,s,i表示第c类车标的第i个采样点对的明暗关系信任度，rc,s,i表示第c类车标中第s张样本的第i个点对的明暗对比关系；gt,w,j表示在缩放尺度为t，第w步的窗口位置的图像在第j个角度范围的梯度幅值总和，gc,s,j表示第c类车标第s张样本中第j个角度范围的梯度幅值总和。

有益效果：本发明提出的一种基于稀疏采样的灰度分布和梯度分布特征的车标识别方法，对比传统的识别方法，主要针对那些成像效果不理想的图像进行定位识别，将采样点分为邻近采样点集和非邻近采样点集，对两种不同的点对提取不一样的特征，并采用多尺度检测方式在在目标图像中提取特征进而识别和定位车标，将定位和识别有机的结合在一起，降低了中间过程的误差，提高了识别率，对于噪声大，质量差，像素低的图片也有较高的识别率。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例中的构建特征集的流程图。

图3为本发明实施例中的标准车标样本示例图。

图4为本发明实施例中的现实车标样本示例图。

图5为本发明实施例中的采样点梯度方向角度分布示意图。

图6为本发明实施例中的大众样本点对示意图。

图7为本发明实施例中的多尺度检测示例图。

图8为本发明实施例中的测试结果示例图，其中(a)-(f)分别为不同类别车标的测试结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明实施例公开的一种基于稀疏采样的灰度分布和梯度分布特征的车标识别方法，首先是车标区域粗定位，在车牌上方选取一个区域，作为车标识别的感兴趣区域；然后采用随机均匀稀疏采样方法对样本图像进行采样，并将所有的采样点随机配对，划分成邻近点对集和非邻近点对集，对两类不同的点对集采用不同的方法进行特征提取，建立特征库，其中对于邻近点对集中的每个采样点提取八个角度范围的梯度幅值作为梯度分布特征，对于非邻近点对集中的每个采样点对计算其明暗关系及明暗关系的信任度作为灰度分布特征；最后设定一可缩放的窗口，在待测的感兴趣区域内进行扫描，对当前窗口位置上，窗口大小的图像进行特征提取，并与准备好的特征库进行对比，最终确定车标类型。具体实施步骤如下：

(1)基于先验知识的感兴趣车标区域粗定位

一幅包含车标的图像中，必定包含车辆整体以及一些不必要的干扰背景，所以需要对图片中车标感兴趣区域进行粗定位，也就是说在目标图像中截取车标的大致区域，为后续的多尺度扫描减少了扫描区域，减少了特征计算的工作量。

现阶段的车牌定位方法比较成熟，所以在进行车标感兴趣区域定位前，要进行车牌的定位，有基于车牌图像色彩信息定位法、基于边缘检测的定位法、基于车牌几何特征车定位法、基于频谱分析的车牌定位法等，这些方法在实践过程中能够较为准确地定位到车牌。本发明采用先验知识对车牌进行定位，我国车牌标准外轮廓尺寸为440*140且为矩形，整个车牌的宽高比近似为3:1。在进行车牌定位之后，以车牌高度为参数，向上方选取一定高度地区域，得到一个包含车标的感兴趣区域，车标位于车牌上方比较起眼的位置，一般位于车牌的正中上方，与此同时车标的宽度不会超过车牌的宽度，车标的感兴趣区域的定位范围可大致上通过车牌的高度为参数进行定位。这里设置一个a来控制车牌高度的倍数，通过以下公式来确定车标的大概位置：

xl＝xpl(1)

xr＝xpr(2)

yb＝ypt(3)

yt＝ypt+a*height(4)

上述各个表达式中，xl,xr,yb,yt分别表示车标的左边界、右边界、下边界和上边界。xpl,xpr,ypt,height分别表示车牌的左边界、右边界、上边界以及车牌的高度。在这里，从式(1)(2)中可以看出车标粗略区域的宽度就是车牌的宽度。车标粗定位区域的底部边界就是车牌区域的顶部边界，车标粗定位区域的顶部边界就是车牌的顶部区域加上a倍的车标的高度。这个感兴趣区域在保证了车标在其中的前提下，去除了图像中大部分干扰信息，在后续的多尺度扫描中，将对感性区域进行特征提取，并与样本库中的特征进行对比，进而进行车标的精定位。

(2)基于分处理的车标样本特征库的建立

训练图片样本通过提取并构建的特征表示来建立样本特征库，一幅图像的特征有很多，比如hog特征侧重于梯度方向，lbp特征侧重于纹理特征。本发明提出基于稀疏采样灰度分布与梯度分布特征分别侧重于采样点邻域内灰度“明暗”对比信息与相邻区域的纹理信息，经过筛选出能够在统计意义上表示该类车标图像的点对集合作为特征。该特征表示方法适合图片受光照影响大、图片分辨率低、质量不好的车标样本图像。图2为本发明基于稀疏采样构建特征集的方法流程图，具体包括：

(2.1)基于稀疏采样点集选取

稀疏采样，也被称为压缩采样，压缩感知，压缩感知方法抛弃了当前图像采样中的冗余信息，所以可以对图像进行稀疏采样而不影响图像信号的重构与表示，车标的结构特征更事宜进行稀疏采样表示灰度和形状结构特征。

图3所示为标准的车辆灰度样本，可以将其表示为像素灰度集合i＝{gi，i＝1,2,…n,n＝w*h}，其中gi表示像素的灰度，w表示样本图像的宽，h表示样本图像的高。对样本进行稀疏采样，坐标(x0，y0)处像素被采集到的概率：

其中ε(x,y)表示(x0，y0)邻域中的采样点，p(x,y)表示邻域中采样概率，nε表示邻域中的采样点数目，n0表示采样点总数目，n1表示已经采样的数目，σ为尺度参数。这样稀疏采样使得采样点随机均匀分布于样本图像的平面空间。此时，此时稀疏表示用i的子集来表示i。

随机均匀稀疏采样保证了采样点尽可能的均匀分布在样本图像上，因此也能够最大程度上保留车标的纹理结构特征，对后面的明暗特征提取影响较小。本发明对大众车标进行不同数目采样点的随机均匀稀疏采样，白色亮点为车标结构上的采样点，采样点能够大致上保留了大众标志的结构，采样点达到一定的数目，车辆的标志是可以识别的，但是随着取样点的减少，车辆标志的识别度也在降低，甚至不可分辨。

(2.2)对不同类型的点对集的特征提取

实际生活中车标样本因为受到各类噪声干扰，与标准的车标样本还是存在着一定的差异，各个像素点灰度绝对值已经变得不再那么可靠，但是车标结构上的像素点的梯度信息和“明暗”对比关系依旧可靠。因此,将稀疏采样点集内的点随机配对成n0/2个点对集p＝{pairm<pe,pf>，e，f≤n0，m≤n0/2}。点对pairm<p1,p2>中的p1(x1,y1)与p2(x2,y2)从n0个采样点进行随机的配对。p1点与p2点的选取会产生一定的空间逻辑关系，p1点与p2点可能相距较远，也有可能相邻。通过以下公式对p1点与p2点进行分类。

选择第一个点p1：

其中np为已配对采样点数。

选择第二个点p2：

其中p(p1)、p(p2)分别表示选择p1点和p2点的概率，(x1，y1)为第一个点，(x2，y2)为第二个点，p(x,y)为已配对的采样点。

满足上述公式的点对分类到远距离点对集p2中，其余的点对分类到邻近点对集p1中。对于这两种不同的点对集，分别采用明暗度和梯度进行特征提取。

(2.2.1)基于邻近点对集特征提取

通过公式筛选出的邻近点对集为p1，为了减少光照等因素的影响，对所采样的邻近点集进行归一化，集中在纹理周围的点集中，局部表层曝光比较重，如图4所示，所以对图像进行压缩处理可以降低局部的光照影响。

gamma压缩公式：i(x,y)＝i(x,y)^gamma

gamma可以取1/2。

计算邻近点对集各个横坐标和纵坐标方向的梯度，并计算每个像素点位置的梯度方向值。求导操作过程中能够弱化光照影响和捕捉轮廓。

图像中采样点p(x,y)的梯度为：

gx(x,y)＝h(x+1,y)-h(x-1,y)(8)

gy(x,y)＝h(x,y+1)-h(x,y-1)(9)

其中gx(x,y)为点p(x,y)处的水平梯度，gy(x,y)是点p(x,y)处的垂直梯度，h(x,y)是点p(x,y)的像素值。

接着计算点p(x,y)处的梯度幅值和梯度方向：

按照上式，计算出每一个点的梯度幅值和梯度方向。对于每个点的梯度方向分为x个方向块，即角度范围。如图所示，本发明中取x＝8，将360度分为8个方向块，每一块45°。那么像素的梯度被分为0°～45°、45°～90°、90°～135°、135°～180°、180°～225°、225°～270°、270°～315°、315°～360°八个角度范围，如图5所示，接着按照上式计算梯度幅值，将所有车标样本邻近采样点的梯度幅值按照区间累加到一起，得到一个梯度幅值的集合g={g1，g2，g3，g4，g5，g6，g7，g8}，g1代表着0°～45°角度范围内所有邻近取样点的梯度幅值总和，g2代表着45°～90°角度范围内所有邻近取样点的梯度幅值总和，以此类推。邻近点对集构成了样本图像梯度分布的一个稀疏表示，此稀疏表示定义为样本的随机梯度分布特征。

根据梯度关系继续生成不同车标所有样本的点对关系集。

gc,s＝{gc,s,j,c＝1,2...,c,s＝1,2,...,s,j＝1,2,...,8}(12)

其中gc,s为第c类车标的第s张样本的角度范围梯度集合，gc,s,i为第c类车标的第s张样本的第j个角度范围内的梯度幅值总和，c为样本库中所有车标类别的个数,s为第c类车标的样本总数,j为8个角度范围方向块编号。

(2.2.2)基于非邻近点对集特征提取

通过公式筛选出的远距离的点对，提高了采样点的“明暗”对比度差异大地概率。通过对点对集合p2继续构造点对地明暗关系r，点对pair<p1,p2>中两个采样点位置邻域内的灰度均值的“明暗”对比关系，分为p1>p2，p1＝p2，p1<p2:

ip1和ip2是采样点p1和p2一定邻域内的灰度均值，t1为灰度均值临界值，这里可将灰度均值临界值取为30。如图6所示给出的现实大众车标的样本中，有三个采样点对对应上式的三种关系：

pair1<p1,p2>，ip1＝200，ip2＝40，r1＝"p1>p2"

pair2<p3,p4>，ip3＝240，ip4＝245，r2＝"p3＝p4"

pair3<p5,p6>，ip5＝20，ip6＝240，r3＝"p5<p6"

通过在样本点集上的随机选取较远的匹配对，计算出了点对的明暗关系，得到了一个非邻近点对集和相应的点对明暗关系集，非邻近点对集和明暗关系集构成了样本图像灰度分布的一个稀疏表示，此稀疏表示定义为样本的随机灰度分布特征。

通过上述处理得到了某个样本的基于稀疏采样灰度分布的样本特征，但是最终要在车标样本特征库中使用灰度分布作为各类车标的特征表示，还需要进行特征筛选过程，并最终将邻近点对集特征和非邻近点对集相结合构成特征表示。

对每一类别车标，在坐标空间内进行随机均匀稀疏采样和非邻近的随机配对，得到包含n2个点对的初始点对集pc：

pc＝{pairc,i<p1,p2>,c＝1,2...,c,i＝1,2,...,n2}(14)

其中c为样本库中车标类别的个数，i代表着样本库中第c类车标的第i个采样点对，n2<no/2。由于是基于稀疏采样的随机采样，所以不同类型的车标的点对集中的位置也有所不同。在生成不同类别车标的点对集后pc，根据明暗关系继续生成该车标每个样本的点对关系集。

rc,s＝{pairc,s,i<p1,p2>,s＝1,2...,s，i＝1,2,...,n2}(15)

s为第c类车标的样本总数。

为了进一步精确灰度特征，要根据信任度对非邻近点对集进行点对筛选。点对信任度relc,i反映了某一个点对关系的可靠程度。当样本类别中大多数样本在该点对间呈现同一种明暗对比关系时，该种点对关系具有较高信任度。

relc,i表示第c类车标的第i个采样点的明暗关系信任度，rc,s,i表示第c类车标的第i个采样点在第s个样本中的明暗关系。如果第s个样本的第i个点对关系为p1>p2或者为p1<p2，rc,s,i取值为1，如果关系为p1＝p2，rc,s,i取值为0。从点对集pc中筛选出信任度大于设定阈值(如0.7)的n3个新的点对信任点对集pc′。

(2.2.3)进一步构建精确特征

相关度指不同类别样本根据同一点对集计算得到的点对关系集之间的相似程度。对某样本中的新点对集pc′中的每一个点对pairc<p1,p2>，计算出其中两个点在其他类的样本中点对关系。求出第c类样本中点对和第c′中的相关度corelc,c′:

其中，rc,s,i表示第c类样本的第s个样本第i个点对的明暗对比关系，∧表示当rc,s,i和rc′,s,i关系相同时，rc,s,i∧rc′,s,i取1。相关度越小，第c类的车标与其他类别的计算所得点对关系集的区别越大，使得第c类别车标图像越容易识别。根据该第c类样本与其他类别样本的相关度，使用寻优算法从信任点对集pc′中筛选出n4个采样点对组成最小相关点对集pc″，使得pc″与其他类别点对关系集的相关度最小。pc′′即该类别的特征点对集。

根据最小相关点对集，可以重新获取新的点对关系集rc″，最后根据梯度幅值的集合g、最小相关点对集pc″、点对关系集rc″、信任度集relc，建立了样本中第c类样本的特征表示f＝{g,pc″,rc″,relc},对于每一类样本，均由此四项构成特征集合，这就是样本特征库。

(3)感兴趣车标粗定位区域多尺度检测

在确定感兴趣区域后，准备好样本特征库后，就可以在感兴趣区域内进行多尺度检测了。多尺度检测这一过程中完成了定位和识别两个功能，在其他识别方法中，定位和识别是分来进行的，这样在过程中增加误差率，从而导致识别失败，而本发明的多尺度检测方法能够提高了定位识别率。多尺度检测通过设定一定可缩放的窗口，在待测的感兴趣区域，从上到下，从左到右，依次扫描，在扫描过程中，对当前窗口位置上，窗口大小的图像进行特征提取，并与准备好的特征库进行对比，最终确定车标类型。

在进行检测之前，初始化一个与待测车标样本尺寸一样大小的窗口w0，大部分车标都可以外接一个矩形。通过对w0乘以一个缩放系数t，得到比样本图像小的可缩放的窗口wt。因为拍摄设备角度远近问题，导致车标的大小不一致，通过观察不同图像中车标的大小选定缩放系数的范围，本发明中缩放系数t的取值范围[smin,smax]设为[0.1，0.7]，每次缩放系数增加0.05，各个窗口wt在车标感兴趣粗定位区域从左至右、从上到下依次检测。如图7所示。

其中矩形框为设定的正方形检测窗口，在如图所示的窗口位置，窗口大小通过窗口内的特征与特征库对比正好检测到车标位置，此时缩放尺度为0.25。

对比过程中涉及到特征库与窗口内部的相似度。

其中，mt,w,c表示在缩放尺度为t，第w步的窗口位置的图像与第c类车标的相似度值，s为第c类车标的样本总数,rt,w,i表示在缩放尺度为t，第w步的窗口，第i个点对下的明暗对比关系，n4表示筛选后非邻近点对集中的点对数，relc,i表示第c类车标的第i个采样点对的明暗关系信任度，rc,s,i表示第c类车标中第s张样本的第i个点对的关系；gt,w,j表示在缩放尺度为t，第w步的窗口位置的图像在第j个角度范围梯度幅值总和，gc,s,j表示第c类车标第s张样本中第j个角度范围梯度幅值总和。当点对关系gt,w,j角度信息和第c类样本中相同采样点对的梯度关系gc,s,j角度信息相近(梯度差值控制在60以内)，gt,w,j＝＝gc,s,j值为1，否则为0。当点对关系rt,w,j和第c类样本中相同采样点对的明暗对比关系rc,i相同时，rt,w,i＝＝rc,s,i值为1，否则为0。mt,w,c越大，表明窗口wt,k内的图像分布特征与第c类别越相似。

通过更改窗口的缩放系数对车标的感兴趣粗定位区域进行遍历，得到不同的相似度mt,w,c。选取相似度值最高的车标类别c′，此时根据窗口尺度t′和位置w′即可确定车标的准确位置。

为验证本发明方法的有效性及优势，做如下对比实验。

对于样本图像，本发明所采用的图像样本来自自己拍摄以及网络上选取的交通路口摄像头拍摄的图片，选取了1800张25类的车标类别，基本包括我们常见的车标型号。自身拍摄的照片由于清晰度与质量较高，要对这些样本进行添加噪声和进行透视变换。对每一种类型的车标，要事前对样本进行归一化，设置图片为60*60分辨率，从中选择800个采样点对，其中人工选取200对，随机选取600对。然后对这些点进行分类，选取邻近点对和非邻近点对。对这两种点对分别处理，得到不同的特征集。对于测试图像，在交通道路口采集到不同情况的1000多张混合车前脸图像，这些不同情况包括白天、夜晚、晴天、下雨等各种天气情况。

表1部分测试结果

表2样本定位时间和识别时间

由上表1可看出，不同的车标类型定位识别率也是相差较大的，表中奥迪的定位识别率最高，福特的定位识别率最低，奥迪车辆样本轮廓分明，在稀疏取样后依稀可辨器图标纹理轮廓，梯度方向信息较为明显，明暗对比度度也较为明显。而福特等一系列车标，在天气情况影响下加上稀疏取样，图标的识别度较为低，特征提取存在误差。对于这一类的情况，可以增加样本稀疏采样的采样点的数目，提高提取特征的准确率，同时在手动选取采样点位置时，可以选取边缘周围出点对，优化点对位置。对于在白天，天气良好的车牌，定位率还算高，但是夜晚在车灯强光照射下，车标图像曝光严重，影响特征提取，降低了定位识别率，实验结果如图8所示。

在图8的测试结果示例图中，最下面的矩形区域为车牌区域，在车牌区域上方矩形为感兴趣区域，在感兴趣区域内部的矩形为车标区域。第一张图片是晚间车辆图片；第二张图片虽然是白天拍摄的，但是由于设备原因，成像效果不好；第三张图片是倾斜图片；第四张同第二张；第五张图片车牌存在干扰；第六张是存在雾干扰的情况下拍摄的。

但是为了测试本发明方法对于那些质量要求不高的图像，比其他传统方法定位识别要准确。进行另一组实验，选取成像效果不是非常理想的三类车标大众、奔驰、雪佛兰，分别进行模板匹配、sift算法和本发明算法比较

表3部分对比测试结果

表4部分对比测试时间结果

从表中可以看出，无论是模板匹配算法还是sift识别算法，它们对于成像效果不理想的图像的识别率远没有本发明定位识别方法好。对于那些图片质量好，像素高的图片，传统识别方法还是满足需求，但是那些不够理想的图片，拉低了定位识别率。

本发明提出的基于稀疏采样的灰度分布特征和梯度分布的标识别方法，对比传统的识别方法，主要针对那些成像效果不理想的图像进行定位识别，将采样点分为邻近采样点集和非邻近采样点集，对两种不同的点击提取不一样的特征，并采用多尺度检测方式在在目标图像中提取特征进而识别和定位车标，将定位和识别有机的结合在一起，降低了中间过程的误差，提高了识别率，对于噪声大,质量差，像素低的图片也有较高的识别率。