一种车标识别方法和系统与流程

本发明涉及图像识别领域，尤其涉及车标图像识别领域，具体涉及一种基于修正HU不变矩和SIFT特征的混合算法的车标识别方法和系统。

背景技术：

在对车标进行识别时，首先要对车标图像进行特征提取。通常的车标特征提取方法有修正的Hu不变矩特征法和基于SIFT算法的特征提取法。

一、修正的Hu不变矩特征

修正的Hu不变矩是基于Hu不变矩发展而来的，Hu不变矩是基于代数不变量的矩不变量，通过对几何矩的非线性组合，导出的一组对于图像平移、旋转和尺度变化不变的矩。不变矩是图像的一种统计特征，它利用图像灰度分布的各阶矩来描述图像灰度的分布特征^[1]。

f(x,y)是数字图像，它的(p+q)阶矩定义为：

它的(p+q)阶中心矩定义为：

其中，表示图像的中心，定义如下：

标准化中心矩的表达式为：

其中，

对平移、缩放、镜像和旋转都不敏感的7个二维Hu不变矩为：

而修正Hu不变矩，则需要在上面计算过程中加入中间系数，对中间变量进行调整，再获得7个Hu不变矩，包含修正系数x_s和y_s的新的中心矩定义为

${\mathrm{\λ}}_{pq}=\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}{(x-\stackrel{\‾}{x}+x_s)}^p{(y-\stackrel{\‾}{y}+y_s)}^{q}f(x,y)dxdy---(1-12)$

其中，f是一个非负的连续图像函数；和分别是在x和y方向上的图像的重心坐标；修正系数x_s和y_s由下面的表达式获得：

$x_s=\sqrt{\frac{m_{20}}{m_{00}}},y_s=\sqrt{\frac{m_{02}}{m_{00}}}---(1-13)$

在实际应用中，为了方便整体的比较和降低分类的复杂性，采用取对数的方法对不变矩数据进行压缩处理，即：

二、基于SIFT算法的特征提取

SIFT即尺度不变特征转换(英文全文：Scale-invariant feature transform)，是一种用于描述图像邻域的局部算子，可在图像中检测出图像的极值点。SIFT算子由David Lowe在1999年提出，在2004年加以完善。该算法是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法^[2]。一般来说，结合图1来说明，SIFT算法可以分为以下四步：

S201:尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

S202:关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。

S203:方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。

S204:关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。在原方法中，关键点附近的领域被划分为4*4个子区域，每个子区域中计算8个方向的梯度，共有4*4*8＝128维的特征分量。

现有以上两种特征提取方法中，存在以下缺点：

修正Hu不变矩描述的是车标图像的全局特征，这些矩对平移、缩放、镜像和旋转都不敏感，但由于实际拍摄到的车标图像可能会出现光照、污损、遮挡等情形，修正Hu不变矩特征方法会受这些局部特征的变化影响较大，最终导致识别存在一定的不准确率；而SIFT特征提取算法描述的则是图像的局部特征，但SIFT算子有时提取的特征点偏少，有时则过多，不同的车标图像，提取出的SIFT特征点个数往往是不同的。由于特征点个数不等，就为利用特征点的描述符进行识别带来了困难。

说明书全文参考文献：

[1]Palaniappan R，Raveendran P，Sigoru Omata.Improved Moments Invariant for Invariant Image Representation Invariants for Pattern Recognition and Classification[M].Singapore：World Scientific Publishing Co，2000：167

—185.

[2]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110

[3]孙晔，吴锐文.基于卷积神经网络的车标识别[J].现代计算机，2015,4:84-87

技术实现要素：

有鉴于此，本发明提供一种车标识别方法和系统。

本发明采用如下技术方案：

本发明的车标识别方法，它包括如下步骤：

S21:检测车标图像；

S22:从车标图像中提取混合有SITF特征点和HU不变矩特征的一维数组。

优选的，所述一维数组结构如下：其中为HU不变矩；n≥5,s₁,s₂……s_n为SITF特征点，每个特征点格式为x,y分别为特征点的横坐标，纵坐标，f₁，f₂……f₁₂₈为SITF特征点的128维特征分量。

优选的，n＝5时，所述SITF特征点的提取包括如下步骤：

S2211:列扫描提取车标图像的第一特征点，和最左，最右特征点；

S2212:行扫描提取车标图像的第一特征点，和最上，最下特征点；

S2213:计算行边界特征点和列边界特征点；

S2214:计算行和列边界特征点确定的图像区域的中心点；

S2215:计算S2214中的中心点与车标图像中心点之间的欧式距离，将欧式距离最短的特征点作为第5特征点；

S2216:将5个特征点按照从上到下，从左到右的顺序排序后放入候选集，得到SITF特征点。

优选的，所述步骤S2213中行边界特征点和列边界特征点的筛选方法为：

候选集中的特征点如超过4个时，对于同一行存在左右两个特征点的情形，考察该点是否同时为左边界或右边界上的特征点，则：

a)当两个点都是边界的情形，两个点都给予保留；

b)当一个点为左边界或右边界时，舍弃另外一个点；

c)当两个点都不是左右边界时，则计算候选集中左右边界点横坐标的中间值，保留横坐标距离该中间值近的点，舍弃距离其远的点；如果两个点距离该中间值的距离是一样的，则选取左边的特征点；

候选集中的特征点如仍超过4个时，对于同一列存在上下两个特征点的情形，考察该点是否同时为上边界或下边界上的特征点：

a)当两个点都是边界的情形，两个点都给予保留；

b)当一个点为上边界或下边界时，舍弃另外一个点；

c)当两个点都不是上下边界时，则计算候选集中上下边界点从坐标的中间值，保留纵坐标距离该中间值近的点，舍弃距离其远的点；如果两个点距离该中间值的距离是一样的，则选取上边的特征点。

优选的，所述车标识别方法还包括步骤：

S23：识别车标图像；将混合有SITF特征点和HU不变矩特征的一维数组输入到训练好的分类器中，经分类器计算后得到识别结果。

优选的，所述分类器为BP人工神经网络；所述混合有SITF特征点和HU不变矩特征的一维数组中的各元素作为BP人工神经网络的输入层节点输入。

本发明的车标识别系统，它包括：SITF特征点筛选模块，HU不变矩筛选模块，混合模块；

SITF特征点筛选模块，用于筛选车标图像特征点并输出给混合模块，所述特征点包括行边界特征点，列边界特征点，以及第5特征点；所述第5特征点为车标图像内到由行边界特征点和列边界特征点确定的图像区域中心点的欧式距离最短的点；

HU不变矩筛选模块，用于筛选车标图像内的7个不变矩特征点并输出给混合模块；

混合模块，将SITF特征点和HU不变矩混合后输入到分类器。

优选的，所述分类器为BP人工神经网络；BP人工神经网络的输入层节点为混合有SITF特征点和HU不变矩特征的一维数组中的各元素。

优选的，所述一维数组结构如下：其中为HU不变矩；n＝5,s₁,s₂……s_n为SITF特征点，每个特征点格式为x,y分别为特征点的横坐标，纵坐标，f₁，f₂……f₁₂₈为SITF特征点的128维特征分量。

本发明的有益技术效果是：修正Hu不变矩算法和SIFT算法都有其特定的适用性，针对两种方法的局限，本发明提出了一种有效混合两种算法的方法，同时针对SIFT算子提取的特征点个数不稳定的情况，提出了独特的特征点筛选方法,将筛选出的特征点的特征描述子作为识别分类器的一部分节点的输入,本发明的车标分类器采用BP人工神经网络模型。通过混合修正Hu不变矩特征和SIFT特征作为识别分类器的输入特征，达到了使特征向量维数统一，同时兼顾了图像的全局特征和局部特征的目的，使得该算法发明在复杂环境下有较好的适应性。

附图说明

图1 SIFT算子描述符的梯度分布图；

图2实施例一中的车标识别方法的流程图；

图3实施例一中的车标识别方法中生成车标识别模型步骤的流程图；

图4实施例一中的车标识别方法中训练分类器步骤的流程图；

图5实施例一中的车标识别方法中识别车标步骤的流程图；

图6实施例一中的车标识别方法中检测车标图像步骤的流程图；

图7实施例一中的车标识别方法中提取车标图像特征步骤的流程图；

图8实施例一中的车标识别方法中提取SITF特征点步骤的流程图；

图9 BP人工神经网络结构示意图；

图10实施例一中的将混合特征分类作为BP人工神经网络的输入层节点输入的结构示意图；

图11实施例一中的车标识别系统组成框图。

具体实施方式

实施例一：

如图2至8,本实施例中的车标识别方法，包括如下步骤：

S1:生成车标识别模型。该步骤包括几个步骤：

S11:获取车标图像样本。

车标的检测提取方法有多种，一般是通过在摄像头在各种状态下拍摄到的含有车标的图片中提取。收集完车标图像后，将每张图像样本按车标类别存放到不同的位置。本实施例中的车标类别是指车辆品牌标识，还可以按照其他特点进行分类。

S12:设计分类器。本实施例中的分类器为BP人工神经网络。

BP人工神经网络是一种单向传播的多层前向网络,其结构如图9所示。网络是一种具有三层或三层以上的神经网络，包括输入层、中间层隐层和输出层^[3]。BP人工神经网络的每层参数确定方法如下：

1.输入和输出层的节点数

输入层、输出层的神经元节点可以根据需要求解的问题和数量表示方式确定。

2.隐层节点数

隐层的设计隐层的神经元节点数目选择是一个十分复杂的问题，往往需要根据设计者的经验和多次实验来确定，不存在一个最理想的解析式来表示。但也有常用的计算公式可用于计算隐层神经元个数，本实施例采用下式来计算隐层节点数：

其中，m为输出层神经元数，n为输入层神经元数，n_h为隐层神经元数。

以13类车标的识别为例，它们分别是：奥迪、本田、别克、大众、丰田、福特、皇冠、马自达、日产、起亚、三菱、现代、雪佛兰。本实施例采用了13位的二进制数字序列作为BP人工神经网络的输出编码。按照前述的车标排列顺序，从1到13分别给各个车标编码，当数字序列的第一位取值为1，其它位取值为0时，表示输出结果为奥迪；当数字序列第二位取值为1，其它位取值为0时，表示输出结果为本田；其它车标编码依此类推。

S13:设定分类器训练结束的条件

本实施例的车标识别方法设定，当迭代次数为用户设定的迭代最大次数或者阈值小于用户设定阈值的负3次方时，训练结束。

S14:训练分类器

程序启动后，将遍历读取各车标存放的文件夹中的图像，提取混合特征，作为分类器输入，该混合特征为BP人工神经网络训练前提取的图像特征；初始化BP人工神经网络的权值(权值为实数常量，用来决定本层神经元输入对下一层输出的贡献率)；在每次迭代反馈过程中，调整修正BP人工神经网络的权值，当模型的输出值和期望值的差距小于S13中设定的阈值或迭代次数达到设定次数时，训练结束。

S2:识别车标。该步骤包括如下几个步骤：

S21:检测车标图像。

车标检测方法有多种，可利用车标与车牌相对位置的已知规律，对待测车辆图像进行车标粗定位，提取出车标矩形区域。再根据车标与散热器网的相对位置，采用基于模板匹配和边缘检测的算法对车标进行精定位。定位出车标区域后，将车标图像截取即可进行下一阶段的识别。

S22:提取车标图像特征。

检测出车标后，采用如下方法提取混合特征，将混合特征以一维数组方式存储。

S221:提取SIFT特征点。

通过实验发现，车标样本的SIFT特征点数一般不小于5个，因此本实施例只选取了5个，由于特征点在车标图像中的位置也是一个重要的信息，对于同一类型的车标，只有将近似位置处的特征点的描述符作为分类器的输入特征，才能获得准确的识别结果。而相同车标的不同图像特征点的位置分布是相似的，不同车标的图像特征点的位置存在较大差异。为了让选取的特征点能覆盖车标的较大范围，采用以下方法来选取特征点：

S2211:对于归一化后的图像，按行数分别从上往下扫描，遇到的第一个特征点，即采用其作为分类器输入的特征点，如果同一行中有两个或以上的特征点，则将该行中最左一个点和最右一个点放到特征点候选集中；然后再从下往上扫描，遇到第一个特征点时，同样按照从上往下扫描的方法处理；

S2212:按列数分别从左到右及从右到左扫描，遇到第一个特征点，即采用其作为分类器输入的特征点，如果同一列中有两个或以上的特征点，则将该列中最上面和最下面的一个点放到特征点候选集中；这一步获得的特征点，有可能是与第一步中获得的点相同的，重复的点不需要再放到候选集；

S2213:这时候选集中已具备了图像上下左右四个边界的特征点，个数可能已超过4个，对于超过4个的情形，再按如下操作筛选行和列的边界特征点：

1)对于同一行存在左右两个特征点的情形，考察该点是否同时为左(或右)边界上的特征点，则：

a)当两个点都是边界的情形，两个点都给予保留；

b)当一个点为左(右)边界时，舍弃另外一个点；

c)当两个点都不是左右边界时，则计算候选集中左右边界点横坐标的中间值，保留横坐标距离该中间值近的点，舍弃距离其远的点；如果两个点距离该中间值的距离是一样的，则选取左边的特征点；

2)经过上面的处理后，判断候选集中的特征点是否已降至4个。如超过4个，则继续进行如下处理，对于同一列存在上下两个特征点的情形，考察该点是否同时为上(或下)边界上的特征点：

a)当两个点都是边界的情形，两个点都给予保留；

b)当一个点为上(下)边界时，舍弃另外一个点；

c)当两个点都不是上下边界时，则计算候选集中上下边界点从坐标的中间值，保留纵坐标距离该中间值近的点，舍弃距离其远的点；如果两个点距离该中间值的距离是一样的，则选取上边的特征点。

S2214:经过以上3步处理后，候选集中的特征点必定为4个，这些点的坐标限定了图像中的某个区域，计算该区域的中心点，计算其与中心点的欧氏距离，将欧氏距离最近的特征点放进候选集中。这时，候选集就具备5个特征点了。

S2215:将5个特征点按照从上到下，从左到右的位置顺序进行排序存放于候选集中。

S222:提取Hu不变矩特征。

S223:修正Hu不变矩特征和SIFT特征混合计算。

考虑到SIFT的特征点很大程度上与位置有所关联，在拍摄过程中可能会因为拍摄角度，光照等因素导致特征点的偏置或抖动，因此，为提高输入分类器的特征的有效性，在特征点对应的特征向量基础上，为每个特征点增加横坐标和纵坐标两维特征(坐标以归一化的车标图像左上角为原点)，以及7个修正Hu不变矩，作为BP人工神经网络的输入特征。对于一幅归一化后的车标图像，提取图像的特征向量后，各分量的排列如下：第一到第七分量为修正Hu不变矩值，接下来依次为第一个特征点的横坐标、纵坐标和SIFT算法提取的128维特征，后面第二到第五个特征点的特征排列同第一个特征点。所得特征向量的维数为7+(128+2)*5＝657，将该向量作为BP人工神经网络的输入，用于BP网络的训练与检测。

图10呈现了本发明提出的将Hu不变矩特征和SIFT特征混合的方法。图中的圆圈表示BP人工神经网络的输入层节点，前面1到7个节点输入从车标图像提取的7个Hu不变矩特征值，接下来依次为第1至第7个特征点的横坐标、纵坐标和SIFT算法提取的各特征点的128维特征分量。

S23:识别车标图像。

将提取的车标图像特征输入训练好的分类器中，经分类器计算即可获得识别结果。

如图11，本实施例中的车标识别系统，包括SITF特征点筛选模块，HU不变矩筛选模块，混合模块。

SITF特征点筛选模块，用于筛选车标图像特征点并输出给混合模块，所述特征点包括行边界特征点，列边界特征点，以及第5特征点；所述第5特征点为车标图像内到由行边界特征点和列边界特征点确定的图像区域中心点的欧式距离最短的点。

HU不变矩筛选模块，用于筛选车标图像内的7个不变矩特征点并输出给混合模块。

混合模块，将SITF特征点和HU不变矩混合后输入到分类器。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。