一种车辆型号识别方法及装置与流程

本发明涉及机器视觉技术领域，尤其是根据图像及三维信息识别车辆型号的方法。

背景技术：

随着城市的建设与社会的发展，街道中车辆数量在不断增加，道路状况越来越复杂，交通管理面临着多方面的挑战——车辆拥堵、交通事故、道路障碍等。仅仅依靠制定相关法规和相关部门进行人工监控是远远不够的，因此需要一个切实有效的解决方案。构建智能交通系统则是一个行之有效的方法，同时也是现在城市交通发展的趋势。

车辆的检测和识别是智能交通系统的技术核心，车辆识别在车辆管理、车辆违规逃逸、车辆巡查等诸多问题上都起着关键作用。目前比较成熟的基于视觉的车辆识别方法是车牌识别，但是车牌信息只是车辆信息很少的一部分，单纯依赖车牌的系统是不稳定的，例如无牌车、套牌车等情况就无法提供可靠的车辆信息了。

因此有必要开展车型识别的研究工作，现在大多研究成果都只进行了粗略的车型分类，例如轿车、公交车和卡车等，没有对车辆具体品牌和型号进行划分。精细的车辆识别面临着许多困难，首先是外部环境对识别算法的影响，例如光照条件、天气状况、场景变化等因素。其次，车辆本身外观多变，比如形状、颜色、尺寸等，另外，拍摄点的距离不同、拍摄角度不同都会影响到最终车辆在图片中的呈现姿态和外观。最后，车辆品牌型号众多，而且会不断产生新的型号。这些都需要一种更加稳定，可及时更新的方法来解决。

技术实现要素：

本发明所要解决的技术问题是：针对上述存在的问题，提供一种准确率高，稳定性强，可方便更新的基于图像与三维信息融合的车型识别方法。

本发明提供的一种车辆型号识别方法，包括：

利用类型及颜色识别模型确定车辆类型及颜色的步骤；

利用车辆品牌识别模型确定车辆的品牌的步骤；

根据已经确定的车辆类型、颜色及品牌选择车型分类器，利用选择的车型分类器确定车辆的型号的步骤。

确定车辆类型及颜色的步骤进一步包括：

步骤11：获取包含有目标车辆的深度信息的深度图像；

步骤12：根据深度图像建立目标车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)；

步骤13：将各个像素点的归一化坐标及该像素点的RGB值叠加形成六元素的一维特征向量(S_x,S_y,S_z,R,G,B)；

步骤14：将全部像素点的六维特征向量输入类型及颜色识别模型，得到类型及颜色识别模型输出的目标车辆的类型及颜色。

确定车辆的品牌的步骤进一步包括：

步骤21：获取三维图像中的车头或车尾的图像；

步骤22：将车头或车位图像中各像素点的归一化坐标(S_x,S_y,S_z)输入车辆品牌识别模型，得到车辆品牌识别模型输出的车辆品牌。

确定车辆的型号的步骤进一步包括：

步骤31：获取三维图像中的车辆的顶面、侧面和车头或车尾的图像；

步骤32：提取顶面图像的HOG特征，将顶面图像HOG特征输入选定的车型分类器中的顶面维度的子分类器；提取侧面图像的HOG特征，将侧面图像的HOG特征输入选定的车型分类器中的侧面维度的子分类器；提取车头或车尾图像的HOG特征，将车头或车尾图像的HOG特征输入选定的车型分类器中的正面维度的子分类器；将选定的车型分类器中的三个子分类器输出结果进行加权求和作为该选定车型分类器的输出结果，根据选定车型分类器的输出结果判断目标车辆是否属于该选定车型分类器对应的车辆型号，如不是则更换一个车型分类器重复本步骤，直到某个车型分类器的输出结果显示目标车辆的型号是该车型分类器对应的车辆型号。

所述类型及颜色识别模型为一分类卷积神经网络；其训练过程如下：

步骤a1：建立样本库，获取样本库中各样本车辆的深度图像，所述深度图像包含深度信息；

步骤a2：根据深度图像建立样本车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)；

步骤a3：将各个像素点的归一化坐标及该像素点的RGB值叠加形成六元素的一维特征向量(S_x,S_y,S_z,R,G,B)；

步骤a4：逐一使用样本车辆各像素点的六维特征向量及其类型、颜色训练卷积神经网络得到类型及颜色识别模型。

所述车辆品牌识别模型为一分类卷积神经网络；其训练过程如下：

步骤b1：建立样本库，获取样本库中各样本车辆的深度图像，所述深度图像包含深度信息；

步骤b2：根据深度图像建立样本车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)；

步骤b3：获取三维图像中的车头或车尾的图像；

步骤b4：逐一使用样本车辆的车头或车尾图像的各像素点归一化坐标及其品牌训练卷积神经网络得到车辆品牌识别模型。

每个车型分类器对应一个车辆型号，且每个车型分类器包含顶面维度子分类器、侧面维度子分类器及正面维度子分类器；每个子分类器为一个支持向量机模型；车型分类器的训练过程如下：

步骤c1：建立车型分类器对应的车辆型号的样本库，获取样本库中各样本车辆的深度图像，所述深度图像包含深度信息；

步骤c2：根据深度图像建立样本车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)；

步骤c3：获取三维图像中的车辆的顶面、侧面和车头或车尾的图像；

步骤c4：提取样本车辆顶面图像的HOG特征，用各个样本车辆顶面图像的HOG特征及其车辆型号训练一个支持向量机模型得到顶面维度子分类器；提取样本车辆侧面图像的HOG特征，用各个样本车辆侧面图像的HOG特征及其车辆型号训练一个支持向量机模型得到侧面维度子分类器；提取样本车辆车头或车尾图像的HOG特征，用各个样本车辆车头或车尾图像的HOG特征及其车辆型号训练一个支持向量机模型得到正面维度子分类器。

本发明提供的一种车辆型号识别装置，包括：

类型及颜色识别单元，用于利用类型及颜色识别模型确定车辆类型及颜色；

品牌识别单元，用于利用车辆品牌识别模型确定车辆的品牌；

车辆型号识别单元，用于根据已经确定的车辆类型、颜色及品牌选择车型分类器，利用选择的车型分类器确定车辆的型号的步骤。

类型及颜色识别单元进一步包括：

深度图像获取子单元，用于获取包含有目标车辆的深度信息的深度图像；

三维图像转换子单元，用于根据深度图像建立目标车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)；

特征向量获取子单元，用于将各个像素点的归一化坐标及该像素点的RGB值叠加形成六元素的一维特征向量(S_x,S_y,S_z,R,G,B)；

类型及颜色识别模型调用子单元，用于将全部像素点的六维特征向量输入类型及颜色识别模型，得到类型及颜色识别模型输出的目标车辆的类型及颜色。

车辆型号识别单元进一步包括：

主视图获取子单元，用于获取三维图像中的车辆的顶面、侧面和车头或车尾的图像；

车型分类器调用子单元，用于提取顶面图像的HOG特征，将顶面图像HOG特征输入选定的车型分类器中的顶面维度的子分类器；提取侧面图像的HOG特征，将侧面图像的HOG特征输入选定的车型分类器中的侧面维度的子分类器；提取车头或车尾图像的HOG特征，将车头或车尾图像的HOG特征输入选定的车型分类器中的正面维度的子分类器；将选定的车型分类器中的三个子分类器输出结果进行加权求和作为该选定车型分类器的输出结果，根据选定车型分类器的输出结果判断目标车辆是否属于该选定车型分类器对应的车辆型号，如不是则更换一个车型分类器重复本步骤，直到某个车型分类器的输出结果显示目标车辆的型号是该车型分类器对应的车辆型号。

由于采用了上述技术方案，本发明的有益效果是：

1.本发明利用车辆图像与三维信息融合的形式作为输入，在训练卷积神经网络的过程中引入深度信息，极大提升了分类的准确性。

2.卷积神经网络的应用让系统对光线、环境、拍摄角度以及车辆姿态变化更加鲁棒。

3.在识别车辆型号前先使用两个卷积神经网络大致分类出车辆的类型、颜色及品牌，再选择相关的一系统车型分类器对目标车辆图像的特征值进一步分类，这种级联卷积神经网络与SVM分类器的结合让系统更加灵活，当出现新的车型时只需要增加车辆识别分类器即可，整个车型识别系统可以随时迭代更新，由于分类器的内存占用量明显小于卷积神经网络，因此更新代价小，最终使得整个车型识别系统更加灵活。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明方法的流程图。

图2为本发明中车辆的拍摄角度示例。

图3为车辆类型和颜色分类卷积神经网络Net¹。

图4为车辆品牌分类卷积神经网络Net²。

图5为提取车辆三视图的HOG特征流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明公开车辆类型识别方法，包括以下三大步骤：

利用类型及颜色识别模型确定车辆类型及颜色的步骤；

利用车辆品牌识别模型确定车辆的品牌的步骤；

根据已经确定的车辆类型、颜色及品牌选择车型分类器，利用选择的车型分类器确定车辆的型号的步骤。

下面先分别介绍各个步骤用到的识别模型及分类器的得到方法。

车辆的类型及颜色识别模型

本发明中所称的车辆类型是指车辆为轿车、越野车、公交车、面包车、卡车等类型。

其中类型及颜色识别模型是通过训练粗粒度的车型与颜色分类卷积神经网络得到的：

卷积神经网络是较为常用的智能识别模型之一。

首先需要建立样本库，样本库中包含大量已知类型、颜色、型号的车辆的深度图像，深度图像是将深度信息作为像素值的一种图像。可由现有的深度相机拍摄得到，拍摄时尽量保证能获取到车辆的车头或车尾、一个侧面及一个顶面，如图2所示。

根据获取到的深度图像，则可以建立样本车辆的三维图形，即将图像中像素的x坐标、y坐标以及该像素值(即深度值)z进行组合作为一个像素的三维坐标(x,y,z)。

将三维图像的三维坐标映射到色彩空间中，具体做法是对样本车辆三维图像中各像素的三维坐标(x,y,z)进行归一化处理：

其中x_min为整幅三维图像的像素中x的最小值，x_max为整幅三维图像的像素中x的最大值。

将上述公式中的x分别替换为y、z，将公式中的x_min分别替换为y_min、z_min，将公式中的x_max分别替换为y_max、z_max便可得到S_y、S_z。

采用归一化的坐标值与每个像素点的RGB值合并组成一个六元素的一维特征向量(S_x,S_y,S_z,R,G,B)。

使用各目标车辆图像中各像素的六维特征向量及其已知的类型、颜色训练卷积神经网络(CNN)，使该网络能够根据输入的特征向量识别车辆的类型及颜色。

如图3所示，本实施例中的卷积神经网络包含7个卷积层、5个池化层、3个全连接层与最后的Softmax分类层，如本实施例中图像的大小为200像素×200像素，则网络的输入为200×200×6的数据。在一个具体实施例中，将这200×200×6的数据组织成6个矩阵的形式作为卷积神经网络的输入，即：

r_ij(i＝1…n,j＝1…n)代表像素点的红色R分量的值，

g_ij(i＝1…n,j＝1…n)代表像素点的绿色G分量的值，

b_ij(i＝1…n,j＝1…n)代表像素点的蓝色B分量的值，

代表像素点的S_x值，

代表像素点的S_y值，

代表像素点的S_z值。

本实施例中，n取200。

该网络的输出为该车对应n种基本的车辆类型和m种车辆的颜色的概率，选取概率值最大的类别和颜色作为分类结果。

车辆品牌识别模型

在前述样本库的基础上，获取三维图像中的车头或车尾的图像；对于有的样本车辆拍到的图像包含车头，有的包含车尾，只要其中包含车头或车尾中的一个即可。

逐一使用样本车辆的车头或车尾图像的各像素点归一化坐标及其品牌训练卷积神经网络得到车辆品牌识别模型。品牌是指车辆属于哪个厂商，如宝马、奔驰、大众等等。

如图4，本实施例采用的卷积神经网络包含4个卷积层，3个池化层、3个全连接层和最后的Softmax分类层，若图像大小为100像素×100像素，那么网络的输入为车头或车尾的图像全部像素点的归一化坐标，即100×100×3个数据，网络的输出为车辆可能归属的厂商概率，选取概率值最大的作为该车的品牌厂商分类结果。

车辆型号分类器

本发明对针对每个车型建立一个车辆信号分类器，如宝马740、宝马760li，每个车型分类器包含顶面维度子分类器、侧面维度子分类器及正面维度子分类器；每个子分类器为一个支持向量机模型SVM；车型分类器的最后输出为三个子分类器结果的加权和。车型分类器的训练过程如下：

同样的，在前述样本库的基础上，获取样本车辆三维图像中的车辆的顶面、侧面和车头或车尾的图像，提取各视图的HOG特征，如图5。

提取样本车辆顶面图像的HOG特征。用各个样本车辆顶面图像的HOG特征及其车辆型号训练一个支持向量机模型得到顶面维度子分类器。

提取样本车辆侧面图像的HOG特征，用各个样本车辆侧面图像的HOG特征及其车辆型号训练一个支持向量机模型得到侧面维度子分类器。

提取样本车辆车头或车尾图像的HOG特征，用各个样本车辆车头或车尾图像的HOG特征及其车辆型号训练一个支持向量机模型得到正面维度子分类器。

每当增加一个车辆型号时，则在样本库中增加包含该型号的目标车辆的图像，采用前述方法训练一个新的车辆类型分类器即可。

得到识别模型及分类器后，下面再介绍如何利用这三种智能识别模型识别一个目标车辆的车型。

首先，拍摄一张目标车辆的深度图像，根据深度图像建立目标车辆的三维图像，得到各个像素点的三维坐标(x,y,z)，对三维坐标(x,y,z)进行归一化得到(S_x,S_y,S_z)。

将各个像素点的归一化坐标及该像素点原始深度图像的坐标叠加形成六元素的一维特征向量(S_x,S_y,S_z,R,G,B)；将全部像素点的一维特征向量输入类型及颜色识别模型，得到类型及颜色识别模型输出的目标车辆的类型及颜色。

然后获取目标车辆三维图像中的车头或车尾的图像。

将车头或车位图像中各像素点的归一化坐标(S_x,S_y,S_z)输入车辆品牌识别模型，得到车辆品牌识别模型输出的车辆品牌。

如果根据前述识别模型识别到的类型、颜色及品牌确定目标车辆为宝马7系的车辆，则选择宝马7系下全部车型的车型分类器进行进一步区分。可预先建立起类型、颜色及品牌与一系列车型分类器的对应关系。

获取目标车辆的三维图像中的车辆的顶面、侧面和车头或车尾的图像。

提取顶面图像的HOG特征，将顶面图像HOG特征输入宝马740车型分类器中的顶面维度的子分类器；提取侧面图像的HOG特征，将侧面图像的HOG特征输入宝马740车型分类器中的侧面维度的子分类器；提取车头或车尾图像的HOG特征，将车头或车尾图像的HOG特征输入宝马740车型分类器中的正面维度的子分类器；将选定的车型分类器中的三个子分类器输出结果进行加权求和作为该选定车型分类器的输出结果，根据选定车型分类器的输出结果判断目标车辆是否属于宝马740，如不是则更换宝马750车型分类器重复本步骤，如宝马750车型分类器的输出结果显示目标车辆的型号是宝马750则停止判断，否则再使用宝马760li车型分类器进行判断。

本发明还提供了一种与上述目标车辆型号识别方法步骤一一对应的软系统。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。