基于全局和局部特征融合的大角度车型识别方法和系统与流程

本发明涉及智能识别技术领域，具体涉及一种基于全局和局部特征融合的大角度车型识别方法和系统。

背景技术：

车辆型号识别技术已经成为社会发展的需要，是智能交通系统中的一个重要的研究领域，同时也是人工智能图像识别、图像处理和模式识别研究的热门课题，在智能交通以及犯罪车辆的追踪等方面有着重要的应用价值和研究意义。

传统的车辆型号识别总是依托于人工识别和车牌识别，且都使用卡口图片，其中人工识别的方法效率极低，并且识别准确率也不高，车牌识别的方法难以对伪造的车牌、套牌等违法犯罪车辆进行有效的识别。此外，大角度车辆所处的场景多变，车身外观多变，比如颜色、形状、尺寸等，另外每个摄像头拍摄的距离不同，拍摄角度不同都会影响最终车辆的型号识别的结果。

技术实现要素：

本发明针对现有的车辆型号识别方法存在识别准确率不高的问题，提供一种基于全局和局部特征融合的大角度车型识别方法和系统。

为解决上述问题，本发明是通过以下技术方案实现的：

基于全局和局部特征融合的大角度车型识别方法，包括步骤如下：

步骤1、当车辆经过车型识别采集区时，截取出包含车辆的图像；

步骤2、对截取的包含车辆的图像进行预处理：

步骤2.1、先将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片；

步骤2.2、对车辆图片使用目标检测ssd算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块和车轮图像分块；

步骤2.3、对车辆图片、车脸图像分块、车尾图像分块和车轮图像分块进行旋转和镜像，用于数据增强，并将增强后的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块裁剪成统一大小，构建车辆数据库；

步骤3、将所构建的车辆数据库导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练；

步骤4、将特征训练所得到的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块的特征进行加权特征融合；

步骤5、通过分类器对融合后的特征进行分类识别。

上述步骤2.2中，目标检测ssd算法的具体步骤如下：

步骤2.2.1、输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；

步骤2.2.2、在特征的各个位置设置不同大小、不同长宽比的候选区域；

步骤2.2.3、将候选区域和真实框进行匹配；

步骤2.2.4、通过预测器将每个候选区域的位置偏移量进行预测和类别置信度输出；

步骤2.2.5、通过多任务的损失函数经过反向转播计算并调整每个层的权重。

上述步骤2.2.5中，多任务的损失函数为位置损失函数和置信度损失函数之和。

上述步骤4中，在对特征进行加权特征融合时，

车辆图像分块权重系数w1为：

w1＝k1/(k1+k2+k3+k4)；

车脸图像分块权重系数w2为：

w2＝k2/(k1+k2+k3+k4)；

车尾图像分块权重系数w3为：

w3＝k3/(k1+k2+k3+k4)；

车轮图像分块权重系数w4为：

w4＝k4/(k1+k2+k3+k4)；

其中，k1是车辆图像分块的权重，k2是车脸图像分块的权重，k3是车尾图像分块的权重，k4是车轮图像分块的权重。

基于上述方法所设计的一种基于全局和局部特征融合的大角度车型识别系统，由依次连接的视频图像采集模块、车辆图片检测模块、车辆图片分割模块、车辆全局和局部图像特征提取模块、车辆全局和局部图像融合模块、以及大角度车辆型号识别模块组成；

视频图像采集模块：用于获取车辆监控视频；

车辆图片检测模块：用于对获取的道路交通十字路口监控视频中的车辆进行检测，并且截取出视频监控中的车辆；

车辆图片分割模块：用于检测车辆的车脸、车尾、车轮部分，将车辆的车脸、车尾、车轮部分进行分割。

车辆全局和局部图像特征提取模块；通过深度多分支卷积神经网络分别对整车图像，车脸图像分块、车尾图像分块、车轮图像分块进行特征提取；

车辆全局和局部图像融合模块；然后将各个分支提取的特征进行特征融合，从而能够获取车辆更丰富的特征。

大角度车辆型号识别模块：用于对融合后的特征对大角度车辆型号进行识别，从而识别出车辆测试库中车辆的型号。

上述方案中，视频图像采集模块为设置在4个对角线上的4台高清摄像机。

与传统的车型识别方法相比，本发明对车辆进行局部分割，通过深层多分支卷积神经网络将全局和局部特征进行提取、融合和分类，使得在识别准确率方面有很大的提升。

附图说明

图1为基于全局和局部特征融合的大角度车型识别方法流程图。

图2为一种基于全局和局部特征融合的大角度车型识别系统结构图。

图3为深层多分支卷积神经网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

如图1所示，一种基于全局和局部特征融合的大角度车型识别方法和系统，具体步骤如下：

步骤s1：当车辆经过车型识别采集区(道路交通十字路口)时，定位车辆的位置，并且截取出包含车辆的图像。

步骤s2：对截取的包含车辆的图像进行预处理。

步骤s21：获取道路交通十字路口包含车辆图片的信息。

步骤s22：将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片。

步骤s23：得到车辆图片之后，使用目标检测ssd算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块、车轮图像分块。

所述目标检测ssd算法具体包括：

(1)输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；

(2)在特征的各个位置设置不同大小、不同长宽比的候选区域；

(3)将候选区域和真实框进行匹配；

(4)通过预测器将每个候选区域的位置偏移量预测和类别置信度输出；

(5)通过多任务的损失函数经过反向转播计算并调整每个层的权重。其中多任务损失函数为位置损失函数(lloc)和置信度损失函数(lconf)的和。

多任务损失函数公式如下：

其中，n代表匹配的候选框区域的个数，代表权重因子。

置信度损失函数公式如下：

其中，c表示置信度。

位置损失函数公式如下：

其中，l代表预测框，g代表真实值，d代表候选区域框，(cx，cy)代表中心点，宽为w，高为h。

步骤s24：将车辆图片、车脸图像分块、车尾图像分块、车轮图像分块分别进行旋转和镜像，用于数据增强，对增强后的车辆图片和各个分块图片裁剪成统一大小，构建车辆数据库。

步骤s3：构建深层多分支卷积神经网络，将车辆图片、车脸图像分块、车尾图像分块、车轮图像分块导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练，然后将车辆图片特征和各个分块特征进行特征融合。

所述的深层多分支卷积神经网络如图3所示，其具体包括：车辆图片分支依次连接的卷积层conv1、池化层pool1、卷积层conv2、池化层pool2、卷积层conv3、池化层pool3、卷积层conv4、池化层pool4,车脸图像分块分支依次连接的卷积层conv5、池化层pool5、卷积层conv6、池化层pool6、卷积层conv7、池化层pool7、卷积层conv8、池化层pool8，车尾图像分块分支依次连接的卷积层conv9、池化层pool9、卷积层conv10、池化层pool10、卷积层conv11、池化层pool11、卷积层conv12、池化层pool12，车轮图像分块分支依次连接的卷积层conv13、池化层pool13、卷积层conv14、池化层pool14、卷积层conv15、池化层pool15、卷积层conv16、池化层pool16，还包括所述池化层pool4通过全连接层fc1与连接层concat连接，所述池化层pool8通过全连接层fc2与连接层concat连接，所述池化层pool12通过全连接层fc3与连接层concat连接，所述池化层pool16通过全连接层fc4与连接层concat连接，还包括所述分类层softmax+coco_loss通过全连接层fc5与连接层concat连接。

所述卷积层conv通过卷积核对输入的图像进行卷积运算，然后使用神经元激活函数计算卷积的输出值。

所述池化层pool对卷积层输出的特征进行压缩，简化深度网络的计算复杂度，并且提取主要特征。

所述全连接层fc是将上一层的每个节点都与相邻层的所有节点相连接。

所述连接层concat是将上述每个全连接层输出的特征进行融合。

所述分类层softmax+coco_loss是将连接层输入的特征进行分类。

所述特征融合具体包括：

车辆图像分块权重系数为：w1＝k1/(k1+k2+k3+k4)；

车脸图像分块权重系数为：w2＝k2/(k1+k2+k3+k4)；

车尾图像分块权重系数为：w3＝k2/(k1+k2+k3+k4)；

车轮图像分块权重系数为：w4＝k2/(k1+k2+k3+k4)；

其中k1是车辆图像分块的权重，k2是车脸图像分块的权重，k3是车尾图像分块的权重，k4是车轮图像分块的权重定义车辆图像分块输出为x1，车脸图像分块输出为x2，车尾图像分块输出为x3，车轮图像输出为x4，最终的特征融合输出为：y＝w1*x1+w2*x2+w3*x3+w4*x4。

步骤s4：通过softmaxloss分类损失函数和coco_loss损失函数对融合后的特征进行特征学习。

所述softmax损失函数使用下式计算得到每一类的概率输出

其中，xi为softmax层第i个节点值，yi为第i个输出值，n为softmax层的节点个数。

所述coco_loss损失函数主要拉近同类样本的特征，拉远不同分类样本的特征。

(1)输入特征和中心特征归一化

其中，ck为第k类目标的特征中心，f⁽ⁱ⁾表示输入特征，i＝1,…,n，即batch_size为n。

(2)计算出输入的特征和每个特征中心的余弦距离

余弦距离定义为取值范围为[-1,+1],值越大表示相似度越高。

(3)计算coco_loss损失函数

其中，b表示整个batch。分子项表示输入特征f⁽ⁱ⁾与其对应的中心特征间的余弦距离；分母项表示输入特征到所有中心特征距离之和。

本发明能够通过深层多分支卷积神经网络提取大角度车辆的多部分丰富的特征，然后将这些丰富的特征进行融合，在识别大角度车型的准确率方面有很大的提升。

基于上述方法所设计的一种基于全局和局部特征融合的大角度车型识别系统，如图2所示，包括依次连接的视频图像采集模块、车辆图片检测模块、车辆图片分割模块、车辆全局和局部图像特征提取模块、车辆全局和局部图像特征融合模块、大角度车辆型号识别模块。

视频图像采集模块：用于获取车型识别采集区(道路交通十字路口)的车辆监控视频，可以为四台高清摄像机。

车辆图片检测模块：用于对获取的道路交通十字路口监控视频中的车辆进行检测，并且截取出视频监控中的车辆。

车辆图片分割模块：用于检测车辆的车脸、车尾、车轮部分，将车辆的车脸、车尾、车轮部分进行分割。

车辆全局和局部图像特征提取模块：通过深度多分支卷积神经网络分别对整车图像，车脸图像分块、车尾图像分块、车轮图像分块进行特征提取；

车辆全局和局部图像特征融合模块：然后将各个分支提取的特征进行特征融合，从而能够获取车辆更丰富的特征；

大角度车辆型号识别模块：用于对融合后的特征对大角度车辆型号进行识别，从而识别出车辆测试库中车辆的型号。

当车辆经过交通路口时定位车辆的位置，并且截取出包含车辆的图像，对截取的包含车辆的图像进行预处理，首先使用标注框对截取的包含车辆的图像进行裁剪，得到去除复杂背景的车辆图片，将车辆图片分割为车脸图像分块、车尾图像分块、车轮图像分块。构建深层多分支卷积神经网络，将车辆图片、车脸图像分块、车尾图像分块、车轮图像分块导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练，然后将车辆图片特征和各个分块特征进行特征融合，再通过分类器对融合后的特征进行分类识别。本发明的有益效果在于能够将大角度车辆的全局和局部特征进行融合，与现有的传统车型识别方法相比，能够明显的提高大角度车型识别的准确率。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。