一种基于多特征融合神经网络的车型识别方法及处理终端与流程

本发明涉及车型识别技术领域，具体是一种基于多特征融合神经网络的车型识别方法及处理终端。

背景技术：

在安防、交通等领域来说，虽然车牌识别技术变得越来越成熟，但由于套牌车、车牌模糊等原因，有时仍无法准确识别到车牌号码，给相关工作带来麻烦，尤其是对公安而言，更是如此，在车牌无法识别的情况下，借助于车型来识别也是目前已知常用的技术手段。车型识别是一个粗粒度和细粒度混合的识别问题，如不同品牌车辆的车型特征差异很大，同品牌同车系的车型特征差异很小，而现有技术中的车型识别技术，由于市面上常见的车型有几千种之多，且样本分布极不平衡，对相似车型识别容易出错，识别率还需要进一步提高。

技术实现要素：

针对现有技术的不足，本发明的目的之一提供一种基于多特征融合神经网络的车型识别方法，其能够解决车型识别的问题，特别是相似车型的识别问题；

本发明的目的之二提供一种处理终端，其能够解车型识别的问题，特别是相似车型的识别问题。

实现本发明的目的之一的技术方案为：一种基于多特征融合神经网络的车型识别方法，包括如下步骤：

步骤1：对预设的神经网络采用训练算法进行训练，获得神经网络的参数，从而确定训练后的神经网络；

步骤2：获取包括车辆车型特征的原始图像，对原始图像进行预处理，得到与预设像素尺寸一致的第一图像，并对原始图像采用目标检测算法提取局部特征，得到包括局部特征的第二图像；

步骤3：将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取，获得融合特征，并利用分类算法对融合特征进行分类，得到车型的分类结果和对应车型的概率。

进一步地，所述神经网络包括子网络1、子网络2、子网络3和融合网络，所述子网络1采用大卷积核，用于提取车型的整体特征，所述子网络2采用小卷积核，用于提取车型的细节特征，所述子网络3用于提取车辆车型图像的局部特征，融合网络通过所述子网络1、子网络2和子网络3融合得到；

所述子网络1包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，网络数据层data后接子网络1的第一卷积层；

所述子网络2包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，网络数据层data后接子网络2的第一卷积层；

所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层，网络感兴趣区域层rois后接区域特征映射层；

所述融合网络包括三个卷积层、两个全连接层和特征连接层，三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层，两个全连接层包括依次连接的第一全连接层和第二全连接层，第三卷积层后接第一全连接层和区域特征映射层，第二全连接层和子网络3的第二全连接层均后接特征连接层；

将子网络1的第一卷积层和子网络2的第三卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝256组成的卷积层和relu激活函数，得到融合网络的第一卷积层，其中，k表示卷积核尺寸，s表示卷积核滑动步长，p表示扩展尺寸，n表示卷积核个数；

将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝512组成的卷积层和relu激活函数，得到融合网络的第二卷积层；

将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝512组成的卷积层和relu激活函数，得到融合网络的第三卷积层。

进一步地，所述子网络1的第一卷积层由k＝11、s＝4、p＝5和n＝128组成，第二卷积层由k＝7、s＝2、p＝3和n＝256组成，第三卷积层由k＝5、s＝2、p＝2和n＝256组成，第四卷积层由k＝3、s＝1、p＝1和n＝512组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成。

进一步地，所述子网络1的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接relu激活函数。

进一步地，所述子网络2的第一卷积层由k＝3、s＝1、p＝1和n＝64组成，第二卷积层由k＝3、s＝1、p＝1和n＝64组成，第三卷积层由k＝3、s＝1、p＝1和n＝128组成，第四卷积层由k＝3、s＝1、p＝1和n＝256组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成。

进一步地，所述子网络2的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接relu激活函数和stride＝2的池化层，其中，stride表示滑动步长。

进一步地，所述子网络3的第一全连接层和第二全连接层的长度均为1024。

进一步地，所述融合网络的第一全连接层和第二全连接层的长度均为1024，特征连接层的长度为2048。

进一步地，所述对神经网络进行训练，包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练，从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数，具体过程为：

子网络1的训练，将子网络1的第五卷积层依次后接两层长度为1024的全连接层，连接完两层全连接层后，再接softmaxloss损失函数，并采用sgd算法对子网络1进行训练，并对初始学习率设为0.1，按固定迭代次数下调学习率，通过sgd算法对子网络1的训练，获得至少包括权重和偏置项的参数，从而确定了子网络1的参数；

采用与对子网络1训练相同方法分别对子网络2、子网络3和融合网络进行训练，得到子网络2、子网络3和融合网络的至少包括权重和偏置项的参数。

进一步地，所述训练算法为sgd、bgd、mbgd、adadelta、adam和rmsprop中的任意一种。

进一步地，所述分类算法为softmax函数、svm、随机森林和knn中的任意一种。

进一步地，所述目标检测算法为fasterrcnn或ssd算法。

实现本发明的目的之二的技术方案为：一种处理终端，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行如下步骤：

步骤1：对预设的神经网络采用训练算法进行训练，获得神经网络的参数，从而确定训练后的神经网络；

步骤2：获取包括车辆车型特征的原始图像，对原始图像进行预处理，得到与预设像素尺寸一致的第一图像，并对原始图像采用目标检测算法提取局部特征，得到包括局部特征的第二图像；

步骤3：将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取，获得融合特征，并利用分类算法对融合特征进行分类，得到车型的分类结果和对应车型的概率。

进一步地，所述神经网络包括子网络1、子网络2、子网络3和融合网络，所述子网络1采用大卷积核，用于提取车型的整体特征，所述子网络2采用小卷积核，用于提取车型的细节特征，所述子网络3用于提取车辆车型图像的局部特征，融合网络通过所述子网络1、子网络2和子网络3融合得到；

所述子网络1包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，网络数据层data后接子网络1的第一卷积层；

所述子网络2包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，网络数据层data后接子网络2的第一卷积层；

所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层，网络感兴趣区域层rois后接区域特征映射层；

所述融合网络包括三个卷积层、两个全连接层和特征连接层，三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层，两个全连接层包括依次连接的第一全连接层和第二全连接层，第三卷积层后接第一全连接层和区域特征映射层，第二全连接层和子网络3的第二全连接层均后接特征连接层；

将子网络1的第一卷积层和子网络2的第三卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝256组成的卷积层和relu激活函数，得到融合网络的第一卷积层，其中，k表示卷积核尺寸，s表示卷积核滑动步长，p表示扩展尺寸，n表示卷积核个数；

将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝512组成的卷积层和relu激活函数，得到融合网络的第二卷积层；

将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝512组成的卷积层和relu激活函数，得到融合网络的第三卷积层。

进一步地，所述子网络1的第一卷积层由k＝11、s＝4、p＝5和n＝128组成，第二卷积层由k＝7、s＝2、p＝3和n＝256组成，第三卷积层由k＝5、s＝2、p＝2和n＝256组成，第四卷积层由k＝3、s＝1、p＝1和n＝512组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成。

进一步地，所述子网络1的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接relu激活函数。

进一步地，所述子网络2的第一卷积层由k＝3、s＝1、p＝1和n＝64组成，第二卷积层由k＝3、s＝1、p＝1和n＝64组成，第三卷积层由k＝3、s＝1、p＝1和n＝128组成，第四卷积层由k＝3、s＝1、p＝1和n＝256组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成。

进一步地，所述子网络2的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接relu激活函数和stride＝2的池化层，其中，stride表示滑动步长。

进一步地，所述子网络3的第一全连接层和第二全连接层的长度均为1024。

进一步地，所述融合网络的第一全连接层和第二全连接层的长度均为1024，特征连接层的长度为2048。

进一步地，所述对神经网络进行训练，包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练，从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数，具体过程为：

子网络1的训练，将子网络1的第五卷积层依次后接两层长度为1024的全连接层，连接完两层全连接层后，再接softmaxloss损失函数，并采用sgd算法对子网络1进行训练，并对初始学习率设为0.1，按固定迭代次数下调学习率，通过sgd算法对子网络1的训练，获得至少包括权重和偏置项的参数，从而确定了子网络1的参数；

采用与对子网络1训练相同方法分别对子网络2、子网络3和融合网络进行训练，得到子网络2、子网络3和融合网络的至少包括权重和偏置项的参数。

进一步地，所述训练算法为sgd、bgd、mbgd、adadelta、adam和rmsprop中的任意一种。

进一步地，所述分类算法为softmax函数、svm、随机森林和knn中的任意一种。

进一步地，所述目标检测算法为fasterrcnn或ssd算法。

本发明的有益效果为：本发明有效地解决相似车型识别的问题，提高车型识别的准确率。

附图说明

图1本发明的神经网络的结构示意图；

图2为本发明的较佳实施例的流程图；

图3本发明一种处理终端的结构示意图；

图中，“+”表示按位相加，neti_convj表示子网络i的第j卷积层，比如net1_conv1表示子网络1的第一卷积层，convi表示融合网络的第i卷积层，比如conv1表示融合网络的第一卷积层，neti_fcj表示子网络i的第j全连接层，比如net3_fc1表示子网络3的第一全连接层，net3_roipooling表示区域特征映射层，fcj表示融合网络的第j全连接层，比如fc1表示融合网络的第一全连接层，fc_concat表示特征连接层，data表示网络数据层，rois表示网络感兴趣区域层。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

如图1和2所示，一种基于多特征融合神经网络的车型识别方法，包括如下步骤：

步骤1：对预设的神经网络采用sgd(stochasticgradientdescent，随机梯度下降)算法进行训练，，获得该神经网络的参数，该参数可以是权重、偏置项等参数中的一项或多项，优选的参数包含权重和偏置项，从而确定训练后的神经网络，sgd算法是神经网络的一种训练算法，具有收敛速度快、效果好的特点，此处也可用bgd(批量梯度下降，batchgradientdescent)、mbgd(小批量梯度下降，mini-batchgradientdescent)、adadelta(自适应学习率调整，anadaptivelearningratemethod)、adam(自适应矩估计，adaptivemomentestimation)、rmsprop(均方根反向传播，rootmeansquareprop)等其他神经网络训练算法进行替代；

步骤2：获取包括车辆车型特征的原始图像，并对原始图像进行预处理，得到与预设像素尺寸一致的第一图像，第一图像为一张或多张，预设像素尺寸的大小可以根据实际情况进行灵活调整，另外，对原始图像采用包括fasterrcnn(regionbasedconvolutionalneuralnetworks，基于区域信息的卷积神经网络)或ssd(singleshotmultiboxdetector)算法等在内现有的目标检测算法，检测局部区域，从而提取局部特征，包括车灯、进气栅检测器等局部特征，得到包括局部特征的第二图像；

步骤3：将第一图像作为网络数据层(data)、第二图像作为网络感兴趣区域层(rois)输入至所述经过训练后的神经网络进行特征提取，获得融合特征，并利用softmax函数(也称为归一化指数函数)对融合特征进行分类，得到车型的分类结果和对应车型的概率,softmax函数具有计算速度快、可以端到端进行训练、分类任务效果好等特点，此处也可用svm(supportvectormachine，支持向量机)、随机森林(randomforest)、knn(k-nearestneighbor，k最近邻)等其他分类算法进行替代。

所述神经网络包括子网络1、子网络2、子网络3和融合网络，子网络1采用大卷积核，用于提取车型的整体特征，子网络1包括五个卷积层，分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层由k＝11、s＝4、p＝5和n＝128组成，第二卷积层由k＝7、s＝2、p＝3和n＝256组成，第三卷积层由k＝5、s＝2、p＝2和n＝256组成，第四卷积层由k＝3、s＝1、p＝1和n＝512组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成，其中，k表示卷积核尺寸，s表示卷积核滑动步长，p表示扩展尺寸，n表示卷积核个数，其中k＝3即表示3×3(长×宽)；第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，五个卷积层的每个卷积层后均连接修正线性单元，即relu(rectifiedlinearunits)激活函数。五个卷积层按连接顺序，总体保持卷积核尺寸逐步减小、卷积核个数逐步增加、扩展尺寸逐步减小的关系，使得子网络1始终能够保持较大的感受野，能更有效地提取到车型的整体特征。

所述子网络2采用小卷积核，用于提取车型的细节特征，子网络2包括五个卷积层，第一卷积层由k＝3、s＝1、p＝1和n＝64组成，第二卷积层由k＝3、s＝1、p＝1和n＝64组成，第三卷积层由k＝3、s＝1、p＝1和n＝128组成，第四卷积层由k＝3、s＝1、p＝1和n＝256组成，第五卷积层由k＝3、s＝1、p＝1和n＝512组成；第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接，五个卷积层的每个卷积层后均依次连接relu激活函数和stride＝2的池化层，stride表示滑动步长，子网络2的所有卷积层均采用卷积核大小为3×3、步长为1的小卷积核，小卷积核以最小的步长，能最大程度地提取细节特征。

本实施例中的大卷积核和小卷积核是相对于比较而言，并无具体限定卷积核的大小。

所述融合网络包括三个卷积层、两个全连接层和特征连接层，三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层，两个全连接层包括依次连接的第一全连接层和第二全连接层，第三卷积层后接第一全连接层和子网络3的区域特征映射层，第二全连接层和子网络3的第二全连接层均后接特征连接层，在本实施例中，第一全连接层和第二全连接层的长度均为1024；

将子网络1的第一卷积层和子网络2的第三卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝256组成的卷积层和relu激活函数，得到融合网络的第一卷积层；

将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n＝512组成的卷积层和relu激活函数，得到融合网络的第二卷积层；

将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加，再依次接一个k＝3、s＝2、p＝1和n512组成的卷积层和relu激活函数，得到融合网络的第三卷积层。

所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层，网络感兴趣区域层rois后接区域特征映射层，用于提取车辆车型图像的局部特征，在本实施例中，第一全连接层和第二全连接层的长度均为1024；

融合网络的第三卷积层连接融合网络的第一全连接层，融合网络的第二全连接层和子网络3的第二全连接层均连接到特征连接层，从而得到一个融合子网络1、子网络2、子网络3和融合网络的整体网络，即得到本发明的神经网络，且整体网络的长度为2048，以及融合了整体特征、局部特征和细节特征的融合特征。

本实施例中，全部特征是指能够刻画车型的整体性的特征，局部特征是指能够区分车型信息的某个区域的局部性特征，比如车灯、进气删检测器等，细节特征是车型的某个区域的局部中更为细小的特征,比如车辆的边缘、轮廓等，融合特征是指包括了整体特征、局部特征和细节特征的融合后的特征。

所述对原始图像进行预处理的过程包括：将原始图像统一缩放到像素尺寸为256x256的标准尺寸，该标准尺寸即为预设像素尺寸，当然在实际应用时，可以根据不同情况进行调整预设像素尺寸的大小，然后按标准尺寸图像的中心进行切割，切割到224x224的尺寸大小，并减去均值，这里的均值是指所有原始图像像素尺寸的平均值，从而得到第一图像。第一图像作为网络数据层分别输入至子网络1的第一卷积层和子网络2的第一卷积层。

所述对神经网络进行训练，包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练，从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数，具体过程为：

子网络1的训练，将子网络1的第五卷积层依次后接两层长度为1024的全连接层，连接完两层全连接层后，再接softmaxloss损失函数，并采用sgd算法对子网络1进行训练，初始学习率设为0.1，按固定迭代次数下调学习率，比如固定迭代次数设为10000次，学习率下调10倍，从而0-10000次，学习率为0.1，10000-20000次，学习率为0.01，依此类推；通过sgd算法对子网络1的训练，获得至少包括权重和偏置项的参数，也即确定了子网络1的各项参数后，子网络2、子网络3、融合网络的训练过程与子网络1的类似，就不赘述了。

在确定了子网络1、子网络2和子网络3的包括权重和偏置项等的各项参数后，将第一图像作为网络数据层分别输入至子网络1的第一卷积层和子网络2的第一卷积层，第二图像作为网络感兴趣区域层rois通过区域特征映射层输入至子网络3的第一全连接层，子网络1获得车辆车型图像的整体特征，子网络2获得车辆车型图像的细节特征，子网络3获得车辆车型图像的局部特征，再经过融合网络后，获得包括整体特征、局部特征和细节特征的融合特征，并利用softmax函数对融合特征进行分类，得到车型的分类结果和对应车型的概率。

所述子网络3获得车辆车型图像的局部特征，包括如下过程：

首先，融合网络的第三卷积层采用区域特征映射的方式提取出局部卷积特征，并池化到7×7的固定像素尺寸，然后，依次连接子网络3的第一全连接层和第二全连接层，提取出长度为1024的局部特征。

通过本实施例提供的方法，可以有效地解决相似车型识别的问题，提高车型识别的准确率。

如图3所示，本发明还涉及一种实现以上方法的实体装置的处理终端100，其包括，

存储器101，用于存储程序指令；

处理器102，用于运行所述程序指令，以执行基于多特征融合神经网络的车型识别方法的步骤，具体步骤与前面所描述的基于多特征融合神经网络的车型识别方法相同，在此不再进行赘述。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。