基于高判别力特征挖掘的车辆再识别方法及装置与流程

本发明涉及数字图像处理技术领域，特别涉及一种基于高判别力特征挖掘的车辆再识别方法及装置。

背景技术：

相关技术，车辆再识别(vehiclere-identification)就是对采集自不同摄像头的车辆图像进行匹配，判断图像是否属于同一辆车。随着现代化发展，道路两侧布置了越来越多的摄像机，每天采集到海量的数据，使得这一技术显得愈发重要起来。但由于不同摄像头采集到的图像的光照、角度、清晰度以及其中车辆的姿态都有较大的差异，导致这一技术始终无法完善。

目前主流的车辆再识别算法可以大体分为两个步骤：特征提取和匹配。

对于特征提取部分，早期的一些方法使用了经典的特征工程方法得到的人工特征来进行匹配，一些较为传统的方法使用颜色直方图，hog(histogramoforientedgradient，方向梯度直方图)特征作为图像的特征，并使用svm(supportvectormachine，支持向量机)进行分类。随着深度学习的发展，越来越多的方法使用深度学习得到的特征来代替人工特征，一些方法使用深度哈希算法，结合车辆的属性识别来实现车辆搜索，除了传统的两两对比的匹配方法，一些方法引入了基于三元组的度量学习方法，相比于二元匹配，这种方法可以得到更具有判别性的度量空间划分。实际上，这些方法都不是相互制约的，有研究表明，将二元、三元匹配，及人工特征和深度学习的特征混合到一起进行多任务学习，可以使性能得到进一步提升，除了完全基于车辆图片进行的学习，一些方法还引入了额外的标注或信息，虽然这样增加了人工标注的成本，但这些方法更贴近人视觉系统的处理方式，也对性能有很大的提升。

在实际的监控环境下，得到的数据往往不是单张独立的图像，而是一段图像序列。同时在城市中，车辆大部分时间是沿交通道路行驶或停靠，车辆出现在不同的摄像头中是存在时序上的约束的。因而可以利用这些时序上的约束以及序列间信息，来提升算法性能。

神经网络模型含有大量未定参数，需要大量数据通过深度学习的方式确定这些参数。虽然相比于其他任务如物体识别，物体检测等，车辆再识别目前在学术界还是一个比较小众的研究方向，但已有一些研究者采集了大规模数据并公开提供给其他研究者。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于高判别力特征挖掘的车辆再识别方法，该方法一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。

本发明的另一个目的在于提出一种基于高判别力特征挖掘的车辆再识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于高判别力特征挖掘的车辆再识别方法，包括以下步骤：从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆id(identification，身份标识号)；根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的id相同的车辆图像和一张id不同的车辆图像；根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。

本发明实施例的基于高判别力特征挖掘的车辆再识别方法，有效解决车辆再识别技术中存在的精度低及识别结果可解释性差的问题，通过利用注意力机制，使神经网络从不同车辆中提取不同的具有判别性的局部特征进行匹配，从而一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。

另外，根据本发明上述实施例的基于高判别力特征挖掘的车辆再识别方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：将所有车辆图像放入图像数据库中；将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征；计算所述待查询图像特征和所述已有图像特征之间的欧几里得距离，并将所述距离转化为相似度；根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，所述查询结果为相似度最高的车辆图像。

进一步地，在本发明的一个实施例中，所述根据所述损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，进一步包括：利用卷积层提取每张车辆图像的底层特征；利用多分支的注意力模块提取每张车辆图像的局部特征；融合所述局部特征和全局特征得到以得到所述预设神经网络。

进一步地，在本发明的一个实施例中，所述三元损失函数为：

ltri(ia，i+，i-)＝d(f(ia)，f(i+))-d(f(ia)，f(i-))+α，

其中，f(i+),f(i-)两张不同摄像机拍摄的id相同的车辆图像的判别特征，f(ia)为id不同的车辆图像的判别特征。

进一步地，在本发明的一个实施例中，根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征之前，还包括：同时设置所述卷积神经网络的超参数并初始化网络参数。

为达到上述目的，本发明另一方面实施例提出了一种基于高判别力特征挖掘的车辆再识别装置，包括：第一提取模块，用于从多个摄像机的视频流中提取多组含有车辆的图像帧，并从所述图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆id；第二提取模块，用于根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据所述判别性特征得到三元损失函数，其中，所述至少一个三元组包括两张不同摄像机拍摄的id相同的车辆图像和一张id不同的车辆图像；计算模块，用于根据所述三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据所述预设神经网络得到车辆再识别结果。

本发明实施例的基于高判别力特征挖掘的车辆再识别装置，有效解决车辆再识别技术中存在的精度低及识别结果可解释性差的问题，通过利用注意力机制，使神经网络从不同车辆中提取不同的具有判别性的局部特征进行匹配，从而一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。

另外，根据本发明上述实施例的基于高判别力特征挖掘的车辆再识别装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：查询模块，用于将所有车辆图像放入图像数据库中，将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征，且计算所述待查询图像特征和所述已有图像特征之间的欧几里得距离，并将所述距离转化为相似度，并根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，所述查询结果为相似度最高的车辆图像。

进一步地，在本发明的一个实施例中，所述计算模块进一步用于利用卷积层提取每张车辆图像的底层特征，利用多分支的注意力模块提取每张车辆图像的局部特征，融合所述局部特征和全局特征得到以得到所述预设神经网络。

进一步地，在本发明的一个实施例中，所述三元损失函数为：

ltri(ia，l，i-)＝d(f(ia)，f(i+))-d(f(ia)，f(i-))+α，

其中，f(i+),f(i-)两张不同摄像机拍摄的id相同的车辆图像的判别特征，f(ia)为id不同的车辆图像的判别特征。

进一步地，在本发明的一个实施例中，还包括：设置模块，用于在根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征之前，同时设置所述卷积神经网络的超参数并初始化网络参数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于高判别力特征挖掘的车辆再识别方法的流程图；

图2为根据本发明一个实施例的网络的具体结构示意图；

图3为根据本发明一个实施例的注意力模块的结构示意图；

图4为根据本发明一个实施例的基于高判别力特征挖掘的车辆再识别装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于高判别力特征挖掘的车辆再识别方法及装置，首先将参照附图描述根据本发明实施例提出的基于高判别力特征挖掘的车辆再识别方法。

图1是本发明一个实施例的基于高判别力特征挖掘的车辆再识别方法的流程图。

如图1所示，该基于高判别力特征挖掘的车辆再识别方法包括以下步骤：

在步骤s101中，从多个摄像机的视频流中提取多组含有车辆的图像帧，并从图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆id。

可以理解的是，如图2所示，从摄像头视频流中提取图像帧，人工或利用现有车辆检测算法提取出干净的车辆图像，并人工标注车辆id。同时设置神经网络的超参数并初始化网络参数。

具体而言，本发明实施例提出一种基于高判别力特征挖掘的车辆再识别技术，图2为系统整体架构。整个系统基于深度神经网络，技术可以分为训练方法和查询方法两部分。

在训练过程中，首先从摄像机中提取出含有车辆图像的帧，手工或使用一些车辆检测算法，将车辆图像检测并提取出来，并剔除冗余图像，得到训练集图像i1,i2,…in，再利用人工及先验信息，给每张图片标出对应的车辆id。

在步骤s102中，根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据判别性特征得到三元损失函数，其中，至少一个三元组包括两张不同摄像机拍摄的id相同的车辆图像和一张id不同的车辆图像。

可以理解的是，如图2所示，从数据库中按上述方法采样出一个或多个三元组，使用带多注意力分支和多样性约束的卷积神经网络提取判别性特征，并计算损失函数。

进一步地，在本发明的一个实施例中，三元损失函数为：

ltri(ia，l，i-)＝d(f(ia)，f(i+))-d(f(ia)，f(i-))+α，

其中，f(i+),f(i-)两张不同摄像机拍摄的id相同的车辆图像的判别特征，f(ia)为id不同的车辆图像的判别特征。

具体而言，训练时，选择一张id为pa的图ia，再选择一张和它id相同，由不同摄像机拍到的图i+，以及与其id不同的图i-，将三张图打包，作为一个三元组，输入到神经网络中。神经网络需要先确定超参数，并进行参数初始化。用神经网络提取出三张图的特征f(ia),f(i+),f(i-)，计算三元损失函数，函数形式如下：

ltri(ia，i+，i-)＝d(f(ia)，f(i+))-d(f(ia)，f(i-))+α。

在步骤s103中，根据三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据预设神经网络得到车辆再识别结果。

可以理解的是，本发明实施例可以利用损失函数和梯度下降算法计算梯度并更新网络参数。

进一步地，在本发明的一个实施例中，根据损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，进一步包括：利用卷积层提取每张车辆图像的底层特征；利用多分支的注意力模块提取每张车辆图像的局部特征；融合局部特征和全局特征得到以得到预设神经网络。

具体而言，之后利用随机梯度下降即可不断优化网络。

其中网络的具体结构如附图2，首先利用基本的卷积层提取底层特征，并降低图像分辨率，提高感受野。然后利用多分支的注意力模块(具体注意力模块的结构见附图3)提取不同的具有判别性的局部特征特征，并进行融合，并最后结合全局特征得到最终的特征。使用的注意力模块具有残差结构，具体可见附图3，若输入的图像特征为ii，则注意力模块的输出gi为

g(ii)＝(1+m(ii))·ii，

为保证不同注意力分支不会聚焦于相同的区域，本发明设计了多分支多样性约束，用以在训练过程中约束注意力分支关注不同的区域。方法是计算不同分支的归一化特征向量之间的kl散度，通过梯度下降方法使其最小化，即可保证不同分支输出的特征向量之间保持差异性，具体公式如下：

最终系统的损失函数为

l＝ltri(ia，i+，i-)+λlkl，

其中，λ为调节三元损失函数与多样性约束之间比例的参数。

进一步地，在本发明的一个实施例中，还包括：将所有车辆图像放入图像数据库中；将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征；计算待查询图像特征和已有图像特征之间的欧几里得距离，并将距离转化为相似度；根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，查询结果为相似度最高的车辆图像。

可以理解的是，查询的过程与训练过程较为相似，不同之处在于不需要初始化和训练神经网络，具体步骤如下：

s0:从摄像头视频流中提取图像帧，利用人工或已有车辆检测算法提取干净的车辆图像，放入图像数据库中。

s1:将一张待查询的图像，及图像数据库中的图像输入本发明设计的神经网络中，得到具有判别性的特征，计算待查询图像特征与已有图像特征之间的欧几里得距离，将距离转化为相似度进行排序。相似度最高的那张图片可能就是匹配对象。

综上，关键点1，车辆的识别是通过三元组损失函数，深度神经网络的梯度下降方法学习得到的；关键点2，利用注意力机制提取每张图中有判别性的局部特征，同时结合整体特征得到最终的特征向量；关键点3，整个系统使用深度神经网络，通过端到端学习得到。可以支持单张图片查询，也支持图片序列查询。该方法在广泛使用的车辆再识别公开数据集上取得了当时的最佳性能水平。

根据本发明实施例提出的基于高判别力特征挖掘的车辆再识别方法，获得摄像头拍摄到的图片，利用设计的深度神经网络提取具有判别性的特征，三个样本构成三元组损失，利用梯度下降方法训练神经网络，从而极大地提高了车辆再识别的性能。

其次参照附图描述根据本发明实施例提出的基于高判别力特征挖掘的车辆再识别装置。

图4是本发明一个实施例的基于高判别力特征挖掘的车辆再识别装置的结构示意图。

如图4所示，该基于高判别力特征挖掘的车辆再识别装置10包括：第一提取模块100、第二提取模块200和计算模块300。

其中，第一提取模块100用于从多个摄像机的视频流中提取多组含有车辆的图像帧，并从图像帧中提取车辆图像，剔除冗余图像且在每张车辆图像上标注车辆id。第二提取模块200用于根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征，并根据判别性特征得到三元损失函数，其中，至少一个三元组包括两张不同摄像机拍摄的id相同的车辆图像和一张id不同的车辆图像。计算模块300用于根据三元损失函数和梯度下降算法计算梯度并更新网络参数，以得到预设神经网络，并根据预设神经网络得到车辆再识别结果。本发明实施例的装置10一方面可以提高精度，另一方面也可以提高再识别算法的可解释性，简单易实现。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：查询模块。其中，查询模块用于将所有车辆图像放入图像数据库中，将待查询图像和图像数据库中的所有车辆图像输入预设神经网络分别得到待查询图像特征和已有图像特征，且计算待查询图像特征和已有图像特征之间的欧几里得距离，并将距离转化为相似度，并根据相似度的高低进行排序，以得到待查询图像的查询结果，其中，查询结果为相似度最高的车辆图像。

进一步地，在本发明的一个实施例中，计算模块300进一步用于利用卷积层提取每张车辆图像的底层特征，利用多分支的注意力模块提取每张车辆图像的局部特征，融合局部特征和全局特征得到以得到预设神经网络。

进一步地，在本发明的一个实施例中，三元损失函数为：

ltri(ia，i+，i-)＝d(f(ia)，f(i+))-d(f(ia)，f(i-))+α，

其中，f(i+),f(i-)两张不同摄像机拍摄的id相同的车辆图像的判别特征，f(ia)为id不同的车辆图像的判别特征。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：设置模块。其中，设置模块用于在根据带多注意力分支和多样性约束的卷积神经网络提取至少一个三元组的判别性特征之前，同时设置卷积神经网络的超参数并初始化网络参数。

需要说明的是，前述对基于高判别力特征挖掘的车辆再识别方法实施例的解释说明也适用于该实施例的基于高判别力特征挖掘的车辆再识别装置，此处不再赘述。

根据本发明实施例提出的基于高判别力特征挖掘的车辆再识别装置，获得摄像头拍摄到的图片，利用设计的深度神经网络提取具有判别性的特征，三个样本构成三元组损失，利用梯度下降方法训练神经网络，从而极大地提高了车辆再识别的性能。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。