一种基于车正脸特征的车辆重识别方法与流程

[0001]
本发明涉及智慧交通技术领域，尤其是涉及一种基于车正脸特征的车辆重识别方法。


背景技术：

[0002]
随着国家基础建设的不断提升以及我国汽车保有量的不断增长，道路交通安全问题日益紧张，各类涉及交通违法的案件日益增多，致使人们对于公共交通安全问题的关注显著提升。为能有效缓解交通管理现状与公共交通安全等问题，寻找出切实有效的解决途径已经刻不容缓，为此面向交通监控视频中的海量车辆图像，寻找出目标车辆的车辆重识别技术被广泛关注。
[0003]
车辆重识别被人们广泛定义为图像检索问题，近几年随着社会对于公共交通安全问题的逐步重视而逐渐成为了热门研究问题。车辆重识别问题与行人重识别问题相近，旨在快速检索、定位、跟踪监控中所拍摄到的车辆情况，通过不同摄像头所拍摄到的不同视图，寻找出相同的车辆问题。
[0004]
车辆重识别最早开始基于车牌识别，但其后由于不少违法分子会将车牌遮挡或者涂改，甚至是使用套牌，这给基于车牌识别的车辆重识别技术造成了巨大的影响。近年来，结合车脸识别技术，不少研究者开始关注对车前挡风玻璃上的粘贴物、车内饰品等细粒度特征的提取，其中一些已经在许多实验中显示出不错的效果，但是对于车辆重识别问题更为有效特征的寻找仍然是一项非常重要的任务。其一是因为现阶段环保标志的取消、交强险标志的逐步退出以及未来年检标志的电子化，就长远的研究来看，提取车前挡风玻璃上的粘贴物特征对于未来车辆交通信息化发展已显得意义不大；其二是因为不能保证所有车辆都存在车内饰品，尤其是当两辆同一型号、同一颜色的车辆在车内都无任何饰品的时候将无法应用此方法进行重识别判定。
[0005]
综上所述，尽管目前国内外针对基于车正脸的车辆重识别的研究已经取得了很多优秀的研究成果，但是随着车前挡风玻璃上的粘贴物逐步取消，目前已有基于一些车辆正脸的细粒度特征的车辆重识别将逐渐不能满足实际应用的需求。因此，本项目对车辆重识别寻找一种更为有效的特征的研究将具有非常重要的理论意义。另外，随着计算机算力的提升、图像处理技术的发展，现阶段的摄像头所拍摄到的车辆正脸画面已经有能力分辨包括驾驶员与副驾驶位人员在内的车辆内部细粒度特征，在车辆驾驶过程中，驾驶员与副驾驶位人员的变动情况是很小的，利用对车辆驾驶员的特征和前排副驾驶位人员特征的研究对于今后的车辆重识别尤其是应对同一颜色、同一型号车辆的重识别问题有着长远的应用价值。


技术实现要素：

[0006]
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精度高、应用广泛的基于车正脸特征的车辆重识别方法。
[0007]
本发明的目的可以通过以下技术方案来实现：
[0008]
一种基于车正脸特征的车辆重识别方法，包括：
[0009]
步骤1：获取车辆正脸图像，利用mask r-cnn网络对图像进行部件检测和图像分割，得到车前挡风玻璃区域各物体的掩膜；
[0010]
步骤2：获取所有车辆驾驶员和副驾驶位人员的掩膜，并根据之前在mask r-cnn网络卷积过程中对应的特征图，提取分割出的车辆驾驶员和副驾驶位人员的特征；
[0011]
步骤3：将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；
[0012]
步骤4：判断当前车辆是否具有副驾驶位人员特征，若是，则执行步骤5，否则，执行步骤6；
[0013]
步骤5：将该副驾驶位人员特征与步骤3中排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，然后执行步骤7；
[0014]
步骤6：在排序中剔除步骤3排序后的前十张具有副驾驶位人员的特征的图像，然后执行步骤7；
[0015]
步骤7：查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体；
[0016]
步骤8：完成车辆的重识别。
[0017]
优选地，所述的步骤1中mask r-cnn网络的获取方法为：
[0018]
以resnet-fpn网络为骨干网络构造mask r-cnn网络。
[0019]
更加优选地，所述的步骤1具体为：
[0020]
车辆正脸图像作为输入，骨干网络resnet-fpn用于对车辆正脸图像中各部件的特征提取；特征金字塔fpn经过区域生成网络rpn得到候选区域，将候选区域和经过骨干网络得到的特征图送入roialign层计算出感兴趣的区域，之后再做分类、回归和掩膜预测；在边界框识别和掩膜预测组成的头部网络中，目标分类和回归分支通过全连接层与softmax损失计算，利用边界框置信度获取边界框的位置偏移量，得到边界框及边界框中的目标类别，输出类别的概率向量；掩膜预测mask分支使用sigmoid损失和二进制损失，为各个类别生成掩膜。
[0021]
更加优选地，所述的掩膜类别包括标志掩膜、车内饰品掩膜、车辆驾驶员掩膜及副驾驶位人员掩膜。
[0022]
优选地，所述的步骤2具体为：
[0023]
将从mask分支中预测的类别为人的掩膜用k近邻算法缩放成7
×
7大小的二值矩阵，并与经过roialign池化后的特征图进行比较，如果该类别特征图对应位置的掩膜值为1，则表示该区域存在含有分割前景语义的目标，需要将特征向量的值保留；若对应位置的掩膜值为0，则表示该区域不存在含有分割前景语义的目标，需要将特征向量的值去除；
[0024]
对于通过掩膜过滤过的特征图，需要对滤波器的输出进行最大值池化，同时进行一次标准化，最后得到同一类别的两个特征向量，分别作为车辆驾驶员特征和副驾驶位人员特征的表示。
[0025]
更加优选地，所述的标准化具体为l2标准化。
[0026]
更加优选地，所述的l2标准化的计算方法为：
[0027][0028]
其中，为每一维度的数据；x
j
为该维度下所有数据平方和的开根。
[0029]
优选地，所述的步骤3具体为：
[0030]
首先需对所有车辆图像进行标签，同时拥有驾驶员特征和副驾驶位人员特征的车辆图像标记为1，只拥有驾驶员特征车辆图像的标记为0，然后给定一个待查询的车辆图像query和检索数据集g，利用车辆驾驶员特征先进行比较，将待识别车辆图像query的驾驶员特征与检索数据集g内所有图像的驾驶员特征进行度量计算，将距离由小到大排序。
[0031]
更加优选地，所述的度量计算方法为：
[0032][0033]
其中，q
i
为待识别车辆图像query的驾驶员特征；g
i
为检索数据集g内所有图像的驾驶员特征；n为检索数据集g内车辆图像数量。
[0034]
优选地，所述的步骤4具体为：
[0035]
先判定该图像的标签，若标签为1，则说明该车辆图像具有副驾驶位人员特征，则需要将该图像的副驾驶位特征与步骤3排序后的前十张标签为1的图像的副驾驶位特征再次进行度量计算，将距离由小到大重排序；若标签为0，则说明该车辆图像不具有副驾驶位人员特征，则需要剔除步骤3排序过后前十张图像中标签为1的所有图像，将距离由小到大重排序；最后查询的车辆图像与距离最小的目标图像属于同一车辆个体。
[0036]
与现有技术相比，本发明具有以下优点：
[0037]
一、识别精度高：本发明中的基于车正脸特征的车辆重识别方法，使用mask r-cnn网络对车辆正脸图像特征进行提取，提出在车前挡风玻璃粘贴物逐步取消后，使用车辆驾驶员特征进行车辆检索；针对车辆驾驶员特征存在的相似度高的问题，采用副驾驶位人员特征进行辅助车辆检索，增加车辆重识别的识别精度，识别精度可达71.1％。
[0038]
二、应用广泛：本发明中的基于车正脸特征的车辆重识别方法可以直接应用在公共交通视频监控、刑侦工作和目标检索等领域，应用领域广泛。
附图说明
[0039]
图1为本发明中基于车正脸特征的车辆重识别方法的流程示意图；
[0040]
图2为本发明中网络架构的结构示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0042]
一种基于车正脸特征的车辆重识别方法，其流程如图1所示，包括：
[0043]
步骤1：获取车辆正脸图像，利用mask r-cnn网络对图像进行部件检测和图像分
割，得到车前挡风玻璃区域各物体的掩膜，具体为：
[0044]
以resnet-fpn网络为骨干网络构造mask r-cnn网络，车辆正脸图像作为输入，骨干网络resnet-fpn用于对车辆正脸图像中各部件的特征提取；特征金字塔fpn经过区域生成网络rpn得到候选区域，将候选区域和经过骨干网络得到的特征图送入roialign层计算出感兴趣的区域，之后再做分类、回归和掩膜预测；在边界框识别和掩膜预测组成的头部网络中，目标分类和回归分支通过全连接层与softmax损失计算，利用边界框置信度获取边界框的位置偏移量，得到边界框及边界框中的目标类别，输出类别的概率向量；掩膜预测mask分支使用sigmoid损失和二进制损失，为各个类别生成掩膜；
[0045]
本实施例中的所能识别的掩膜类别包括：标志掩膜、车内饰品掩膜、车辆驾驶员掩膜及副驾驶位人员掩膜等；
[0046]
步骤2：获取所有车辆驾驶员和副驾驶位人员的掩膜，并根据之前在mask r-cnn网络卷积过程中对应的特征图，提取分割出的车辆驾驶员和副驾驶位人员的特征，具体为：
[0047]
如图2所示，首先将经过roialign池化后的7
×
7
×
512的roi特征图变化为14
×
14
×
256，然后经过全卷积网络得到14
×
14
×
80的掩膜。将从mask分支中预测的类别为人的掩膜用k近邻算法缩放成7
×
7大小的二值矩阵，并与经过roialign池化后的特征图进行比较，如果该类别特征图对应位置的掩膜值为1，则表示该区域存在含有分割前景语义的目标，需要将特征向量的值保留；若对应位置的掩膜值为0，则表示该区域不存在含有分割前景语义的目标，需要将特征向量的值去除；
[0048]
对于通过掩膜过滤过的特征图，需要对滤波器的输出进行最大值池化，同时进行一次l2标准化，将每一维度的数据都除以其平方和的开根，公式如下：
[0049][0050]
其中为每一维度的数据；x
j
为该维度下所有数据平方和的开根。
[0051]
最后得到同一类别的两个512维度的特征向量，分别作为车辆驾驶员特征和副驾驶位人员特征的表示；
[0052]
步骤3：将当前车辆驾驶员特征与检索数据集中所有图像的车辆驾驶员特征进行度量计算，将距离由小到大排序；
[0053]
首先需对所有车辆图像进行标签，同时拥有驾驶员特征和副驾驶位人员特征的车辆图像标记为1，只拥有驾驶员特征车辆图像的标记为0，然后给定一个待查询的车辆图像query和检索数据集g，利用车辆驾驶员特征先进行比较，将待识别车辆图像query的驾驶员特征与检索数据集g内所有图像的驾驶员特征进行度量计算，将距离由小到大排序；
[0054]
度量计算方法为：
[0055][0056]
其中，q
i
为待识别车辆图像query的驾驶员特征；g
i
为检索数据集g内所有图像的驾驶员特征；n为检索数据集g内车辆图像数量；
[0057]
步骤4：判断当前车辆是否具有副驾驶位人员特征，若是，则执行步骤5，否则，执行步骤6；
[0058]
步骤5：将该副驾驶位人员特征与步骤3中排序后的前十张具有副驾驶位人员特征再次进行度量计算，将距离由小到大重排序，然后执行步骤7；
[0059]
步骤6：在排序中剔除步骤3排序后的前十张具有副驾驶位人员的特征的图像；
[0060]
步骤7：查询的车辆图像与距离最小的目标图像，将其判断为同一车辆个体；
[0061]
步骤4～7具体为：
[0062]
先判定该图像的标签，若标签为1，则说明该车辆图像具有副驾驶位人员特征，则需要将该图像的副驾驶位特征与步骤3排序后的前十张标签为1的图像的副驾驶位特征再次进行度量计算，将距离由小到大重排序；若标签为0，则说明该车辆图像不具有副驾驶位人员特征，则需要剔除步骤3排序过后前十张图像中标签为1的所有图像，将距离由小到大重排序；最后查询的车辆图像与距离最小的目标图像属于同一车辆个体；
[0063]
步骤8：完成车辆的重识别。
[0064]
本实施例中基于车正脸特征的车辆重识别方法的具体可应用在：
[0065]
(1)应用于公共交通视频监控：可以根据本车辆目标再识别方法有效地对监控网络中的车辆目标身份进行关联性判别，对监控中的车辆进行目标跟踪；
[0066]
(2)应用于刑侦工作：可以利用本方法代替人力对目标车辆进行寻找识别和定位，减少破案时间，增强破案效率；
[0067]
(3)应用于目标检索：可以根据本车辆目标再识别方法对海量视频中的指定车辆目标进行检索。
[0068]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。