一种基于深度相机雾天高空拍摄的车辆重识别方法与流程

本发明属于车辆重识别，涉及一种基于深度相机雾天高空拍摄的车辆重识别方法。

背景技术：

1、目前深度相机应用越来越广泛，深度相机能够捕获普通相机不具备的物体距离，其逐渐得到广泛应用，其主要的原理为将红外激光投射到物体的表面，光线会因为物体处于不同的深度区域将被反射，然后通过专门的红外相机就能够计算出物体的位置和深度信息。

2、车辆重识别是在不同的摄像头数据中发现感兴趣的车辆，由于其需要从大量的车辆数据中查找相同的车辆，因此，其也被看做事图像检索的子问题。目前公共场所的交通分析已经广泛应用车辆重识别技术。

3、随着卷积神经网络在许多计算机视觉任务重取得了非常大的进步，但是，现实场景中的车辆重识别仍然面临非常大的挑战，因为cnn往往是在小规模数据集上过拟合，现实情况下的场景往往更加复杂，而现实场景中的数据集非常匮乏，导致学习到的模型缺乏鲁邦特征的学习。人在处理信息的时候回综合多种信息来源，如，听觉，触觉，嗅觉等，而每种信息都将作为一种模态，然而，模态之间虽然存在强相关性，但是，如何更好的发挥模态的互补特性是目前亟待解决的问题。

技术实现思路

1、为解决上述问题，本发明提出了一种新的基于深度相机雾天高空拍摄的车辆重识别方法，针对目前车辆重识别在实际复杂条件下出现精度断崖式下降的问题，采用生成复杂场景下的困难数据并结合深度信息增强网络学习的鲁棒性。

2、为了实现上述目的，本发明通过以下技术方案实现：

3、本发明提供了一种基于深度相机雾天高空拍摄的车辆重识别方法，包括以下步骤：

4、(1)收集基于深度相机雾天高空拍摄的清晰图，构建车辆重识别数据集；

5、(2)采用基于域自适应深度图生成网络，通过现有的rgbd数据集生成高空车辆重识别深度图数据集；

6、(3)基于清晰图和步骤(2)生成的深度图，生成雾天图；

7、(4)采用vggnet网络提取深度图和雾天图的车辆信息特征并进行增强；

8、(5)提取深度图和雾天图的多模态特征，并进行充分融合得到融合后的深度图和雾天图；

9、(6)根据步骤(5)得到的融合后的深度图和雾天图采用清晰图生成网络生成清晰图；

10、(7)将清晰图输入到车辆重识别网络，通过计算车辆之间的特征相似度量，从而判定当前车辆是否为同一辆车，完成车辆重识别。

11、作为本发明的进一步技术方案，步骤(2)的具体过程为：将现有的rgbd数据集设置为source，车辆重识别数据集设置为target，generatornet代表域自适应深度图生成网络，将深度图丰富的自然场景的rgbd图像转化为高位车辆重识别rgbd目标域图像：

12、

13、

14、域自适应深度图生成网络中引入损失函数，

15、

16、其中，gnet(·)代表generatornet，代表特征映射层，将特征维度映射为单一维度特征；代表1矩阵，表示为正样本；代表0矩阵，表示为负样本。

17、作为本发明的进一步技术方案，步骤(3)将深度图和清晰图以相机参数融合生成雾天图：

18、

19、其中，imagefoggy为生成的雾天图，imagergb是清晰图像，light是大气光照，distance<camera,scene>代表相机到场景的距离，也就是景深，即步骤2)生成的深度图；衰减系数控制雾的浓度，值越大意味着雾越浓。

20、作为本发明的进一步技术方案，步骤(4)的具体过程为：将vggnet网络最后的2个池化层去除，并将第3，4，5个卷积层的输出特征进行聚合，

21、featurefoggy＝vggnet3,4,5(imagefoggy)，

22、featuredepth＝vggnet3,4,5(imagedepth)，

23、通过上述公式提取雾天图特征featurefoggy和深度图特征featuredepth，为增强特征内部信息之间的约束关系，采用特征增强的方式将车辆信息精细化，

24、

25、

26、其中，代表增强后的featurefoggy特征，代表增强后的featuredepth特征，sig(·)代表sigmoid函数，代表特征维度间的叠加；

27、作为本发明的进一步技术方案，步骤(5)采用基于最大值的池化层和基于均值的池化层加权进行特征融合，从而将当前特征中最具判别性的区域特征增强，具体为：

28、

29、其中，featurefoggy+depth代表融合后的多模态特征，代表特征的叠加操作，代表sigmoid函数，mlp(·)代表多层线性层，于将特征映射到更高层次的维度。

30、作为本发明的进一步技术方案，步骤(5)生成清晰图过程中，通过深度信息补充细节，具体为：

31、

32、其中，代表基于深度图和雾天图生成的清晰图像，3dconvde代表基于3d卷积的上采样，能够感知运动信息的同时，使得输出的尺寸与真实的图像尺寸相同，deform(·)代表变形卷积，[·]n-frames代表每次感知运动信息的帧数为n帧；所述清晰图生成网络训练时采用判别损失

33、

34、其详细的定义与步骤(3)中的相同，代表生成的清晰图，代表原始的清晰图。

35、作为本发明的进一步技术方案，步骤(7)的具体过程为：先将清晰图imageclear输入到特征提取网络vggnet3,4,5(imageclear)，在提取特征的过程中加入了深度信息，具体为：

36、

37、其中，featurereid代表进行车辆重识别的特征，用于计算特征之间的距离，从而判断是否为同一辆车，代表特征转置。

38、与现有技术相比，本发明的有益效果是：

39、本发明采用自适应生成困难场景下车辆重识别算法的方式扩充标注数据，并提升网络在实际应用中的性能，且运用深度相机，弥补大雾条件下信息缺失导致的重识别失败问题，而且多模态数据中蕴含的互补信息能够充分挖掘多信息源的特性，提升识别精度。

技术特征：

1.一种基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(2)的具体过程为：将现有的rgbd数据集设置为source，车辆重识别数据集设置为target，generatornet代表域自适应深度图生成网络，将深度图丰富的自然场景的rgbd图像转化为高位车辆重识别rgbd目标域图像：

3.根据权利要求2所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(3)将深度图和清晰图以相机参数融合生成雾天图：

4.根据权利要求3所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(4)的具体过程为：将vggnet网络最后的2个池化层去除，并将第3，4，5个卷积层的输出特征进行聚合，

5.根据权利要求4所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(5)采用基于最大值的池化层和基于均值的池化层加权进行特征融合，从而将当前特征中最具判别性的区域特征增强，具体为：

6.根据权利要求5所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(5)生成清晰图过程中，通过深度信息补充细节，具体为：

7.根据权利要求6所述基于深度相机雾天高空拍摄的车辆重检测方法，其特征在于，步骤(7)的具体过程为：先将清晰图imageclear输入到特征提取网络vggnet3,4,5(imageclear)，在提取特征的过程中加入了深度信息，具体为：

技术总结
本发明属于车辆重识别技术领域，涉及一种基于深度相机雾天高空拍摄的车辆重识别方法，先收集并构建车辆重识别数据集，再通过现有的RGBD数据集生成高空车辆重识别深度图数据集；然后基于深度图和清晰图生成雾天图并提取相应的车辆信息特征，再提取深度图和雾天图的多模态特征并进行融合后生成清晰图，最后将清晰图输入到车辆重识别网络进行车辆重识别，弥补了大雾条件下信息缺失导致的重识别失败问题，多模态数据中蕴含的互补信息能够充分挖掘多信息源的特性，提升识别精度。

技术研发人员：刘寒松,王国强,王永,刘瑞,焦安健
受保护的技术使用者：松立控股集团股份有限公司
技术研发日：
技术公布日：2024/3/5