基于深度学习融合网络的高速公路场景中车辆重识别方法

本发明属于智慧高速、智慧感知研究领域，具体涉及基于深度学习融合网络的高速公路场景中车辆重识别方法。

背景技术：

1、现阶段主流的多目标跟踪方法中，目标重识别方法常被应用作为外观模型度量当前帧检测目标和轨迹目标的外观相似程度，从而建立监控视频帧与帧之间目标联系，实现轨迹生成与更新。在高速公路场景中，光照条件变化、运动模糊等现象会造成同一车辆在不同帧中外观差异较大。此外，车辆图像中包含的遮挡信息和背景信息会对特征提取造成干扰。由于颜色直方图、梯度直方图等常用的传统特征应用在外观模型中缺乏灵活性和准确性，为提升目标重识别方法的鲁棒性，基于轻量化深度学习网络开展基于深度学习的高速公路场景中车辆重识别方法研究。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，提供基于深度学习融合网络的高速公路场景中车辆重识别方法，构建用于车辆重识别的resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs和dnfm-rds融合网络模型，通过模型训练、参数优化与模型比选，能够有效对高速公路场景下的车辆进行重识别，在损失一定检测速度的情况下提高车辆检测精度，为后续实现高速公路场景监控视频中多目标车辆定位跟踪提供基础。

2、技术方案：为实现上述目的，本发明提供基于深度学习融合网络的高速公路场景中车辆重识别方法，包括如下步骤：

3、s1：获取图像信息，构建高速公路场景车辆重识别数据集；

4、s2：针对数据集特征，构建用于车辆重识别的resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs和dnfm-rds融合网络模型；

5、s3：进行模型训练并优化参数，优选resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs和dnfm-rds融合网络模型进行高速公路场景下的车辆重识别。

6、进一步的，所述步骤s1的具体步骤如下：

7、s1：采用基于yolov5s-vdhs的高速公路场景中车辆检测方法对京沪高速某路段的白天、傍晚、黑夜的车辆图像进行检测，并将获取的车辆图像进行过滤筛选，构建高速公路场景中车辆重识别数据集。

8、进一步的，所述步骤s2中构建resnet50-vrhs高速公路场景中车辆重识别方法为：根据构建数据集特征，通过引入深度残差网络结构进行特征提取及后续车辆重识别。

9、进一步的，所述步骤s2中构建shufflenetv2-vrhs高速公路场景中车辆重识别方法为：根据构建数据集特征，在shufflenetv1基础上通过逐点分卷积通道重排进行特征提取及后续车辆重识别。

10、进一步的，所述步骤s2中构建densenet121-vdhs高速公路场景中车辆重识别方法为：根据构建数据集特征，通过引入不同数量的denseblock模块和transition模块进行特征提取及后续车辆重识别。

11、进一步的，所述步骤s2中构建dnfm-rds高速公路场景中车辆重识别方法为：根据构建数据集特征，在基础特征提取模型基础上，通过融合不同的特征提取网络，构建融合网络模型提取特征，进行车辆重识别。

12、进一步的，所述步骤s2中构建的高速公路场景中车辆重识别融合模型dnfm-rds，提取resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs特征提取的优势，将resnet50-vrhs、shufflenetv2-vrhs、densenet121-vdhs的全连接层去掉，并将resnet50、densenet121、shufflenetv2 3个网络输出的1×1×1024、1×1×2048、1×1×1024维特征向量对应为3个通道的特征向量，同时将3个通道进行concatenate合并，即将三维的特征向量串联成一个1×1×4096的一维特征向量，用于高速公路场景中整车图像深度特征的有效提取。

13、进一步的，所述步骤s3的具体步骤如下：

14、s3-1：基于构建的高速公路场景中车辆重识别数据集，通过损失函数曲线提供验证集数据反馈，依次调节模型迭代次数、学习率、衰减权重等超参数；

15、s3-2：对resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs和dnfm-rds融合网络模型进行评价，分别得到4个网络模型的rank-1、rank-5、map和平均检测时间，综合对比选取最优高速公路场景中车辆重识别方法。

16、进一步的，所述步骤s3-2中map具体指：ap是网络模型预测某一个类别的好坏程度，map是多个类别ap的平均值，其大小在[0,1]区间，map值越大，则表示该网络模型的预测效果越好，具体计算公式如下：

17、进一步的，所述步骤s3-2中rank-k具体指：在前k个相似度最高检索结果中出现正确匹配结果的概率，该指标可以综合地反映该目标识别方法对所有的匹配目标的检索能力。以查询一张标签为n3的车辆图像为例，当计算相似度并排序后得到标签序列为n1、n2、n3、n4、n5，那么rank-1、rank-2、rank-3、rank-4、rank-5的值分别为0、0、100％、100％、100％。

18、本发明综合了resnet50、shufflenetv2、densenet121网络模型，构建了用于高速公路场景中车辆重识别的resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs网络模型，并根据3种网络构建dnfm-rds融合网络模型。通过模型训练与参数优化，最终选用平均精度更高的dnfm-rds网络模型完成高速公路场景中车辆重识别。

19、本发明的有益效果是：通过dnfm-rds融合网络模型能够有效对高速公路场景下的车辆进行重识别，在损失一定检测速度的情况下提高车辆检测精度，为后续实现高速公路场景监控视频中多目标车辆定位跟踪提供基础。

技术特征：

1.基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s1的具体步骤如下：

3.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s2中构建resnet50-vrhs高速公路场景中车辆重识别方法为：根据构建数据集特征，通过引入深度残差网络结构进行特征提取及后续车辆重识别。

4.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s2中构建shufflenetv2-vrhs高速公路场景中车辆重识别方法为：根据构建数据集特征，在shufflenetv1基础上通过逐点分卷积通道重排进行特征提取及后续车辆重识别。

5.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s2中构建densenet121-vdhs高速公路场景中车辆重识别方法为：根据构建数据集特征，通过引入不同数量的denseblock模块和transition模块进行特征提取及后续车辆重识别。

6.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s2中构建dnfm-rds高速公路场景中车辆重识别方法为：根据构建数据集特征，在基础特征提取模型基础上，通过融合不同的特征提取网络，构建融合网络模型提取特征，进行车辆重识别。

7.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，所述步骤s2中构建的高速公路场景中车辆重识别融合模型dnfm-rds，提取resnet50-vrhs、shufflenetv2-vrhs、densenet121-vrhs特征提取的优势，将resnet50-vrhs、shufflenetv2-vrhs、densenet121-vdhs的全连接层去掉，并将resnet50、densenet121、shufflenetv2 3个网络输出的1×1×1024、1×1×2048、1×1×1024维特征向量对应为3个通道的特征向量，同时将3个通道进行concatenate合并，即将三维的特征向量串联成一个1×1×4096的一维特征向量，用于高速公路场景中整车图像深度特征的有效提取。

8.根据权利要求1所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s3的具体步骤如下：

9.根据权利要求8所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s3-2中map具体指：ap是网络模型预测某一个类别的好坏程度，map是多个类别ap的平均值，其大小在[0,1]区间，map值越大，则表示该网络模型的预测效果越好，具体计算公式如下：

10.根据权利要求8所述的基于深度学习融合网络的高速公路场景中车辆重识别方法，其特征在于：所述步骤s3-2中rank-k具体指：在前k个相似度最高检索结果中出现正确匹配结果的概率，该指标能综合地反映该目标识别方法对所有的匹配目标的检索能力。

技术总结
本发明公开了基于深度学习融合网络的高速公路场景中车辆重识别方法，包括：获取图像信息，构建高速公路场景下车辆重识别数据集；针对数据集特征，构建用于车辆重识别的ResNet50‑VRHS、ShuffleNetV2‑VRHS、DenseNet121‑VRHS和DNFM‑RDS融合网络模型；进行模型训练并优化参数，优选DNFM‑RDS融合网络模型进行高速公路场景下的车辆重识别。本发明的有益效果在于：能够有效对高速公路场景下的车辆进行重识别，在损失一定检测速度的情况下提高车辆检测精度，为后续实现高速公路场景监控视频中多目标车辆定位跟踪提供基础。

技术研发人员：赵池航,李旋,覃晓明,解兴鹏,马欣怡
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/2/1