基于DeepSORT的高速公路场景中多目标车辆跟踪方法

本发明属于智慧高速、智慧感知研究领域，具体涉及基于deepsort的高速公路场景中多目标车辆跟踪方法。

背景技术：

1、人工智能的迅速发展为高速公路场景中的实时监控提供了新的解决方案和途径。如何利用机器学习理论、深度学习方法和计算机视觉技术，在高速公路监控视频的基础之上对高速公路中的行驶车辆进行精准检测与跟踪，实现高速公路车辆的自动化识别定位、流量统计及异常行为检测，为交通管理部门提供科学决策是智能交通系统发展的一项重要任务。

2、由于高速公路露天场景特性，例如在白天、傍晚、黑夜等不同时间段内光线变化显著，监控污损情况严重，并且通行车辆行驶速度多在80公里每小时以上，视频图像易变模糊，导致高速公路场景中车辆检测与跟踪的准确率降低。本发明中基于deepsort的高速公路场景中多目标车辆跟踪技术可有效提高高速公路系统监控的效率，促进智慧高速系统的发展。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，提供基于deepsort的高速公路场景中多目标车辆跟踪方法，构建用于公路沥青路面病害检测的ffrv-rv-dm、yv-rv-dm、frv-dv-dm、yv-dv-dm、frv-sv-dm、yv-sv-dm、frv-dr-dm、yv-dr-dm网络模型，进过模型训练、参数优化与模型比选，能够有效对高速公路场景中多目标车辆进行跟踪，具有较好的mota、motp以及平均检测时间，可对高速公路系统监控提供技术支持。

2、技术方案：为实现上述目的，本发明提供基于deepsort的高速公路场景中多目标车辆跟踪方法，包括如下步骤：

3、s1：数据集的构建，构建用于评估高速公路场景中多目标车辆跟踪模型的性能的数据集，包括白天、傍晚、黑夜3个场景；

4、s2：目标检测，构建用于高速公路场景中车辆检测的faster-rcnn-vdhs模型、yolov5s-vdhs模型，用于检测其中运动的目标并获取图像信息；

5、s3：运动预测与状态估计，通过统计目标对象在之前帧的运动行为和参数来建模估计目标将在未来帧可能到达的位置；

6、s4：特征提取与相似度计算，构建用于车辆重识别的dnfm-rds模型、resnet50-vrhs模型、densenet121-vrhs模型和shufflenetv2-vrhs模型，用于提取目标检测框的运动特征和表观特征，通过运动信息和外观信息添加距离计算，并根据特征之间的相似度构建代价矩阵；

7、s5：目标车辆关联匹配，将目标关联问题转换为求解最优匹配的问题，对帧与帧之间各个目标进行最优匹配；

8、s6：模型训练并优化参数，优选ffrv-rv-dm、yv-rv-dm、frv-dv-dm、yv-dv-dm、frv-sv-dm、yv-sv-dm、frv-dr-dm、yv-dr-dm模型进行高速公路场景中多目标车辆跟踪。

9、进一步的，所述步骤s1中采用京沪高速某路段的白天、傍晚、黑夜的场景监控视频，fps为25，分辨率为1920×1080，采用轻量级视频标注工具darklabel 2.4，将上述视频流导入到标注工具中，按照mot16 challenge数据集的格式给车辆分配不同的id，构建高速公路场景中车辆跟踪数据集。

10、进一步的，所述步骤s2中构建用于高速公路场景中车辆检测的faster-rcnn-vdhs模型和yolov5s-vdhs模型，分析视频的输入帧，识别检测其中运动的目标，创建检测到的目标对应的轨迹，初始化下一阶段的运动变量。

11、进一步的，所述步骤s3中采用卡尔曼滤波作为运动模型，卡尔曼滤波根据第t-1帧中的车辆边界框进行建模后，可以得到第t帧中目标的预测框；然后，通过目标检测方法将第t帧的检测框作为观测值，结合预测框和检测框，得到当前视频第t帧所有目标检测框的最优估计值；最后，利用该最优估计值又得到第t+1帧中该目标新的预测值，通过不断迭代，最终逼近目标的实际值，采用一个8维空间来描述高速公路场景中车辆轨迹在某一时刻的状态，表示公式为：

12、

13、其中，(u,v)为车辆检测框的中心坐标，r为纵横比，h为边框高度，(x·,y·,r·,h·)为(u,v,r,h)的速度信息。

14、进一步的，所述步骤s4中包括目标检测框的运动特征和表观特征的获取，基于车辆位置运动特征的马氏距离可以提供对短期预测比较有效的信息，计算公式如下：

15、

16、其中，d(1)(i,j)为第j个检测框与第i条轨迹的匹配程度，dj为第j个检测框的位置坐标信息，yj为当前帧轨迹对下一帧的预测，pi为卡尔曼滤波预测的当前时刻观测空间的协方差矩阵。

17、进一步的，所述步骤s4中包括目标检测框的运动特征和表观特征的获取，基于车辆表观信息特征的余弦距离在目标长期被遮挡后恢复目标id方面发挥重要作用，计算公式如下：

18、

19、其中，rj限制条件为||rj||＝1，ri为存储整个跟踪轨迹的特征向量库，为跟踪轨迹的特征向量库的其中一个特征向量。

20、进一步的，所述步骤s5中目标车辆关联匹配包括匈牙利算法、级联匹配、iou匹配，将目标关联问题转换为求解最优匹配的问题，对帧与帧之间各个目标进行最优匹配。

21、进一步的，所述步骤s6中构建resnet50-vrhs、densenet121-vrhs、shufflenetv2-vrhs、dnfm-rds作为重识别网络进行特征提取与相似度计算，联合yolov5s-vdhs、faster-rcnn-vdhs模型，包括ffrv-rv-dm、yv-rv-dm、frv-dv-dm、yv-dv-dm、frv-sv-dm、yv-sv-dm、frv-dr-dm、yv-dr-dm8个模型，构建基于深度学习的高速公路场景中车辆跟踪模型。

22、进一步的，所述步骤s6中基于构建的高速公路场景中车辆跟踪数据集，通过损失函数曲线提供验证集数据反馈，依次调节模型迭代次数、学习率、衰减权重等超参数，分别得到三个网络模型的mota、motp和平均检测时间，综合对比选取最优高速公路场景中多目标车辆跟踪方法。

23、进一步，所述mota、motp具体指：mota为多目标跟踪准确度，是衡量多目标跟踪方法对车辆轨迹持续跟踪能力的重要指标，其值越接近1，跟踪性能越佳，计算公式如下：

24、

25、其中，fnt为第t帧中漏检的目标车辆数目、fpt为第t帧中误检的目标车辆数目、idswt为第t帧中若干条车辆轨迹上目标车辆id发生跳变的数目、gtt为第t帧中标注的实际目标车辆数目。

26、motp为多目标跟踪精度，是多目标车辆追踪方法衡量检测器定位精度的重要指标，表示多目标车辆追踪算法的检测框与人工标注的gt之间的平均度量，计算公式如下：

27、

28、其中，ct为第t帧中预测目标框与gt成功匹配的目标框数目，为第t帧中第i个目标车辆与真实标注框之间的交并比。motp数值越大，表示其检测器定位性能越好。

29、本发明综合了resnet50-vrhs、densenet121-vrhs、shufflenetv2-vrhs、dnfm-rds特征提取与相似度计算的重识别模型，与yolov5s-vdhs、faster-rcnn-vdhs检测模型，构建用于高速公路场景中多目标车辆跟踪模型。通过模型训练与参数优化，发现在对高速公路场景中车辆持续跟踪的能力上，以yolov5s-vdhs为检测器及deepsort-mvths框架的高速公路场景中车辆跟踪模型的性能优于以faster-rcnn-vdhs为检测器及deepsort-mvths框架的跟踪模型；在对高速公路场景中车辆的定位精度上，以faster-rcnn-vdhs为检测器及deepsort-mvths框架的高速公路场景车辆跟踪模型的性能优于以yolov5s-vdhs为检测器及deepsort-mvths框架的跟踪模型。

30、本发明的有益效果是：构建的基于deepsort的高速公路场景中多目标车辆跟踪方法，进过模型训练、参数优化与模型比选，能够有效对高速公路场景中多目标车辆进行跟踪，具有较好的mota、motp以及平均检测时间，可对高速公路系统监控提供技术支持。