一种复杂场景下的单目标跟踪方法与流程

本发明涉及目标跟踪领域，尤其是涉及一种复杂场景下的单目标跟踪方法。

背景技术：

1、单目标跟踪是计算机视觉领域的重要研究课题之一，常常应用于安防领域、人机交互领域、自动驾驶领域等。单目标跟踪算法主要包括两大类：基于相关滤波的目标跟踪算法和基于孪生神经网络(siamese)的目标跟踪算法。基于相关滤波的目标跟踪方法在跟踪速度与跟踪精度都有较好的表现，在线实时更新模型不需要额外收集与标注训练样本。其中快速判别尺度空间跟踪算法(fdsst)既可以预测目标位置变化情况，还可以预测目标尺度变化情况，相比于核相关滤波器(kcf)算法具有更好的适应性。但是在实际使用中，仍然存在很多问题：(1)复杂背景下目标被遮挡或者背景干扰信息过多导致模型更新了许多背景信息，导致产生模型漂移现象；(2)目标运动超出搜索区域或者目标完全遮挡(目标消失)等情况导致跟踪失败等。

技术实现思路

1、本发明的目的在于：针对现有技术存在的问题，提供一种复杂场景下的单目标跟踪方法，解决现有跟踪算法在遇到目标被遮挡等情况时，产生模型漂移现象和跟踪失败的问题。

2、本发明的发明目的通过以下技术方案来实现：

3、一种复杂场景下的单目标跟踪方法，该方法包括：系统初始化为巡航模式，当检测到行人则启动跟踪模式，所述跟踪模式为：

4、首先需要确定跟踪对象并初始化fdsst算法跟踪模型：当yolov5检测到单个行人对象，则直接初始化为fdsst算法的跟踪对象；当yolov5检测到多个行人对象，则选择置信度最高的初始为fdsst算法的跟踪对象；

5、其次，不断获得实时帧，基于fdsst算法进行目标跟踪，并根据跟踪对象在图像中的位置调整伺服模块，使得跟踪目标对象保持在图像画面中。

6、作为进一步的技术方案，所述巡航模式为：系统预先设置多个先验位置，调动伺服模块依次转到预置的多个先验位置，每到达一个先验位置则获得实时视频帧，并将实时视频帧图像输入已经训练好的yolov5进行行人检测。

7、作为进一步的技术方案，在模型更新上对fdsst算法进行优化，采用根据不同的跟踪状态启动不同模型更新策略。

8、作为进一步的技术方案，所述不同的跟踪状态定义为四个：(1)正常状态；(2)轻微遮挡状态；(3)完全遮挡状态；(4)重检测成功状态；当跟踪状态为正常状态则启动正常更新模型，当跟踪状态为轻微遮挡状态则减缓模型更新速度；当跟踪状态为完全遮挡状态则启动重检测模块，当重检测成功则进入重新检测成功状态，否则还是完全遮挡状态。

9、作为进一步的技术方案，不同的跟踪状态的区分公式为：

10、

11、其中公式中：f为响应矩阵，该矩阵的宽和高分别为w和h，fmax为响应矩阵的最大值、th＝0.2、a＝b＝0.45、为历史fmax的均值、为apce历史均值、fmin为响应矩阵最小值、f(i，j)表示响应矩阵中坐标点(i，j)的响应值、apce反映了响应矩阵的分布情况。

12、作为进一步的技术方案，优化后的fdsst算法的模型参数更新如下：

13、其中特征总维度为d，l表示其中某一维度特征，fl表示样本的第l维度特征经过高斯核函数高维映射后再进行离散傅里叶变换的结果，同理fk表示样本第k维度的特征经过高斯核函数高维映射后再进行离散傅里叶变换的结果，为fk的共轭，λ是防止分母为0的参数，η表示模型学习参数，t表示迭代次数。adjustlr为自适应跟踪状态的模型更新调整因子，当跟踪状态为正常状态时，adjustlr取值为1.0，当跟踪状态为轻微遮挡状态时，adjustlr取值为0.5，当跟踪状态为完全遮挡状态时，adjustlr取值为0。

14、作为进一步的技术方案，当跟踪状态为完全遮挡状态时，系统调用yolov5作为重检测模块进行重检测，重检测模块利用一个滤波器计算历史参考模板目标对象与本帧图像之间的相关度，所述的历史参考模板目标对象为历史帧中的跟踪目标对象所在的原始图像区域矩阵，所含历史帧的数量为n，n设置为3，因此参考的历史三帧包括：系统初始fdsst算法跟踪模型的第一帧，跟踪过程中相关度最高的帧，以及上一帧。

15、作为进一步的技术方案，系统调用yolov5作为重检测模块进行重检测具体为：yolov5对本帧图像进行行人检测，当检测到行人则计算其hog特征以及历史参考模板目标对象的hog特征，并基于滤波器计算历史参考模板目标对象与本帧图像之间的相关度，取最高相关度值且相关度值大于等于th1的检测框设置为跟踪对象，重新初始化fdsst算法跟踪模型；若最高相关度值小于th1则重检测失败，就继续下一帧重检测，当连续n帧都重检测失败，就退出跟踪模式，进入巡航模式。

16、与现有技术相比，本发明重新定义了跟踪状态，针对不同的跟踪状态采用了不同的模型更新策略，有效减少了fdsst算法模型漂移问题；且结合yolov5增加了重检测模块，能够对有效解决完全遮挡以及快速运动目标超过搜索区域造成跟踪失败的问题，重建测模块基于yolov5比滑动窗口获取待匹配区域更高效。

技术特征：

1.一种复杂场景下的单目标跟踪方法，其特征在于，该方法包括：系统初始化为巡航模式，当检测到行人则启动跟踪模式，所述跟踪模式为：

2.根据权利要求1所述的一种复杂场景下的单目标跟踪方法，其特征在于，所述巡航模式为：系统预先设置多个先验位置，调动伺服模块依次转到预置的多个先验位置，每到达一个先验位置则获得实时视频帧，并将实时视频帧图像输入已经训练好的yolov5进行行人检测。

3.根据权利要求1所述的一种复杂场景下的单目标跟踪方法，其特征在于，在模型更新上对fdsst算法进行优化，采用根据不同的跟踪状态启动不同模型更新策略。

4.根据权利要求3所述的一种复杂场景下的单目标跟踪方法，其特征在于，所述不同的跟踪状态定义为四个：(1)正常状态；(2)轻微遮挡状态；(3)完全遮挡状态；(4)重检测成功状态；当跟踪状态为正常状态则启动正常更新模型，当跟踪状态为轻微遮挡状态则减缓模型更新速度；当跟踪状态为完全遮挡状态则启动重检测模块，当重检测成功则进入重新检测成功状态，否则还是完全遮挡状态。

5.根据权利要求4所述的一种复杂场景下的单目标跟踪方法，其特征在于，不同的跟踪状态的区分公式为：

6.根据权利要求5所述的一种复杂场景下的单目标跟踪方法，其特征在于，优化后的fdsst算法的模型参数更新如下：

7.根据权利要求6所述的一种复杂场景下的单目标跟踪方法，其特征在于，当跟踪状态为完全遮挡状态时，系统调用yolov5作为重检测模块进行重检测，重检测模块利用一个滤波器计算历史参考模板目标对象与本帧图像之间的相关度，所述的历史参考模板目标对象为历史帧中的跟踪目标对象所在的原始图像区域矩阵，所含历史帧的数量为n，n设置为3，因此参考的历史三帧包括：系统初始fdsst算法跟踪模型的第一帧，跟踪过程中相关度最高的帧，以及上一帧。

8.根据权利要求7所述的一种复杂场景下的单目标跟踪方法，其特征在于，系统调用yolov5作为重检测模块进行重检测具体为：yolov5对本帧图像进行行人检测，当检测到行人则计算其hog特征以及历史参考模板目标对象的hog特征，并基于滤波器计算历史参考模板目标对象与本帧图像之间的相关度，取最高相关度值且相关度值大于等于th1的检测框设置为跟踪对象，重新初始化fdsst算法跟踪模型；若最高相关度值小于th1则重检测失败，就继续下一帧重检测，当连续n帧都重检测失败，就退出跟踪模式，进入巡航模式。

技术总结
本发明提供一种复杂场景下的单目标跟踪方法，该方法包括：系统初始化为巡航模式，当检测到行人则启动跟踪模式，所述跟踪模式为：首先需要确定跟踪对象并初始化FDSST算法跟踪模型：当YOLOv5检测到单个行人对象，则直接初始化为FDSST算法的跟踪对象；当YOLOv5检测到多个行人对象，则选择置信度最高的初始为FDSST算法的跟踪对象；其次，不断获得实时帧，基于FDSST算法进行目标跟踪，并根据跟踪对象在图像中的位置调整伺服模块，使得跟踪目标对象保持在图像画面中。本发明有效减少了FDSST算法模型漂移问题且有效解决完全遮挡以及快速运动目标超过搜索区域造成跟踪失败的问题。

技术研发人员：祝礼佳
受保护的技术使用者：成都辰天信息科技有限公司
技术研发日：
技术公布日：2024/1/12