一种回溯式实时视频目标检测与跟踪方法与流程

本发明属于目标检测和跟踪领域，特别是涉及一种回溯式实时视频目标检测与跟踪方法。

背景技术：

1、目前，实时视频的检测和目标跟踪技术在军事和民用方面都有着十分广泛的应用，军事方面包括无人飞行器、精确制导、空中预警、战场监视等；民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实、医学诊断等领域。

2、当前主流的高精度实时检测和跟踪方法主要是基于深度学习的图像分类和目标检测算法，卷积神经网络(cnn)为这个领域带来了变革式的发展：基于rpn的two-stage，rcnn/fast rcnn/faster rcnn、mask rcnn等，致力于检测精度的提高；基于ssd和yolov1/v2/3,retinanet的one-stage，致力于提高检测速度。这些算法在准确率、召回率、误检率、漏检率等指标上已经能基本达到，甚至在极端情况下超过人工识别的水平。

3、当前大部分实时视频的检测和跟踪的总体工作流程类似，检测和跟踪步骤如图1所示。对于跟踪快速移动的目标来说，检测和跟踪的速度非常关键。由于检测需要一定时间来处理，而检测处理的时间的长短将会影响跟踪响应的速度，如果目标在画面中的运动速度过快，检测时间超过了目标存留时间，会导致跟踪对象丢失。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种回溯式实时视频目标检测与跟踪方法。

2、本发明的目的是通过以下技术方案来实现的：一种回溯式实时视频目标检测与跟踪方法，包括：

3、定期对接收的实时视频流的当前帧视频图像进行目标检测；

4、缓存目标检测期间接收到的实时视频流的所有帧视频图像；

5、在检测到目标时，从缓存的第一帧视频图像开始目标跟踪。

6、进一步地，所述方法还包括：

7、在未检测到目标时，清空缓存的所有视频图像。

8、进一步地，在检测到目标时，从缓存的第一帧视频图像开始目标跟踪，包括：

9、在检测到目标时，判断是否需要对所述目标进行跟踪；

10、若不需要对所述目标进行跟踪，则清空缓存的所有视频图像；

11、若需要对所述目标进行跟踪，则从缓存的第一帧视频图像开始目标跟踪。

12、进一步地，在检测到目标以及对目标进行跟踪时，在视频图像中对所述目标进行标记。

13、进一步地，定期对接收的实时视频流的当前帧视频图像进行目标检测，包括：

14、定期将接收的实时视频流的当前帧视频图像确定为待检测图像；

15、确定所述待检测图像中的感兴趣区域；

16、对所述感兴趣区域进行扩展，得到待检测区域；

17、在所述待检测区域内进行目标检测。

18、进一步地，对所述感兴趣区域进行扩展，得到待检测区域，包括：

19、将所述感兴趣区域的边向外扩展预设长度，得到待检测区域；

20、其中，若感兴趣区域某个方向的边向外扩展预设长度后超出视频图像的边界，则感兴趣区域在该方向的边为视频图像的边界。

21、进一步地，当感兴趣区域为多个时，确定每个感兴趣区域包含目标的概率，按照概率从大到小的顺序依次对感兴趣区域进行扩展和目标检测，直到检测到目标或者完成所有感兴趣区域的扩展和目标检测。

22、本发明的有益效果是：

23、(1)目前通用的目标检测算法都比较耗时，一般会耗时2秒左右，这对于实时视频就不能做逐帧检测。由于不能逐帧检测，等检测完后，实时视频里的目标都已经变了。本发明采用缓存检测、回溯跟踪的方式，可以达到对跟踪目标对象的即发现即跟踪；

24、(2)本发明通过缓存检测和回溯标记的方法，在仅增加1-2秒输出延迟的代价下，保证了目标跟踪时效性，大大提升了目标检测和跟踪的准确率和可用性。

技术特征：

1.一种回溯式实时视频目标检测与跟踪方法，其特征在于，包括：

2.根据权利要求1所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，在检测到目标时，从缓存的第一帧视频图像开始目标跟踪，包括：

4.根据权利要求1所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，在检测到目标以及对目标进行跟踪时，在视频图像中对所述目标进行标记。

5.根据权利要求1所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，定期对接收的实时视频流的当前帧视频图像进行目标检测，包括：

6.根据权利要求5所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，对所述感兴趣区域进行扩展，得到待检测区域，包括：

7.根据权利要求5所述的一种回溯式实时视频目标检测与跟踪方法，其特征在于，当感兴趣区域为多个时，确定每个感兴趣区域包含目标的概率，按照概率从大到小的顺序依次对感兴趣区域进行扩展和目标检测，直到检测到目标或者完成所有感兴趣区域的扩展和目标检测。

技术总结
本发明公开了一种回溯式实时视频目标检测与跟踪方法，属于目标检测技术领域。一种回溯式实时视频目标检测与跟踪方法，包括：定期对接收的实时视频流的当前帧视频图像进行目标检测；缓存目标检测期间接收到的实时视频流的所有帧视频图像；在检测到目标时，从缓存的第一帧视频图像开始目标跟踪。本发明采用缓存检测、回溯跟踪的方式，可以达到对跟踪目标对象的即发现即跟踪。

技术研发人员：姚玉立,李怡,杨益红,钟义啸,刘征,李子清,付瑜
受保护的技术使用者：四川新视创伟超高清科技有限公司
技术研发日：
技术公布日：2024/1/22