一种行人跟踪方法及装置与流程

本发明属于视觉跟踪，具体涉及一种行人跟踪方法及装置。

背景技术：

1、视觉跟踪技术是计算机视觉领域的一个重要课题，有着重要的研究意义，且在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景。随着研究人员不断地深入研究，视觉目标跟踪在近十几年里有了突破性的进展，使得视觉跟踪算法不仅仅局限于传统的机器学习方法，更是结合了近些年人工智能热潮——深度学习和相关滤波器等方法，并取得了鲁棒、精确、稳定的结果。

2、现有的视觉单目标跟踪任务是指根据视频序列给定的初始帧(第一帧)的目标位置，来预测后续帧中该目标的状态。由于单目标跟踪的目标是实现类别无关的稳定跟踪，但现有的公开数据量训练出来的单目标跟踪模型存在泛化性差、误识率高的问题，使之无法在现实场景中使用，因此，一种基于单目标算法且能够提示跟踪效果的行人跟踪方法亟待研究。

技术实现思路

1、有鉴于此，本发明提供一种行人跟踪方法及装置，主要目的在于，实现对目标行人的跟踪效果的提升。

2、依据本发明的第一个方面，提供了一种行人跟踪方法，包括：

3、根据视频的第一帧图像中包含的行人，确定目标行人的目标框；

4、根据多目标跟踪算法对所述第一帧图像进行处理，得到与所述第一帧图像中的各个行人分别对应的跟踪框；

5、根据所述第一帧图像中的各个所述跟踪框分别与所述目标框之间的交并比结果，确定目标跟踪框；

6、将所述视频的每一帧图像中与所述目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征；

7、将所有所述每一帧图像各自对应的所述目标特征进行融合，获得融合目标特征；

8、根据所述融合目标特征，确定所述目标行人在丢失目标行人的帧图像中的位置。

9、依据本发明的第二个方面，提供了一种行人跟踪装置，包括：

10、目标框获取模块，用于根据视频的第一帧图像中包含的行人，确定目标行人的目标框；

11、跟踪框获取模块，用于根据多目标跟踪算法对所述第一帧图像进行处理，得到与所述第一帧图像中的各个行人分别对应的跟踪框；

12、目标跟踪框确定模块，用于根据所述第一帧图像中的各个所述跟踪框分别与所述目标框之间的交并比结果，确定目标跟踪框；

13、目标特征获取模块，用于将所述视频的每一帧图像中与所述目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征；

14、融合模块，用于将所有所述每一帧图像各自对应的所述目标特征进行融合，获得融合目标特征；

15、跟踪模块，用于根据所述融合目标特征，确定所述目标行人在丢失目标行人的帧图像中的位置。

16、依据本发明的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

17、依据本发明的第四个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

18、借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

19、本发明提供的一种行人跟踪方法及装置，通过根据视频的第一帧图像中包含的行人，确定目标行人的目标框；再根据多目标跟踪算法对所述第一帧图像进行处理，得到与第一帧图像中的各个行人分别对应的跟踪框；又根据第一帧图像中的各个跟踪框分别与所述目标框之间的交并比结果，确定目标跟踪框；将视频的每一帧图像中与目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征；将所有每一帧图像各自对应的目标特征进行融合，获得融合目标特征；最后，根据融合目标特征，确定目标行人在丢失目标行人的帧图像中的位置。本申请不但能够提高对目标行人跟踪的广泛性和准确性，而且还能够对处于不同场景下的目标行人进行跟踪，极大的提升了在实际使用中对目标行人跟踪的效果。

技术特征：

1.一种行人跟踪方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述视频的每一帧图像中与所述目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述视频的每一帧图像中与所述目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述对第k帧后的连续帧图像中的与各个行人分别对应的预测跟踪框中的图像分别进行特征提取，得到与各个所述预测跟踪框各自对应的预测目标特征，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述预测帧图像后的连续帧图像中与所述备选目标跟踪框对应的预测跟踪框中的图像依次进行特征提取，得到与所述预测帧图像后的连续帧图像各自对应的预测目标特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述目标特征包括外观信息特征和人脸信息特征；所述将所述视频的每一帧图像中与所述目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据视频的第一帧图像中包含的行人，确定目标行人的目标框，包括：

8.一种行人跟踪装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请提供了一种行人跟踪方法及装置，其中，方法包括：根据视频的第一帧图像中包含的行人，确定目标行人的目标框；根据多目标跟踪算法对第一帧图像进行处理，得到与第一帧图像中的各个行人分别对应的跟踪框；根据第一帧图像中的各个跟踪框分别与目标框之间的交并比结果，确定目标跟踪框；将视频的每一帧图像中与目标跟踪框对应的跟踪框中的图像分别进行特征提取，得到目标特征；将所有每一帧图像各自对应的目标特征进行融合，获得融合目标特征；根据融合目标特征，确定目标行人在丢失目标行人的帧图像中的位置。本申请通过基于融合后的融合目标特征对目标行人跟踪，能够提高对目标行人跟踪的广泛性和准确性。

技术研发人员：陈国荣
受保护的技术使用者：上海微电机研究所（中国电子科技集团公司第二十一研究所）
技术研发日：
技术公布日：2024/1/13