用于目标跟踪的方法、装置和存储介质与流程

本公开内容总体上涉及目标跟踪技术，更具体地，涉及跨摄像头多目标跟踪技术。

背景技术：

1、跨摄像头多目标跟踪(multi-target multi-camera tracking)技术目前是监控视频领域一个非常重要的研究课题，它指的是在分别拍摄不同场景的多个摄像头所拍摄的视频中找到多个跟踪目标出现的时间和空间位置，并将同一跟踪目标出现的时间和空间信息与该跟踪目标进行关联。跨摄像头多目标跟踪技术综合了行人检测、目标检测、行人重识别、目标跟踪等多种计算机视觉技术。

2、然而，传统的跨摄像头多目标跟踪技术通常只使用视觉特征，而忽视了摄像头之间的时空关系，从而造成性能的下降。例如，参考文献[1]利用行人重识别(re-id)技术来表达目标的特征，并且通过比较特征相似性对目标进行关联合并。参考文献[2]进一步表明高质量的re-id特征可以更好地辅助目标关联，从而提出一种新的re-id特征。这两种方法都是根据特征相似性来进行聚类操作，以将出现在不同摄像头中的目标合并到一起。近年来，随着图网络(graph networks)技术的发展，一些方法通过图模型表示目标之间的关系，从而对目标进行关联合并。例如，参考文献[3]提出一种新的动态图模型来表示目标之间的关系，从而将相似的目标关联起来。

3、然而，在实际应用领域，跨摄像头多目标跟踪技术仍然面临很多问题和挑战。例如，多个摄像头之间光照状况的差异会影响视觉特征的提取，目标被遮挡会导致视觉特征不准确，等等。

4、参考文献：

5、[1]“features for multi-target multi-camera tracking and re-identification”，ergys ristani和carlo tomasi，ieee计算机视觉和模式识别会议论文集,第6036–6046页，2018年。

6、[2]“state-aware re-identification feature for multi-target multi-camera tracking”，peng li，jiabin zhang，zheng zhu，yanwei li，lu jiang和guanhuang，ieee计算机视觉和模式识别研讨会，2019年。

7、[3]“dyglip:a dynamic graph model with link prediction for accuratemulti-camera multiple object tracking”，kha gia quach,pha nguyen,huu le,thanh-dat truong,chi nhan duong,minh-triet tran和khoa luu，arxiv:computer vision andpattern recognition,2021年。

技术实现思路

1、针对上述技术问题，本公开内容提出了一种新的基于全局最优化方法的跨摄像头多目标跟踪技术。除了视觉特征之外，本公开内容进一步引入了时间和空间信息，并且在跨摄像头关联合并之后引入了优化过程。

2、根据本发明的一个方面，提供了一种用于跨摄像头多目标跟踪的方法，包括：针对分别拍摄不同场景的多个摄像头中的每个摄像头所拍摄的图像序列执行单摄像头多目标跟踪，以提取在所述图像序列中出现的每个目标的轨迹片段，从而针对所述多个摄像头所拍摄的多个图像序列中出现的多个目标提取出多个轨迹片段；针对所述多个轨迹片段中的每一个轨迹片段提取特征；基于所提取的特征计算所述多个轨迹片段中的任意两个轨迹片段之间的相似性，以建立相似性矩阵；基于所述相似性矩阵执行聚类，以使与每个目标潜在相关的轨迹片段聚类为一个集合，其中所述集合中的轨迹片段是由同一摄像头或不同摄像头拍摄的；对所述集合内的多个轨迹片段以时间上从早到晚的顺序进行排序，以生成轨迹片段序列；基于轨迹片段之间的相似性、时间距离和空间距离中的至少一个，对所述集合内的多个轨迹片段进行筛选；使用经筛选的集合内的轨迹片段作为针对相应目标的跟踪信息。

3、根据本发明的另一个方面，提供了一种用于跨摄像头多目标跟踪的装置，包括存储有计算机程序的存储器以及处理器。所述处理器被配置为通过执行所述计算机程序而执行以下操作：针对分别拍摄不同场景的多个摄像头中的每个摄像头所拍摄的图像序列执行单摄像头多目标跟踪，以提取在所述图像序列中出现的每个目标的轨迹片段，从而针对所述多个摄像头所拍摄的多个图像序列中出现的多个目标提取出多个轨迹片段；针对所述多个轨迹片段中的每一个轨迹片段提取特征；基于所提取的特征计算所述多个轨迹片段中的任意两个轨迹片段之间的相似性，以建立相似性矩阵；基于所述相似性矩阵执行聚类，以使与每个目标潜在相关的轨迹片段聚类为一个集合，其中所述集合中的轨迹片段是由同一摄像头或不同摄像头拍摄的；对所述集合内的多个轨迹片段以时间上从早到晚的顺序进行排序，以生成轨迹片段序列；基于轨迹片段之间的相似性、时间距离和空间距离中的至少一个，对所述集合内的多个轨迹片段进行筛选；使用经筛选的集合内的轨迹片段作为针对相应目标的跟踪信息。

4、根据本发明的另一个方面，提供了一种存储有程序的非暂态计算机可读介质，所述程序在被计算机执行时使得所述计算机执行上述的用于跨摄像头多目标跟踪的方法。

技术特征：

1.一种用于跨摄像头多目标跟踪的方法，包括：

2.根据权利要求1所述的方法，其中，所述方法还包括：

3.根据权利要求2所述的方法，其中，仅在满足以下条件之一时确定将轨迹片段加入相应候选集合：

4.根据权利要求1所述的方法，其中，针对图像序列中出现的每个目标提取的轨迹片段是分别在所述图像序列的多个帧中标识所述目标的多个目标框的集合，并且其中，针对所述轨迹片段提取的特征是分别针对所述多个目标框提取的特征的集合。

5.根据权利要求4所述的方法，其中，不同时间的两个轨迹片段之间的空间距离是以下位置之间的欧式距离：所述两个轨迹片段中的较早轨迹片段的结束帧中的目标框上的某一位置，以及所述两个轨迹片段中的较晚轨迹片段的开始帧中的目标框上的对应位置。

6.根据权利要求5所述的方法，还包括：

7.根据权利要求4所述的方法，还包括：

8.根据权利要求4所述的方法，其中，所述多个轨迹片段中的任意两个轨迹片段包括第一轨迹片段和第二轨迹片段，并且其中，计算所述任意两个轨迹片段之间的相似性的步骤还包括：

9.一种用于跨摄像头多目标跟踪的装置，包括：

10.一种存储有程序的非暂态计算机可读介质，所述程序在被计算机执行时使得所述计算机执行根据权利要求1-8中任一项所述的用于跨摄像头多目标跟踪的方法。

技术总结
公开了用于目标跟踪的方法、装置和存储介质。用于跨摄像头多目标跟踪的方法包括：针对多个摄像头中的每一个所拍摄的图像序列执行多目标跟踪，以提取在图像序列中出现的每个目标的轨迹片段；针对所提取的多个轨迹片段中的每一个提取特征；基于提取的特征计算多个轨迹片段中的任意两个轨迹片段之间的相似性，以建立相似性矩阵；基于相似性矩阵执行聚类，以使与每个目标潜在相关的轨迹片段聚类为一个集合；对集合内的多个轨迹片段以时间上从早到晚的顺序进行排序，以生成轨迹片段序列；基于轨迹片段之间的相似性、时间距离和空间距离中的至少一个，对集合内的多个轨迹片段进行筛选；使用经筛选的集合内的轨迹片段作为针对相应目标的跟踪信息。

技术研发人员：张慧港,汪留安,孙俊
受保护的技术使用者：富士通株式会社
技术研发日：
技术公布日：2024/2/1