多目标轨迹关联方法、装置、通信设备及存储介质与流程

本技术涉及目标跟踪，特别是一种多目标轨迹关联方法、装置、通信设备及存储介质。

背景技术：

1、目标跟踪（multiple object tracking，mot）是计算机视觉领域的一项关键技术，在自动驾驶、视频监控、行为识别等方向应用广泛。在目标跟踪中，被跟踪目标的尺度变化、形变、遮挡、快速运动、光照变化等因素都将影响目标的跟踪结果，因此目标跟踪技术仍然是当前图像处理中的一个极具挑战性的方向。

2、在目标跟踪中，目标轨迹关联的好坏将直接影响最终的跟踪性能。当前常用的跟踪方法有sort，deep-sort，byte-track等，sort算法直接采用iou计算代价矩阵进行轨迹关联匹配，deep-sort则在sort的基础上，加入了外观特征，采用级联匹配的方式进行轨迹关联。

3、在deep-sort的级联匹配中，将轨迹状态分为确认状态（confirmed）和非确认状态（unconfirmed），其中非确认状态是指新检测到的目标刚建立轨迹时的状态，然而这种方法在被跟踪目标可能丢失的情况下（关联失败），因为目标在下一帧的运动位置不确定，在下一帧的遮挡情况不确定，无区分性地直接联合外观特征和iou（交并比，intersection overunion）特征进行代价距离的计算，会导致引入更多代价噪声，影响目标间的轨迹关联，即目标由于被部分遮挡或全部遮挡、目标运动速度过快、或视频帧率过低，导致目标跟踪轨迹关联失败。

技术实现思路

1、本技术实施例的目的在于提供一种多目标轨迹关联方法、装置、通信设备及存储介质，具体技术方案如下：

2、在本技术实施的第一方面，首先提供了一种多目标轨迹关联方法，所述方法包括：

3、对预先获取的视频序列进行目标检测，得到所述视频序列对应的目标检测结果，所述目标检测结果包括检测目标；

4、根据所述目标检测结果进行特征提取，得到所述目标检测结果对应的特征信息，其中，所述特征信息包括外观特征信息，所述外观特征信息包括主外观特征信息和辅助外观特征信息；

5、根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定目标特征信息；

6、根据所述目标特征信息和所述历史轨迹信息对检测目标进行分级轨迹关联，得到所述检测目标的轨迹关联结果。

7、可选地，所述根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定目标特征信息包括：

8、根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定第一目标特征信息；

9、所述根据所述目标特征信息和所述历史轨迹信息对检测目标进行分级轨迹关联，得到所述检测目标的轨迹关联结果包括：

10、根据所述第一目标特征信息和所述历史轨迹信息对检测目标进行第一轨迹关联，得到所述检测目标的第一轨迹关联结果；

11、根据所述第一轨迹关联结果确定所述检测目标的第二轨迹关联结果。

12、可选地，所述根据所述第一目标特征信息和所述历史轨迹信息对检测目标进行第一轨迹关联，得到所述检测目标的第一轨迹关联结果包括：

13、根据所述第一目标特征信息和所述历史轨迹信息进行代价矩阵计算，得到所述检测目标与所述历史轨迹信息中的轨迹目标之间的代价距离；

14、根据所述代价距离对所述检测目标进行轨迹关联，得到所述检测目标的第一轨迹关联结果。

15、可选地，所述第一轨迹关联结果包括轨迹关联成功、轨迹关联失败以及检测目标关联失败；

16、在所述根据所述第一目标特征信息和所述历史轨迹信息对检测目标进行第一轨迹关联，得到所述检测目标的第一轨迹关联结果的步骤之后，所述方法包括：

17、在检测到所述第一轨迹关联结果为轨迹关联成功的情况下，更新所述检测目标的位置信息、外观特征信息以及跟踪滤波器信息；

18、在检测到所述第一轨迹关联结果为轨迹关联失败的情况下，更新轨迹的轨迹状态，标记所述轨迹状态为关联失败状态。

19、可选地，所述根据所述第一轨迹关联结果确定所述检测目标的第二轨迹关联结果包括：

20、在检测到所述第一轨迹关联结果为检测目标关联失败的情况下，与上一帧中轨迹状态为关联失败状态的轨迹进行关联匹配，得到第二轨迹关联结果。

21、可选地，所述第二轨迹关联结果包括轨迹关联成功，轨迹关联失败以及检测目标关联失败中任意一种，在所述在检测到所述轨迹关联结果为检测目标关联失败的情况下，与上一帧中轨迹状态为关联失败状态的轨迹进行关联匹配，得到第二轨迹关联结果的步骤之后，所述方法包括：

22、在检测到所述第二轨迹关联结果为轨迹关联成功的情况下，更新所述检测目标的位置信息、外观特征信息以及跟踪滤波器信息；

23、在检测到所述第二轨迹关联结果为轨迹关联失败的情况下，获取当前轨迹关联失败次数，根据所述关联失败次数确定是否删除所述轨迹；

24、在检测到所述第二轨迹关联结果为检测目标关联失败的情况下，根据所述检测目标对应的置信度确定是否建立所述检测目标对应的第二轨迹。

25、可选地，所述获取当前轨迹关联失败次数，根据所述关联失败次数确定是否删除所述轨迹包括；

26、根据当前轨迹对应的轨迹状态处于轨迹关联失败的连续帧数获取当前轨迹关联失败次数；

27、在检测到所述关联失败次数大于第一预设阈值的情况下，删除所述轨迹。

28、可选地，所述更新外观特征信息包括主外观特征信息更新以及辅助外观特征信息更新。

29、可选地，所述主外观特征信息更新是基于以下公式确定的：

30、

31、其中，表示更新后的第t时刻关联轨迹的主外观特征信息，表示轨迹在t-1时刻的主外观特征信息，表示轨迹关联成功的检测目标所对应的主外观特征信息，表示所述检测目标的置信度，为第三经验值，为第四经验值。

32、可选地，所述辅助外观特征信息更新是基于所述轨迹状态确定的。

33、可选地，所述特征信息还包括所述检测目标对应的位置信息，所述位置信息包括边界框位置坐标信息。

34、可选地，所述辅助外观特征信息通过以下公式获取的：

35、

36、其中，表示所述检测目标对应的目标检测框内的归一化颜色直方图，表示所述检测目标周围区域的归一化颜色直方图。

37、可选地，所述轨迹状态包括轨迹关联成功以及轨迹关联失败中任意一种，所述根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定目标特征信息包括：

38、若所述历史轨迹信息对应的轨迹状态为轨迹关联成功，则所述目标特征信息为所述位置信息以及所述外观特征信息；

39、若所述历史轨迹信息对应的轨迹状态为轨迹关联失败，则所述目标特征信息为所述主外观特征信息。

40、可选地，所述根据所述第一目标特征信息和所述历史轨迹信息进行代价矩阵计算，得到所述检测目标与所述历史轨迹信息中的轨迹目标之间的代价距离包括：

41、在所述目标特征信息为位置信息以及外观特征信息的情况下，对所述位置信息对应的位置距离代价矩阵以及所述外观特征信息对应的外观特征代价矩阵进行加权融合处理，得到代价矩阵；

42、基于所述代价矩阵得到所述检测目标与所述历史轨迹信息中的跟踪目标之间的代价距离。

43、可选地，所述代价矩阵对应的公式为：

44、

45、其中，表示检测目标i和轨迹目标j之间的位置距离代价矩阵，表示检测目标i和轨迹目标j之间的外观特征代价矩阵，为第一经验值。

46、可选地，所述位置信息对应的位置距离代价矩阵是通过计算所述检测目标和所述轨迹目标之间的交并比距离，以及所述检测目标和所述轨迹目标之间的归一化中心点距离得到的。

47、可选地，所述位置距离代价矩阵是通过以下公式获取的：

48、

49、其中，d为检测目标i和轨迹目标j之间的欧式距离，c为所述检测目标i和所述轨迹目标j的最小外接矩形的对角线距离，为所述检测目标i和所述轨迹目标j之间的交并比值。

50、可选地，所述外观特征信息对应的外观特征代价矩阵是基于所述主外观特征信息对应的主外观特征代价矩阵和所述辅助外观特征信息对应的辅助外观特征代价矩阵加权组合得到的。

51、可选地，所述外观特征代价矩阵是通过以下公式获取：

52、

53、其中，表示检测目标i和轨迹目标j之间的主外观特征代价矩阵，表示所述检测目标i和所述轨迹目标j之间的辅助外观特征代价矩阵，表示所述检测目标i的目标置信度，为第二经验值。

54、在本技术实施的又一方面，还提供了一种多目标轨迹关联装置，所述多目标轨迹关联装置包括：

55、目标检测模块，用于对预先获取的视频序列进行目标检测，得到所述视频序列对应的目标检测结果，所述目标检测结果包括检测目标；

56、特征提取模块，用于根据所述目标检测结果进行特征提取，得到所述目标检测结果对应的特征信息，其中，所述特征信息包括外观特征信息，所述外观特征信息包括主外观特征信息和辅助外观特征信息；

57、确定模块，用于根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定目标特征信息；

58、分级关联模块，用于根据所述目标特征信息和所述历史轨迹信息对检测目标进行分级轨迹关联，得到所述检测目标的轨迹关联结果。

59、在本技术实施的又一方面，还提供了一种通信设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

60、存储器，用于存放计算机程序；

61、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的多目标轨迹关联方法。

62、在本技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的多目标轨迹关联方法。

63、本技术实施例提供的多目标轨迹关联方法，通过对预先获取的视频序列进行目标检测，得到所述视频序列对应的目标检测结果，所述目标检测结果包括检测目标；根据所述目标检测结果进行特征提取，得到所述目标检测结果对应的特征信息，其中，所述特征信息包括外观特征信息，所述外观特征信息包括主外观特征信息和辅助外观特征信息；根据预先获取的历史轨迹信息对应的轨迹状态和所述特征信息确定目标特征信息；根据所述目标特征信息和所述历史轨迹信息对检测目标进行分级轨迹关联，得到所述检测目标的轨迹关联结果。本技术实施例通过对根据不同的轨迹状态，使用不同的目标特征信息，即通过二分级的轨迹关联策略，在不同阶段使用不同的目标特征进行代价矩阵计算，进而可以实现对于由于目标跟踪因遮挡而导致失败的问题，或者由于目标运动速度过快导致的不同问题，采用不同的特征信息进行轨迹关联计算，从而避免目标由于被部分遮挡或全部遮挡、目标运动速度过快、或视频帧率过低，而导致多目标跟踪轨迹关联失败的情况。