多目标跟踪方法、装置、设备及存储介质与流程

本技术涉及计算机视觉，特别涉及一种多目标跟踪方法、装置、设备及存储介质。

背景技术：

1、目标跟踪是计算机视觉中非常重要的任务之一，其广泛应用于多个领域。目前，通过检测和数据关联结合的方法解决多目标跟踪任务。该方法首先使用检测算法检测视频流中每一帧图像；然后，通过关联策略，将前后帧的图像中的检测框关联。关联策略可以采用匈牙利算法，以求解由检测框之间交并比（intersection over union，iou）构成的代价矩阵，从而完成前后帧的关联，以确定跟踪目标的唯一身份标识号码（identity，id）。但是，在检测检测框的过程中，会碰到环境光照、目标姿态、背景物体或同类物体的遮挡现象。也可能在部署过程，神经网络量化损失导致检测框偏大、偏小或者消失。上述两种情况都会使得检测和数据关联结合的方法存在漏检和检出不全的缺陷，进而出现目标跟丢和错跟等目标id不正常跳变的现象。

2、相关技术中，为了解决上述技术问题，引入表观特征，以通过邻近帧表观特征的相似性确定id是否一致。例如，使用针对具体任务训练良好身份重识别（reid）模型，进而保证在一定时间间隔内检测框丢失的条件下，重新恢复跟踪目标的id。

3、但是，当检测框被遮挡，则该检测框只包含目标的局部区域，若在满足目标轨迹和目标检测框匹配条件之后，采用指数移动平均（exponential moving average，ema）的方法更新表观特征，则检测框的被遮挡部分会污染目标轨迹的特征；而当目标轨迹和检测框不匹配，将产生新的目标轨迹。也即上述两种情况都会造成目标轨迹的跟踪id在跟踪过程中出现跳变，从而降低了跟踪id的稳定性和可靠性。

技术实现思路

1、本技术实施例提供了一种多目标跟踪方法、装置、设备及存储介质，能够提高跟踪目标id的稳定性和可靠性。该技术方案如下：

2、根据本技术实施例的第一方面，提供了一种多目标跟踪方法，该方法包括：

3、获取m个初始轨迹框，该m个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；m，t为大于或等于1的整数；

4、基于该m个初始轨迹框，获取第t+1帧图像中的n个预测轨迹框及l个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；n，l为大于或等于1的整数；

5、基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡；

6、当该l个目标检测框中p个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个该被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；p为大于或等于1，且小于或等于l的整数。

7、在一种可能的实现方式中，该基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡，包括：

8、计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比；

9、基于每个该交并比，判断各个该目标检测框是否被遮挡。

10、在一种可能的实现方式中，该计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比，包括：

11、对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及对每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别；

12、计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。

13、在一种可能的实现方式中，该基于每个该交并比，判断各个该目标检测框是否被遮挡，包括：

14、针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配；或

15、当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡；或

16、当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。

17、在一种可能的实现方式中，该基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个该被遮挡目标检测框与对应的预测轨迹框匹配，包括：

18、基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度；

19、对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个该第二图像块进行特征提取，得到各个该第二图像块的第二特征点集；

20、基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个该第二图像块的第二特征点集，建立各个该第二图像块的第二描述算子集；

21、基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。

22、在一种可能的实现方式中，该基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配，包括：

23、计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素；

24、基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵；

25、基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。

26、在一种可能的实现方式中，该计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，包括：

27、针对一个该第一描述算子集以及对应的该第二描述算子集，该第一描述算子集包括k个第一描述算子，对应的该第二描述算子集包括j个第二描述算子；k，j为大于或等于1的整数；

28、计算每个该第一描述算子与对应的该第二描述算子的评估值，得到h个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；h为大于或等于1的整数；

29、从h个评估值中选择a个目标评估值，每个该目标评估值大于预设评估值；a为大于或等于1的整数；

30、对k、j以及a进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。

31、在一种可能的实现方式中，在得到每个该被遮挡目标检测框对应的目标轨迹框之后，还包括：

32、基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。

33、在一种可能的实现方式中，该方法，还包括：

34、当该l个目标检测框中q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，q为大于或等于1，且小于或等于l的整数。

35、在一种可能的实现方式中，该基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，包括：

36、基于每个该未被遮挡目标检测框，从该第t+1帧图像中获取各个该未被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度；

37、对每个该第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个该第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；

38、基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。

39、在一种可能的实现方式中，该基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，包括：

40、对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵；

41、基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。

42、在一种可能的实现方式中，该对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征进行计算，得到第二代价矩阵，包括：

43、对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。

44、在一种可能的实现方式中，在得到各个该未被遮挡目标检测框对应的第二目标轨迹框之后，还包括：

45、获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数；

46、计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；

47、对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。

48、根据本技术实施例的第二方面，提供了一种多目标跟踪装置，该装置包括：

49、第一获取模块，用于获取m个初始轨迹框，该m个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；m，t为大于或等于1的整数；

50、第二获取模块，用于基于该m个初始轨迹框，获取第t+1帧图像中的n个预测轨迹框及l个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；n，l为大于或等于1的整数；

51、判断模块，用于基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡；

52、第一匹配模块，用于当该l个目标检测框中p个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；p为大于或等于1，且小于或等于l的整数。

53、在一种可能的实现方式中，判断模块，包括：

54、计算单元，用于计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比；

55、判断单元，用于基于每个该交并比，判断各个该目标检测框是否被遮挡。

56、在一种可能的实现方式中，该计算单元，包括：

57、分类子单元，用于对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别；

58、第一计算子单元，用于计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。

59、在一种可能的实现方式中，该判断单元，包括：

60、第一判断子单元，用于针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配；或

61、第二判断子单元，用于当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡；或

62、第三判断子单元，用于当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。

63、在一种可能的实现方式中，该第一匹配模块，包括：

64、第一抠取单元，用于基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度；

65、第一特征提取单元，用于对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个该第二图像块进行特征提取，得到各个该第二图像块的第二特征点集；

66、建立单元，用于基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个第二图像块的第二特征点集，建立各个该第二图像块的第二描述算子集；

67、第一匹配单元，用于基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。

68、在一种可能的实现方式中，该第一匹配单元，包括：

69、第二计算子单元，用于计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素；

70、第一生成子单元，用于基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵；

71、第一匹配子单元，用于基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。

72、在一种可能的实现方式中，该第二计算子单元，包括：

73、针对一个该第一描述算子集以及对应的该第二描述算子集，该第一描述算子集包括k个第一描述算子，对应的该第二描述算子集包括j个第二描述算子；k，j为大于或等于1的整数；

74、计算每个该第一描述算子与对应的该第二描述算子的评估值，得到h个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；h为大于或等于1的整数；

75、从h个评估值中选择a个目标评估值，每个该目标评估值大于预设评估值；a为大于或等于1的整数；

76、对k、j以及a进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。

77、在一种可能的实现方式中，该装置，还包括：

78、确定模块，用于基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。

79、在一种可能的实现方式中，该装置，还包括：

80、第二匹配模块，用于当该l个目标检测框中q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，q为大于或等于1，且小于或等于l的整数。

81、在一种可能的实现方式中，该第二匹配模块，包括：

82、第二抠取单元，用于基于每个该未被遮挡目标检测框，从该第t+1帧图像中获取各个该未被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度；

83、第二特征提取单元，用于对每个该第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个该第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；

84、第二匹配单元，用于基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。

85、在一种可能的实现方式中，该第二匹配单元，包括：

86、第三计算子单元，用于对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵；

87、第二匹配子单元，用于基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。

88、在一种可能的实现方式中，该第三计算子单元，包括：

89、对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。

90、在一种可能的实现方式中，该装置，还包括：

91、第三获取模块，用于获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数；

92、计算模块，用于计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；

93、求和模块，用于对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。

94、根据本技术实施例的第三方面，提供了一种计算机设备，其特征在于，该计算机设备包括处理器和存储器，该存储器用于存储至少一段程序，该至少一段程序由该处理器加载并执行如上述的多目标跟踪方法。

95、根据本技术实施例的第四方面，提供了一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有至少一段程序，该至少一段程序由处理器加载并执行以实现如上述的多目标跟踪方法。

96、在本技术实施例中，本技术实施例提供了一种多目标跟踪方法，通过计算每个目标检测框与对应的相同类别的预测轨迹框的交并比，判断各个目标检测框是否被遮挡，当l个目标检测框中p个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该每个被遮挡目标检测框与对应的预测轨迹框匹配，解决了目标检测框被遮挡时，被遮挡目标检测框与对应的预测轨迹框之间匹配不精准的问题，进而解决了目标轨迹的跟踪id在跟踪过程中出现跳变的问题，也提高了目标轨迹的跟踪id的稳定性和可靠性。