一种基于空间弱线索的车站密集行人跟踪系统及方法

本发明属于多目标跟踪mot，具体涉及一种基于空间弱线索的车站密集行人跟踪系统及方法。

背景技术：

1、目标跟踪是计算机视觉领域的一项重要研究，特别是在监控视频和安全系统中，此项技术发挥着关键的作用。视频包含很丰富的信息，如何从中提取出有效特征是十分重要的。地铁车站每天承载着大量的人流量，且人口流动性强、人员密集，时常会发生如推搡、踩踏等各种安全隐患，可能会造成人身安全问题及财产损失。传统的方法依靠肉眼、人工或者机械的方法来统计行人数量，很难形成一套高效的体系。

2、地铁车站是一种特殊的实际场景，它的特点是人流非常密集，仅使用人工肉眼或者机械进行人流量统计有很大的局限性，但当检测精度要求很高时，依靠人工和机械没有办法高效的完成密集行人跟踪的任务。最近的方法多采用深度学习和数学算法相结合的方式来处理这一任务，当视频序列中发生遮挡、聚类或运动模糊时，缺失检测和极低得分检测的数量开始增加、目标跟踪也会预测失败。因此，利用跨帧的信息来增强视频检测性能，并在跟踪时增加空间弱线索是十分必要的。

技术实现思路

1、针对现有技术的不足，本发明提出一种基于空间弱线索的车站密集行人跟踪系统及方法，通过连接空间弱线索并增加轻量化时空注意力机制来提取目标的空间运动特征，对车站密集行人进行跟踪和分析，具有简单、高效的优点。

2、一种基于空间弱线索的车站密集行人跟踪系统，包括目标检测模块、高置信度关联模块、低置信度关联模块和轨迹管理模块；目标检测模块包括特征提取层、特征融合层和输出层；高低置信度匹配模块包括高低置信度关联模块、修正卡尔曼滤波模块和轨迹管理模块；

3、首先图像帧ft经由目标检测模块，利用lsa块组成的骨干网络替换yolox原骨干网络输出部分，得到模型预测检测框集合zt；再通过预设的高阈值τhigh和低阈值τlow将zt进行二分类，得到高置信度检测框和低置信度检测框然后高置信度关联模块将上一帧轨迹集合γt-1中的跟踪框经修正卡尔曼滤波预测得到当前帧跟踪框将与进行第一次空间相似度匹配，并计算关联成本得到第一次匹配成功轨迹集合未匹配到轨迹的检测框并入低置信度关联模块将剩余轨迹集合中的跟踪框经修正卡尔曼滤波预测得到当前帧跟踪框将低置信度检测框与进行第二次空间相似度匹配，计算关联成本得到第二次匹配成功轨迹集合，将其并入最后，轨迹管理模块对目标轨迹进行新建、删除以及更新，得到最终输出轨迹完成车站密集行人跟踪。

4、一种基于空间弱线索的车站密集行人跟踪方法，基于上述一种基于空间弱线索的车站密集行人跟踪系统实现，具体步骤如下：

5、步骤1：通过监控视频获取每一帧行人图像，对于输入的行人图像帧ft(t＝1，...，t)经由目标检测模块得到检测模块预测检测框集合

6、所述目标检测模块是在yolox模型的基础上引入轻量化时空注意力lsa块，将替换后的骨干网络命名为lsa，其利用时序信息，弥补了当前帧中可能因为遮挡问题导致的行人特征提取不足问题，使得yolox中的特征网络提取到更具鉴别力的多尺度特征图，最终定位的行人框更加精确，有利于跟踪操作；利用lsa块组成的骨干网络替换yolox原骨干网络输出部分，得到模型预测检测框集合zt，步骤1具体为：

7、步骤1.1：将图像帧ft通过lsa块组成的骨干网络，得到多个尺度的特征图，将每个尺度的特征图划分为l个图像块特征嵌入向量对于当前帧的图像块嵌入与前n帧的同尺度图像嵌入进行时空交叉注意力操作获得时空信息增强，得到第l个时空信息对时空信息进行归一化处理ln，得到利用lsa的第i(i＝1，2，...，h)个注意力头headi的查询权重矩阵wiq、键权重矩阵wik、值权重矩阵wiv分别与相乘，得到相应的矩阵q，k和v；接下来，利用这些矩阵来计算每个注意力头headi，公式如下所示：

8、

9、

10、

11、ε为相对位置偏移矩阵；

12、将多个注意力头headi(i＝1，2，...，h)拼接在一起，得到多头自注意力特征其中，为缩放因子；；

13、

14、联合w-msa和sw-msa对当前第t帧的第l-1个时空信息进行处理，结合了现有技术mlp和ln，得到当前帧第l+1个时空信息具体为：

15、获得多头自注意力特征后，为进一步增强空间特征同时避免计算量过大，采用窗口多头自注意力w-msa和滑动窗口多头自注意力sw-msa级联；窗口多头自注意力windowmulti-heads self-attention，w-msa相比于基于全局的自注意力multi-heads self-attention，msa方法，减少了计算复杂度；但由于每个窗口之间互不重叠，导致相邻窗口之间信息无法交互，因此提出滑动窗口shifted window multi-heads self-attention，sw-msa的方法，使相邻两个窗口之间的信息有了交互，上下层之间有了跨窗口的关联，变相的达到了全局空间建模的能力；进一步地，结合多层感知器mlp和归一化处理ln，lsa具体使用公式如下：

16、

17、

18、

19、

20、为lsa块的输出，代表成倍数的下采样状态输出特征；

21、步骤1.2：通过lsa的特征提取层得到高层特征采用lsa替换yolox原骨干网络输出部分，取出lsa的三个有效特征层分别为下采样8倍，16倍和32倍的特征层，对应原骨干网络输入的下采样8倍，16倍和32倍的三个有效特征层，完成高层特征的提取；

22、步骤1.3：高层特征bt经过路径聚合特征金字塔网络pafpn这一特征融合层，利用全连接层和silu激活函数对其进一步处理；bt通过上采样和下采样的方式进行传递融合得到预测的特征图，最终输出3个特征层组成的元组dt；将pafpn的各个特征层类比为图像金字塔的各个level的特征，从而将不同尺度的roi映射到对应的特征层上；

23、步骤1.4：输出层使用yolox模型中无锚点的解耦头，特征图元组dt经过输出头得到最终的预测结果zt，其包含3部分预测信息，分别为cls_output：对目标框的类别和分数进行预测、obj_output：判断目标框为前景还是背景、reg_output：对目标框的坐标信息进行预测，损失函数计算公式为：

24、

25、lcls为分类损失，lobj为空间损失，lreg为定位损失，npos为正样本个数，μ代表定位损失的平衡系数；

26、步骤2：通过预设的高阈值τhigh和低阈值τlow将zt进行二分类，得到高置信度检测框和低置信度检测框

27、通过预设的高阈值τhigh和低阈值τlow将zt进行二分类，得到高置信度检测框和低置信度检测框当检测框集合zt的置信度大于τhigh时，得到高置信度检测框当zt的置信度大于τlow并小于τhigh且存在未匹配的剩余检测框时，从zt中筛选出低置信度检测框t为图像帧数；n为检测框个数；

28、步骤3：利用高置信度关联模块将上一帧轨迹集合γt-1中的跟踪框经修正卡尔曼滤波预测得到当前帧跟踪框将与进行第一次空间相似度匹配，并计算关联成本得到第一次匹配成功轨迹集合未匹配到轨迹的检测框并入

29、所述高置信度关联模块引入三种空间弱线索：轨迹置信状态、混合交并比、速度方向，来做第一次空间相似度匹配，以此来处理目标跟踪过程中的高置信度关联；提出使用修正卡尔曼滤波modified kalman filter，mkf模型对上一帧跟踪框进行当前帧的状态预测，得到当前帧跟踪框然后利用空间弱线索对和进行第一次空间相似度匹配，而后使用匈牙利算法线性分配，找到最优关联成本并将其结合到mkf中共同做下一帧的线性分配；匹配成功轨迹集合记为匹配失败轨迹记为未分配到轨迹的检测框记为

30、步骤3.1采用mkf模型对进行当前帧的状态预测，得到当前帧跟踪框为了更好的体现同一轨迹的置信状态所表现出时间连续性，在mkf中引入了一种弱线索，即轨迹置信状态c(t)及其速度分量c′(t)；

31、轨迹置信度用ctrk表示，c(t)是ctrk表现出来的状态，ctrk的值越高代表c(t)越可信；当使用mkf时，轨迹置信状态成本cconf被计算为估计的轨迹置信度和检测置信度cdet之间的绝对差，即为轨迹置信度线性建模的公式如下：

32、

33、为了使检测框包含更完整的人像，修改卡尔曼滤波原纵横比分量为宽度w和高度h分量，并引入c(t)；mkf的十元组状态向量、五元组测量向量和噪声参数如下：

34、xt＝[u(t)，v(t)，w(t)，h(t)，c(t)，u′(t)，v′(t)，w′(t)，h′(t)，c′(t)]t

35、yt＝[yu(t)，yv(t)，yw(t)，yh(t)，yc(t)]t

36、

37、

38、qt为过程噪声协方差矩阵，rt为测量噪声协方差矩阵，为c(t)的估计值，和为w和h的估计值，σp、σm和σs为对应的噪声方差；

39、由于卡尔曼滤波(kalman filter，kf)是匀速线性运动模型，对于跟踪非线性运动来说会产生不适配的问题，因此在mkf中引入运动补偿motion compensation，mc，引用opencv中的全局运动补偿技术，提取图像关键点而后进行稀疏光流特征跟踪，计算仿射变换矩阵a，最后通过mkf得到预测的状态向量mc校正公式如下：

40、

41、

42、

43、

44、m∈r2×2矩阵包含矩阵a的旋转和缩放，t是转换向量包含转换的部分；使用插入mc后得到的先验状态及对应的先验预测协方差矩阵p′t|t-1，计算得出后验预测状态及对应的后验预测协方差矩阵p′t|t，进而得到当前帧跟踪框引入mc的mkf更新步骤公式如下：

45、

46、

47、pt|t＝(i-ktht)p′t|t-1

48、其中，kt为增益系数，ht为增益矩阵；

49、步骤3.2对和进行空间相似度匹配时，通过引入另一种弱线索，即高度交并比hiou来弥补强线索交并比iou在目标遮挡和聚类严重时的不足，把这种方法记为混合交并比miou；将检测框和跟踪框两个框定义为b1和bd，其中x1和y1表示左上角，x2和y2表示右下角，将两个框的面积定义为α和β；使用miou对和进行空间相似度匹配，判断检测框和跟踪框之间的交叠程度，以此来决策是否将该跟踪框连接到上一帧的轨迹上；miou的计算公式如下：

50、

51、

52、

53、

54、miou＝hiou·iou

55、在空间相似度匹配时，速度方向这种空间弱线索也是有效的；速度一致相关性成本度量是跟踪速度方向θt和检测速度方向θd之间的绝对差，表示为δθ＝|θt-θd|；将速度方向成本cvel从中心成本ct(θt，θd)扩展到边框的四个角的成本计算；给定跟踪框和检测框的两个中心点(x1，y1)和(x2，y2)，速度方向θ和cvel的计算公式为：

56、

57、

58、高置信度匹配关联成本由多个相关性因素组成，包括miou相关性、速度方向相关性和轨迹置信度相关性，故关联成本计算公式如下：

59、

60、γ1、γ2为权重系数；

61、进一步地，使用匈牙利算法对轨迹进行线性分配得到最优关联成本，并将其结合到mkf中共同做线性分配；将第一次空间相似度匹配中匹配成功轨迹集合记为匹配失败轨迹集合记为而未分配到轨迹的检测框记为

62、步骤4：利用低置信度关联模块将剩余轨迹集合中的跟踪框经卡尔曼滤波预测得到当前帧跟踪框将低置信度检测框与进行第二次空间相似度匹配，计算关联成本得到第二次匹配成功轨迹集合，将其并入

63、所述低置信度关联模块引入两种弱线索(轨迹置信状态、混合交并比)来做第二次空间相似度匹配，以此来处理目标跟踪过程中的低置信度关联，步骤4具体为：

64、低置信度匹配模块的当前帧跟踪框由得到；对和进行第二次空间相似度匹配后使用匈牙利算法进行线性分配，找到最优关联成本并将其结合到mkf中共同做线性分配；低置信度成本c′t不适合引入cvel，会造成过拟合，故c′t的计算公式为：

65、

66、γ3为权重系数；

67、将第二次空间相似度匹配中匹配成功轨迹集合记为匹配失败轨迹集合记为未分配到轨迹的检测框记为

68、所述轨迹集合均是由预测得到的跟踪框或者检测框的位置信息连接而成，得到的每一条轨迹都会被赋予不同的编号，目的是统计行人的数量；

69、步骤5：利用轨迹管理模块对步骤3和4匹配成功的轨迹、步骤3和4均未匹配成功的检测框轨迹进行新建、删除以及更新，得到最终输出轨迹

70、所述轨迹管理模块对目标轨迹进行新建、删除以及更新，得到最终的输出轨迹步骤5具体为：

71、定义总轨迹集合为γt，新的目标轨迹为步骤3和4均未匹配成功的检测框集合为过期阈值为texpire；

72、新建轨迹：步骤3和4均未匹配成功的检测框集合生成新的目标轨迹

73、删除轨迹：对于总轨迹集合γt，执行以下操作：如果γt的未跟踪帧数γt.nuntracked大于texpire过期阈值，则删除该轨迹，这是为了删除长时间未被检测到的目标轨迹；

74、更新轨迹：对于中的每个目标轨迹，进行以下操作：根据当前帧的检测结果和上一帧的目标状态，利用在线递归方法更新的卡尔曼滤波参数kf.parameters，估计目标状态的卡尔曼滤波器参数；

75、最终，将新的目标轨迹和匹配成功目标轨迹加权为最终输出轨迹集合对最终输出轨迹集合进行后处理操作，进一步提高目标跟踪的质量。

76、本发明有益技术效果：

77、本发明在目标检测模块引入一种轻量化时空注意力机制做卷积神经骨干网络的替换，更加有针对性的修正单一网络在人流密集时误检和漏检的问题；在目标跟踪中，舍弃了外观匹配这一高成本的状态，并将得到的检测框按阈值进行分类处理，高低置信度匹配时引入轨迹置信度、混合交并比和速度方向这三种弱线索，以此来弥补空间和外观强线索在处理密集人流时抗遮挡能力不足的问题。

78、与现有技术相比，本发明提出精度更高、速度更快的基于空间弱线索的车站密集行人跟踪方法。本发明针对复杂环境具有较高的识别精度，可以实时检测出地铁车站密集的人流并分析其数据，从而对维护公共场所的安全具有很高的研究价值和意义。