滞留目标的检测方法、装置及存储介质

滞留目标的检测方法、装置及存储介质
【技术领域】
1.本技术属于图像处理领域，特别涉及一种滞留目标的检测方法、装置及存储介质。


背景技术：

2.最近几年，视频监控系统应用到了许多行业，比如在车站、超市、银行、居民小区、学校等公共场所都安装了视频监控设备，并通过摄像头监控场景。然而由工作人员查看摄像头监控场景不但耗费人力财力和物力，而且在监控过程中也可能出现误监测和漏检测，所以用ai代替人监控场景的智能视频监控系统应运而生，并且受到越来越多的人重视，特别是在公共场所，例如车站、机场以及商场等人口密集的场所，存在很大的安全隐患，需要进行实时监测。由于存在这样的需求，所以针对人员滞留的智能检测系统应运而生，在人口密集的场所一旦有人员诸如老人，小孩或残障人士因为种种原因滞留在人流少的地方，没有及时被发现可能会造成严重的生命安全，而传统的人工检测又有上述的种种问题，所以智能人员滞留检测系统有极大的现实研究和应用价值。
3.为了开发智能人员滞留检测系统，多目标跟踪方法被广泛地部署在这些平台上。当前的多目标跟踪方法主要分为基于检测的方法，以及基于查询的方法。
4.基于检测的方法主要通过将输入的视频帧，首先进行目标检测获取行人检测框，通过特征提取网络获取每一个检测框的外观特征，然后预测之前跟踪目标在当前时刻的位置，通过关联算法将跟踪目标与检测框匹配，匹配成功的跟踪目标更新属性。
5.目前现有的方法对于基本只会处理短时间遮挡(《5s)对跟踪的影响，但在行人滞留检测等实际项目的应用时需要考虑到更长时间的消失对跟踪的影响，从而在实际应用中难以满足需求。


技术实现要素：

6.本技术提供一种滞留目标的检测方法、装置及存储介质，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。
7.本技术第一方面提供了一种滞留目标的检测方法，包括：
8.确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；
9.根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；
10.根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；
11.根据所述第一最终代价矩阵与n个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述n个图像帧为所述当前图像帧之前的图像帧，所述n为大于或等于2的整数；
12.根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态
信息；
13.根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。
14.本技术第二方面一种滞留目标的检测装置，包括：
15.确定单元，用于确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；
16.特征提取单元，用于根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；
17.代价矩阵确定单元，用于根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；
18.匹配单元，用于根据所述第一最终代价矩阵与n个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述n个图像帧为所述当前图像帧之前的图像帧，所述n为大于或等于2的整数；
19.更新单元，用于根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态信息；
20.判断单元，用于根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。
21.本技术实施例第三方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的滞留目标的检测方法的步骤。
22.本技术实施例第四方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述任一方面所述的滞留目标的检测方法的步骤。
23.相对于相关技术，本技术提供的实施例中，对给定视频进行多个目标的跟踪，通过检测器检测行人，在通过计算由运动特征的马氏距离和外观特征的余弦距离来获得代价矩阵，根据代价矩阵使用级联匹配和匈牙利匹配来获取匹配结果，从而判定跟踪目标是否滞留。由此，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。
【附图说明】
24.图1为本技术实施例提供的滞留目标的检测方法的流程示意图；
25.图2为本技术实施例提供的状态转移矩阵的示意图；
26.图3为本技术实施例提供的滞留目标的检测装置的虚拟结构示意图；
27.图4为本技术实施例提供的服务器的硬件结构示意图。
【具体实施方式】
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
29.下面从滞留目标的检测装置的角度对滞留目标的检测方法的进行说明，该滞留目标的检测装置可以为服务器，也可以为服务器中的服务单元，具体不做限定。
30.请结合参阅图1，图1为本技术实施例提供的滞留目标的检测方法的流程示意图，
包括：
31.101、确定当前图像帧所对应的行人检测结果。
32.本实施例中，滞留目标的检测装置可以首先获取一个未修剪的目标视频v＝{v1,v2,...,vn}，其中vi(i＝1,2,...,n)为目标视频中的第i个图像帧，之后，可以获取当前图像帧所对应的行人检测结果。对于给定未修剪的目标视频，使用yolov5检测器获取当前图像帧所对应的行人检测框结果，定义一帧的行人检测结果为d＝{d1,d2,d3,......,di}di为其中一个检测结果，且di＝(x1,y1,x2,y2)，(x,y)为检测框左上角和右下角的坐标；为了方便获取运动信息，通过计算将其表示为di＝(x,y,a,h)，其中(x,y)表示检测框的中心坐标，a表示坐标框长宽比的值，h表示为坐标框高度。
33.102、根据行人检测结果确定当前图像帧中每个目标所对应的外观特征和运动特征。
34.本实施例中，滞留目标的检测装置在确定当前帧所对应的行人检测结果之后，可以根据行人检测结果确定当前图像帧中每个目标所对应的外观特征和运动特征。下面进行具体说明：
35.根据行人重识别网络提取当前图像帧中每个目标所对应的外观特征，行人重识别网络为预先通过对训练数据集进行训练得到的，行人重识别网络用于识别图像的外观特征；
36.若当前图像帧中存在新增的第一跟踪目标，则初始化第一跟踪目标的第一卡尔曼滤波参数；
37.根据第一卡尔曼滤波参数预测第一跟踪目标在当前图像帧的第一运动特征；
38.若当前图像帧不存在第一跟踪目标，则获取第一检测目标在第一图像帧所对应的第二卡尔曼滤波参数，第一检测目标包含于当前图像帧，第一图像帧为当前图像帧的前一图像帧；
39.根据第二卡尔曼滤波参数预测第一检测目标在当前图像帧的第二运动特征；
40.根据检测到第一检测目标在当前图像帧的第三运动特征以及第二运动特征确定卡尔曼增益；
41.根据卡尔曼增益更新第一检测目标在当前图像帧的目标运动特征。
42.也即，滞留目标的检测装置可以预先训练一个行人重识别网络fastreid，用来提取外观特征，通过该行人重识别网络fastreid可以确定当前图像帧所对应的外观特征，该外观特征为128维的特征向量。
43.该当前图像帧中可能会包括一些新增的跟踪目标，也可能不会包括，例如当前图像帧的上一图像帧中包括了5个检测目标，每个检测目标有对应的检测框，当前图像帧中除了包括上一帧的5个检测目标之外，还新增了一个目标或者其中一个目标消失，新的目标出现，该新增的目标定义为第一跟踪目标，跟踪目标滞留的检测装置在确定当前图像帧中存在第一跟踪目标时，可以初始化该第一跟踪目标的卡尔曼滤波参数，卡尔曼滤波参数包括位置速度均值m以及协方差矩阵p，根据新生成跟踪目标(当前图像帧没有匹配上的检测框)的检测框信息生成位置速度向量m＝(x,y,a,h,0,0,0,0)，该位置速度向量m中的前4个值为检测框的值，后4个0表示前面4个值的变化值，初始化为0；该第一跟踪目标的协方差矩阵p通过如下公式计算：
44.p＝diag(std2)；
45.std＝(2*0.05*h,2*0.05*h,0.01,2*0.05*h,
46.10*0.00625*h，10*0.00625*h,0.00001,10*0.00652*h)
47.其中，diag表示将矩阵对角化，h为检测框的高度。
48.若跟踪目标滞留的检测装置确定当前图像帧中不存在第一跟踪目标，可以根据当前图像帧的上一图像帧更新后得到的第一检测目标所对应的第二卡尔曼滤波参数(位置速度均值m以及协方差矩阵p)通过如下两个公式预测第一检测目标在当前图像帧的第二运动特征：
49.m'＝f*m；
50.m'为当前图像帧中第一检测目标的预测位置速度均值，m为第一图像帧中第一检测目标的位置速度均值，f是8x8的状态转移矩阵，表示假设第一检测目标是匀速直线运动。如图2所示，其中dt表示时间间隔，默认为1；
51.p'＝f*p*f
τ
+q；
52.其中，p'为当前图像帧中第一检测目标的预测协方差矩阵，p为第一图像帧中第一检测目标的协方差矩阵，f为状态转移矩阵，q为卡尔曼滤波运动估计误差，其中q由下式计算：
[0053][0054]
之后根据检测到第一检测目标在当前图像帧的第三运动特征以及第二运动特征，通过如下公式确定卡尔曼增益：
[0055]
k＝p
′ht
s-1
；
[0056]
其中，k为卡尔曼增益，p
′
为第二运动特征中的协方差矩阵，h为状态转移矩阵，s为协方差矩阵的偏差，s＝hp
′ht
+r，r为随机噪声，r＝diag((0.05*h,0.05*h,0.1,005*h)2)，h为第一检测目标所对应的检测框的高度，diag表示将矩阵对角化；
[0057]
最后，根据卡尔曼增益通过如下公式更新第一检测目标在当前图像帧的目标运动特征：
[0058][0059]
其中，m为所述目标运动特征中的位置速度均值，p为所述目标运动特征中的协方差矩阵，m
′
为第二运动特征中的位置速度均值，y为位置速度均值的偏差，y＝z-hm
′
，z为第一检测目标在所述当前图像帧中的实际位置的检测框信息，k为所述卡尔曼增益，p
′
为所述第二运动特征中的协方差矩阵。
[0060]
需要说明的是，h为4x8的状态转移矩阵，且该矩阵为行列数相等位置值为1，其余位置为0的矩阵。
[0061]
103、根据外观特征以及运动特征确定当前图像帧所对应的第一最终代价矩阵。
[0062]
本实施例中，滞留目标的检测装置可以通过外观特征确定当前图像帧中第二跟踪目标与第二检测目标之间的余弦距离，并基于该余弦距离构建初始代价矩阵，之后根据运
动特征确定第二跟踪目标与第二检测目标之间的马氏距离；根据马氏距离对初始代价矩阵进行约束，以得到第一最终代价矩阵。下面进行具体说明：
[0063]
假设当前图像帧包括跟踪目标集合和检测目标集合，跟踪目标集合为t＝{t1,t2,t3,......,ti}，其中，ti为第i个跟踪目标，每个跟踪目标都包括一个外观特征集集fi＝{f
i1
,f
i2
,f
i3
,......,f
ij
}和一个当前运动特征si＝{x,y,a,h,v
x
,vy,va,vh}，其中f
ij
表示第i个跟踪目标的第j次匹配上的检测结果的外观特征，si表示第i个跟踪目标的运动特征，前4个值为中心点横纵坐标，跟踪框的长宽比和高，后四个值表示前4个值的变化向量；检测目标集合为d＝{d1,d2,d3,......,di}，每个检测目标有外观特征和运动特征sd＝{x,y,a,h,0,0,0,0}，通过如下公式确定第二跟踪目标与第二检测目标之间的余弦距离：
[0064][0065]
其中，cos
ij
为当前图像帧中第二跟踪目标i与第二检测目标j之间的余弦距离，n为第二跟踪目标i的外观特征个数，f
ik
为第二跟踪目标的第k个外观特征，为第二检测目标j的外观特征，当前图像帧包括跟踪目标集合和检测目标集合，跟踪目标集合为t＝{t1,t2,t3,......,ti}，检测目标集合为d＝{d1,d2,d3,......,di}，检测目标集合中每个检测目标包括外观特征和运动特征sd＝{x,y,a,h,0,0,0,0}，x,y为每个检测目标的检测框的中心坐标，a为检测框的长宽比的值，h为检测框的高度，之后根据该余弦距离构建初始代价矩阵。
[0066]
同时，滞留目标的检测装置可以根据运动特征确定第二跟踪目标与第二检测目标之间的马氏距离，具体如下：
[0067]
获取第二跟踪目标的第一位置速度均值和第一协方差矩阵，第二检测目标的第二位置速度均值和第二协方差矩阵，该第一位置速度均值和第一协方差矩阵为当前图像帧中第二跟踪目标更新后的卡尔曼滤波参数，第二位置速度均值和第二协方差矩阵为当前图像帧中第二检测目标更新后的卡尔曼滤波参数；并对协方差矩阵进行分解，得到下三角矩阵；根据第二位置速度均值与第一位置速度均值确定目标距离；根据目标距离确定特征值向量；基于特征值向量计算所述第二跟踪目标与所述第二检测目标之间的马氏距离。也即，使用卡尔曼滤波更新的公式获取运动特征向量m和协方差矩阵p(注意这里的m和p仅为位置特征，即m只有xyah，p为4x4矩阵)；对协方差矩阵p做cholesky分解得到一个下三角矩阵l；用检测结果的运动特征(仅位置特征)减去跟踪目标的运动特征(仅位置特征)获得距离d
ij
；求解lx＝d
ijτ
的特征值向量x
ij
；马氏距离
[0068]
最后，根据根据获取到的马氏距离对代价矩阵约束，具体来说如果第i个跟踪目标和第j的检测结果的马氏距离dm
ij
大于预设阈值9.4877(概率为0.05的4个自由度的卡方分布的临界值)，则认为两个目标不可能为同一个目标，将代价矩阵对应位置的值设为无穷大(10e5)，并且与deepsort不同的是根据目标的不同状态(消失时间长短)设置不同的阈值，因为消失时间越长的目标运动特征的预测结果越不准确甚至不可用。同时外观特征本身也有约束，即如果外观特征的余弦距离大于0.2，则认为两个目标不可能为同一个目标，也将其设为无穷大(10e5)，从而获得最终代价矩阵cov。
[0069]
104、根据第一最终代价矩阵与n个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果。
[0070]
本实施例中，滞留目标的检测装置在确定第一最终代价矩阵之后，可以根据第一最终代价矩阵与n个图像帧所对应的第二最终代价矩阵确定当前图像帧所对应的匹配结果，其中，该n个图像为当前图像帧之前的图像帧，n为大于或等于2的整数。也即对于跟踪目标ti有属性time_since_update(tsu)，表示距离上一次匹配成功间隔的帧数。首先原来的级联匹配算法根据tsu属性对跟踪目标设置一个优先度，即认为距离上一次匹配间隔越短的目标越有可能匹配上。所以根据tsu从小到大每次选取tsu等于该值的所有跟踪目标来匹配，没有匹配上的检测目标用于下一轮匹配直到跟踪目标匹配完或者检测目标匹配完。但是当两个人交叉而过时(即一个人短暂遮挡另一个人)，被遮挡的人如果在被遮挡前和被遮挡后发生了id变化(因为发生遮挡时外观特征会发生大幅度震荡，有可能导致匹配不上)，导致对同一个人产生两个跟踪目标，并且新生成的跟踪目标会优先匹配这个人，导致跟踪中断。本技术中对每次选取用来匹配的跟踪目标条件做了修改，每次选取的不再是tsu等于某个值的跟踪目标，而是tsu等于一个范围的跟踪目标，例如第一次选取tsu为[0，30)的跟踪目标，也即第一次选取当前图像帧之前的30图像帧中的跟踪目标与当前图像帧中的检测目标进行匹配，下一次则为[30，60)的跟踪目标，以此类推。该算法通过扩大查找范围从而使得对同一个人的两个跟踪目标可以同时进行匹配，大大提升了当该行人没有被遮挡后，由先生成的跟踪目标继续跟踪该行人的可能性。
[0071]
之后使用经典的匈牙利匹配方法，将时间段级联匹配选取的跟踪目标和未匹配的检测目标的代价矩阵作为输入，输出匹配结果。由此可以得到当前帧中各个目标的匹配结果。
[0072]
一个实施例中，滞留目标的检测装置还执行如下操作：
[0073]
若当前图像帧所对应的匹配结果中存在未匹配的检测目标集合和跟踪目标集合，则计算跟踪目标集合中第三跟踪目标中的目标外观特征与第三检测目标中外观特征的目标余弦距离，第三跟踪目标为跟踪目标集合中预设时长未出现的目标；
[0074]
若目标余弦距离满足预设条件，则计算第三跟踪目标的第三最终代价矩阵；
[0075]
根据第三最终代价矩阵对所述当前图像帧中未匹配的目标进行匹配。
[0076]
本实施例中，目前几乎所有目标跟踪算法都没有考虑过目标长时间消失的跟踪情况，因为该情况几乎无法使用运动特征来预测目标出现时的位置。通过研究发现当目标长时间消失后，在出现时外观特征变化不会很大，因此该问题就可以简化为一个行人重识别的问题。行人重识别即通过训练一个外观特征提取网络提取图片的外观特征，通过给定一个行人查询图片，从数据库中查找该目标的其他图片。所以找回算法通过对指定跟踪目标(长时间消失且未匹配上)执行来处理长时间消失的目标。
[0077]
具体的：如果匹配算法结束后有未匹配上的检测目标和跟踪目标，则选取跟踪目标里标记为长时间消失的目标；并通过如下公式计算每个跟踪目标和检测结果的外观特征的余弦距离：
[0078]
cos
ijk
表示第i个跟踪目标的第k个外观特征和第j个检测目标
的外观特征之间的余弦距离，如果cos
ijk
满足预设条件(该预设条件例如可以是cos
ijk
总数超过指定百分比(30％)的值都小于阈值(0.25)，当然也还可以是其他的条件，例如cos
ijk
总数超过指定百分比(35％)的值都小于阈值(0.26)，具体不做限定)，则认为两个目标可能是同一行人，通过上述最终代价矩阵的计算方式计算代价矩阵(另外，此处在通过上述最终代价矩阵的计算方式计算对应的代价矩阵时，是不使用运动特征的马氏距离约束，也不使用外观阈值约束)之后，使用匈牙利匹配算法对上面的代价矩阵匹配获取匹配结果。由此，可以极大提高了长时间消失目标的跟踪成功率并且因为外观特征要超过一定比例才参与匹配，从而有效避免了匹配出错的情况。
[0079]
105、根据当前帧的匹配结果更新当前图像帧所对应的跟踪目标的状态信息。
[0080]
本实施例中，滞留目标的检测装置在得到当前帧的匹配结果之后，可以根据当前帧的匹配结果更新当前图像帧所对应的跟踪目标的状态信息，该跟踪目标的状态更新主要包括属性的更新和状态值的更新，属性值包括age(跟踪目标生成总帧数)，time_since_update(上一次跟踪成功间隔帧数)，卡尔曼滤波属性(位置速度向量m和协方差矩阵p)；状态值包括3个状态，continue，short_miss，long_miss表示一直跟踪成功，短时间消失以及长时间消失三种状态，状态值根据属性time_since_update的大小设置。之所以要设置状态值是因为要跟踪长时间消失的目标，则由于消失时间的增加导致跟踪目标预测结果准确性降低，所以要根据不同的状态来设置不同的阈值。
[0081]
106、根据当前图像帧所对应的跟踪目标的状态信息确定当前图像帧是否存在滞留目标。
[0082]
本实施例中，滞留目标的检测装置在对当前图像帧所对应的跟踪目标的状态信息进行更新之后，可以判断当前图像帧中各个各个跟踪目标属性age是否大于滞留阈值，若age大于阈值，则认为该跟踪目标在该场景下滞留。
[0083]
综上所述，可以看出，本技术提供的实施例中，对给定视频进行多个目标的跟踪，通过检测器检测行人，在通过计算由运动特征的马氏距离和外观特征的余弦距离来获得代价矩阵，根据代价矩阵使用级联匹配和匈牙利匹配来获取匹配结果，从而判定跟踪目标是否滞留。由此，可以有效对短时间消失目标和长时间消失目标的滞留进行判断。
[0084]
上面从滞留目标的检测方法对本技术进行说明，下面从滞留目标的检测装置的角度对本技术进行说明。
[0085]
请参阅图3，图3为本技术实施例提供的滞留目标的检测装置的虚拟结构示意图，该滞留目标的检测装置300包括：
[0086]
确定单元301，用于确定当前图像帧所对应的行人检测结果，所述当前图像帧为目标视频中的任意一图像帧；
[0087]
特征提取单元302，用于根据所述行人检测结果确定所述当前图像帧中每个目标所对应的外观特征和运动特征；
[0088]
代价矩阵确定单元303，用于根据所述外观特征以及所述运动特征确定所述当前图像帧所对应的第一最终代价矩阵；
[0089]
匹配单元304，用于根据所述第一最终代价矩阵与n个图像帧所对应的第二最终代价矩阵确定所述当前图像帧所对应的匹配结果，所述n个图像帧为所述当前图像帧之前的图像帧，所述n为大于或等于2的整数；
[0090]
更新单元305，用于根据所述当前图像帧的匹配结果更新所述当前图像帧所对应的跟踪目标的状态信息；
[0091]
判断单元306，用于根据所述当前图像帧所对应的跟踪目标的状态信息确定所述当前图像帧是否存在滞留目标。
[0092]
一种可能的设计中，所述特征提取单元302具体用于：
[0093]
根据行人重识别网络提取所述当前图像帧中每个目标所对应的外观特征，所述行人重识别网络为预先通过对训练数据集进行训练得到的，所述行人重识别网络用于识别图像的外观特征；
[0094]
若所述当前图像帧中存在新增的第一跟踪目标，则初始化所述第一跟踪目标的第一卡尔曼滤波参数；
[0095]
根据所述第一卡尔曼滤波参数确定所述第一跟踪目标在所述当前图像帧的第一运动特征；
[0096]
若所述当前图像帧不存在所述第一跟踪目标，则获取第一检测目标在第一图像帧所对应的第二卡尔曼滤波参数，所述第一检测目标为所述当前图像帧中的任意一个目标，所述第一图像帧为所述当前图像帧的前一图像帧；
[0097]
根据所述第二卡尔曼滤波参数预测所述第一检测目标在所述当前图像帧的第二运动特征；
[0098]
根据检测到所述第一检测目标在所述当前图像帧的第三运动特征以及所述第二运动特征确定所述第一检测目标所对应的卡尔曼增益；
[0099]
根据所述第一检测目标所对应的卡尔曼增益更新所述第一检测目标在所述当前图像帧的目标运动特征。
[0100]
一种可能的设计中，运动特征包括位置速度均值以及协方差矩阵，所述特征提取单元302根据检测到所述第一检测目标在所述当前图像帧的第三运动特征以及所述第二运动特征确定所述第一检测目标所对应的卡尔曼增益包括：
[0101]
通过如下公式确定所述第一检测目标所对应的卡尔曼增益：
[0102]
k＝p
′ht
s-1
；
[0103]
其中，k为所述第一检测目标所对应的卡尔曼增益，p
′
为所述第二运动特征中的协方差矩阵，h为状态转移矩阵，s为协方差矩阵的偏差，s＝hp
′ht
+r，r为随机噪声，r＝diag((0.05*h,0.05*h,0.1,005*h)2)，h为所述第一检测目标所对应的检测框的高度，diag表示将矩阵对角化；
[0104]
所述根据所述第一检测目标所对应的卡尔曼增益更新所述第一检测目标在所述当前图像帧的目标运动特征包括：
[0105]
通过如下公式确定所述第一检测目标在所述当前图像帧的目标运动特征：
[0106][0107]
其中，m为所述目标运动特征中的位置速度均值，p为所述目标运动特征中的协方差矩阵，m
′
为所述第二运动特征中的位置速度均值，y为位置速度均值的偏差，y＝z-hm
′
，z为所述第一检测目标在所述当前图像帧中的实际位置的检测框信息，k为所述卡尔曼增益，p
′
为所述第二运动特征中的协方差矩阵。
[0108]
一种可能的设计中，所述代价矩阵确定单元303具体用于：
[0109]
通过所述外观特征确定所述当前图像帧中第二跟踪目标与第二检测目标之间的余弦距离；
[0110]
基于所述余弦距离构建初始代价矩阵；
[0111]
根据所述运动特征确定所述第二跟踪目标与所述第二检测目标之间的马氏距离；
[0112]
根据所述马氏距离对所述初始代价矩阵进行约束，以得到所述第一最终代价矩阵。
[0113]
一种可能的设计中，所述代价矩阵确定单元303通过所述外观特征确定所述当前图像帧中第二跟踪目标与第二检测目标之间的余弦距离包括：
[0114]
通过如下公式确定所述余弦距离：
[0115][0116]
其中，cos
ij
为所述当前图像帧中第二跟踪目标i与第二检测目标j之间的余弦距离，n为第二跟踪目标i的外观特征个数，f
ik
为所述第二跟踪目标的第k个外观特征，为所述第二检测目标j的外观特征，所述当前图像帧包括跟踪目标集合和检测目标集合，所述跟踪目标集合为t＝{t1,t2,t3,......,ti}，所述检测目标集合为d＝{d1,d2,d3,......,di}，所述检测目标集合中每个检测目标包括外观特征和运动特征sd＝{x,y,a,h,0,0,0,0}，x,y为所述每个检测目标的检测框的中心坐标，a为所述检测框的长宽比的值，h为所述检测框的高度。
[0117]
一种可能的设计中，所述代价矩阵确定单元303根据所述运动特征确定所述第二跟踪目标与所述第二检测目标之间的马氏距离包括：
[0118]
获取所述第二跟踪目标的第一位置速度均值和第一协方差矩阵，所述第二检测目标的第二位置速度均值和第二协方差矩阵；
[0119]
对所述协方差矩阵进行分解，得到下三角矩阵；
[0120]
根据所述第二位置速度均值与所述第一位置速度均值确定目标距离；
[0121]
根据所述目标距离确定特征值向量；
[0122]
基于所述特征值向量计算所述第二跟踪目标与所述第二检测目标之间的马氏距离。
[0123]
一种可能的设计中，所述匹配单元304还用于：
[0124]
若所述当前图像帧所对应的匹配结果中存在未匹配的检测目标集合和跟踪目标集合，则计算所述跟踪目标集合中第三跟踪目标中的目标外观特征与第三检测目标中外观特征的目标余弦距离，所述第三跟踪目标为所述跟踪目标集合中预设时长未出现的目标；
[0125]
若所述目标余弦距离满足预设条件，则计算所述第三跟踪目标的第三最终代价矩阵；
[0126]
根据所述第三最终代价矩阵对所述当前图像帧中未匹配的目标进行匹配。
[0127]
一种可能的设计中，所述状态信息包括：
[0128]
属性值信息和状态值信息；
[0129]
所述属性值包括跟踪目标生成总帧数、跟踪目标上一次跟踪成功间隔帧数、位置速度向量和协方差矩阵；
[0130]
所述状态值信息包括：跟踪成功状态、短时间消失状态以及长时间消失状态。
[0131]
图4为本技术服务器的结构示意图，如图4所示，本实施例的服务器400包括至少一个处理器401，至少一个网络接口404或者其他用户接口403，存储器405，和至少一通信总线402。该服务器400可选的包含用户接口403，包括显示器，键盘或者点击设备。存储器405可能包含高速ram存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器405存储执行指令，当服务器400运行时，处理器401与存储器405之间通信，处理器401调用存储器405中存储的指令，以执行上述滞留目标的检测方法。操作系统406，包含各种程序，用于实现各种基础业务以及处理根据硬件的任务。
[0132]
本技术实施例提供的服务器，可以执行上述的滞留目标的检测方法的实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0133]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例中与滞留目标的检测装置相关的方法流程。对应的，该计算机可以为上述滞留目标的检测装置。
[0134]
本技术实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品，该计算机程序在某一计算机上执行时，将会使所述计算机实现上述任一方法实施例中与滞留目标的检测装置相关的方法流程。对应的，该计算机可以为上述的滞留目标的检测装置。
[0135]
在上述图1对应的实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0136]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。