一种行人识别与追踪方法、装置、可读存储介质及设备与流程

1.本发明涉及行人识别与追踪技术领域，特别涉及一种行人识别与追踪方法、装置、可读存储介质及设备。


背景技术：

2.商场内小孩由于调皮贪玩等因素会经常脱离家长的视野，家长长时间找不到小孩会非常担忧，因此基于摄像头拍摄图像的商场内行人的识别及轨迹追踪方法显得尤为重要。
3.现有的行人识别及追踪技术大多都是依靠人脸识别加上目标检测算法进行轨迹的追踪，这种情况下，当行人低头或背对摄像头时，则因无法拍摄到行人的人脸而导致行人追踪失败，故现有的行人识别及追踪技术只能在单一场景下取得一定的效果，在不同场景下，由于不同场景下的摄像头的拍摄角度不同，跨场景下通常会导致因人脸识别丢失而导致行人追踪失败。


技术实现要素：

4.基于此，本发明的目的是提供一种行人识别与追踪方法、装置、可读存储介质及设备，以解决背景技术当中的至少一技术问题。
5.根据本发明实施例的一种行人识别与追踪方法，所述方法包括：使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人id及其对应的行人位置数据集和行人特征数据集；根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸id及其人脸位置数据集；针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸id作为所述目标行人的追踪id，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人id作为所述目标行人的追踪id；根据所述目标行人的追踪id采用追踪器对所述目标行人进行多个场景下追踪。
6.另外，根据本发明上述实施例的一种行人识别与追踪方法，还可以具有如下附加的技术特征：进一步地，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每
帧图片上的每个行人的行人id及其对应的行人位置数据集和行人特征数据集的步骤包括：采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人id及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
7.进一步地，采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人id及其对应的行人检测区域的步骤之后，还包括：根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
8.进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤包括：使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
9.进一步地，所述位置匹配度的计算公式为：式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，s-1i
是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，yi是预测的第i个运动轨迹的预测框，dj表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；所述综合匹配度的计算公式为：式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，t（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
10.进一步地，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：
其中，x
0k
、y
0k
代表第k个人脸区域的左上角点的横、纵坐标，x
1k
、y
1k
代表第k个人脸区域的右下角点的横、纵坐标，ω2表示人脸位置数据集，ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m
0t
、n
0t
代表集合ω0里的第t个行人区域的左上角点的横、纵坐标，m
1t
、n
1t
代表集合ω0里的第t个行人区域的右下角点的横、纵坐标。
11.进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人id进行更新。
12.根据本发明实施例的一种行人识别与追踪装置，所述装置包括：图像获取模块，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；行人检测模块，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人id及其对应的行人位置数据集和行人特征数据集；轨迹匹配模块，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；人脸检测模块，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸id及其人脸位置数据集；追踪id确定模块，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸id作为所述目标行人的追踪id，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人id作为所述目标行人的追踪id；行人追踪模块，用于根据所述目标行人的追踪id采用追踪器对所述目标行人进行多个场景下追踪。
13.本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的行人识别与追踪方法。
14.本发明还提出一种行人识别与追踪设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的行人识别与追踪方法。
15.与现有技术相比：通过行人检测和人脸检测共同协作的行人追踪方式，将行人检测区域与人脸检测区域进行空间距离匹配，若空间距离小于阈值时，则将人脸检测区域对
应的人脸id作为后续目标行人的追踪id，若空间距离大于等于阈值或未检测到目标行人的人脸位置数据集时，则将行人检测区域对应的行人id作为后续目标行人的追踪id，这样即使因人脸识别丢失也依然能够维持目标行人的追踪，在单一场景下和多场景下均取得较好的行人追踪效果。此外，在行人检测之后，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人检测区域，即采用上下帧行人运动的轨迹匹配的行人检测区域参与后续的与人脸检测匹配，从而有效去除行人检测噪点，提高行人追踪精度。
附图说明
16.图1为本发明第一实施例中的行人识别与追踪方法的流程图；图2为本发明第三实施例中的行人识别与追踪装置的结构示意图；图3为本发明第四实施例中的行人识别与追踪设备的结构示意图。
17.以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
18.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
19.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
20.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
21.实施例一请参阅图1，所示为本发明第一实施例中的行人识别与追踪方法，所述行人识别与追踪方法可通过软件和/或硬件来实现，所述方法具体包括步骤s01-步骤s06。
22.步骤s01，使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流。
23.其中，多个摄像头可以具有不同的拍摄角度，可以安装在不同位置处，例如可以安装于商场的各个角落。
24.步骤s02，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人id及其对应的行人位置数据集和行人特征数据集。
25.在具体实施时，可以采用例如为yolov5算法等行人检测算法对每帧图片进行行人检测，输出每帧图片上的行人检测区域，每个行人检测区域对应一个行人id和一个行人检测框，行人检测框框选该行人检测区域，通过获取行人检测区域各预设点的坐标，得到行人位置坐标，从而构成行人位置数据集，即行人位置数据集由行人检测区域各预设点的坐标
构成，其中行人检测区域的各预设点可以预设，例如为行人检测框的四个顶点坐标。在行人检测输出行人检测区域之后，可以提取行人检测区域的高纬度特征，得到行人特征数据集，其中高纬度特征例如为n*2048的数组。
26.步骤s03，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集。
27.具体地，可以使用匈牙利算法及卡尔曼滤波算法（也即卡尔曼滤波器）对输入的上一帧区域数据集和当前帧的区域数据集进行运动轨迹匹配，轨迹匹配代表是同一个行人，并对行人id进行更新，即上下两帧运动轨迹匹配的行人检测区域共用一个行人id，其中区域数据集包括行人位置数据集和行人特征数据集。如果当前帧为视频的第一帧，不进行匹配运算只更新行人id。
28.在一些可选实施例当中，对于未匹配成功的行人检测区域，可以采用以下处理方式：即对于未匹配上的检测区域，使用待舍弃标签进行标记，连续10帧中出现7帧及其以上未匹配成功的待舍弃标签区域给予舍弃，对于新出的行人区域给予待定标签标记，当连续5帧中有4帧及其以上都能检测到该待定标签区域，并对行人id进行更新，从而对追踪器给予id更新。也即，本实施例通过新生伪轨迹及消失伪轨迹的剔除方式，可以有效提高轨迹追踪的准确率。
29.步骤s04，对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸id及其人脸位置数据集。
30.具体地，其中人脸检测及识别的主要步骤包括：人脸检测、人脸对齐、特征提取、特征匹配。具体步骤如下：步骤s041，将预处理后的图片输入到人脸识别模块，人脸识别模块使用retinaface网络进行人脸位置检测，得到人脸区域集合ω1，根据ω1的置信度及区域像素点个数对ω1进行区域筛选，剔除置信度低于阈值（例如为0.85）、以及区域像素点个数小于n（可根据具体场景获得的先验数据做调整）的人脸区域，得到人脸区域集合ω2。
31.步骤s042，通过mtcnn网络实现人脸区域集合ω2的人脸对齐，增加人脸识别的准确率。
32.步骤s043，使用resnet网络和arcface loss对人脸分类器进行训练，保存最佳网络参数。对人脸数据库中的所有人脸数据进行特征提取，生成n*512维的人脸模板特征库。
33.步骤s044，将步骤s042对齐后的数据输入到步骤s043训练好的最佳网络模型中，从人脸分类器fc1层得到图片中所有人脸的m*512的高纬度特征。遍历图片所有人脸的数据，计算图片中人脸高维度特征与人脸模板特征库的余弦相似值，余弦相似值大于特定值时，该人脸的身份进行给予确定。新出现的身份（即新出现的人脸）给予待确定标签，当后续三帧都有此标签且相邻帧间的欧式距离小于一定值时，将该人脸存储于人脸数据库中。其中，多个摄像头共用一个人脸数据库，这样就可以基于人脸识别与检测来实现对跨场景下的同一个行人进行识别。
34.步骤s05，针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸id作为所述目标行人的追踪id，若空间距
离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人id作为所述目标行人的追踪id。
35.也即，通过计算出任一目标行人的目标行人位置数据集与各人脸位置数据集的空间距离，当空间距离小于阈值时，代表找到与该目标行人的目标行人位置数据集匹配的人脸位置数据集，此时以该匹配的人脸位置数据集对应的人脸id作为目标行人的追踪id，即在任意场景下，若能够正常识别到人脸，则以人脸id进行行人追踪。而若，当空间距离大于等于阈值时，代表未找到与该目标行人的目标行人位置数据集匹配的人脸位置数据集，此时存在两种情况，一种情况是拍摄到了人脸但是拍摄角度不佳（例如拍摄侧脸）、另一种情况是可能在当前场景下未拍摄到该目标行人的人脸，则以该目标行人的目标行人位置数据集对应的行人id作为目标行人的追踪id，即在未识别到人脸的场景下，通过行人id进行行人追踪。
36.步骤s06，根据所述目标行人的追踪id采用追踪器对所述目标行人进行多个场景下追踪。
37.综上，本发明上述实施例当中的行人识别与追踪方法，通过行人检测和人脸检测共同协作的行人追踪方式，将行人检测区域与人脸检测区域进行空间距离匹配，若空间距离小于阈值时，则将人脸检测区域对应的人脸id作为后续目标行人的追踪id，若空间距离大于等于阈值或未检测到目标行人的人脸位置数据集时，则将行人检测区域对应的行人id作为后续目标行人的追踪id，这样即使因人脸识别丢失也依然能够维持目标行人的追踪，在单一场景下和多场景下均取得较好的行人追踪效果。此外，在行人检测之后，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人检测区域，即采用上下帧行人运动的轨迹匹配的行人检测区域参与后续的与人脸检测匹配，从而有效去除行人检测噪点，提高行人追踪精度。
38.实施例二本发明第二实施例也提出一种行人识别与追踪方法，所述行人识别与追踪方法可通过软件和/或硬件来实现，所述方法具体包括步骤s21-步骤s32。
39.步骤s21，使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流。
40.步骤s22，对所述视频流当中的每桢图片进行预处理，所述预处理包括高斯滤波、不变性尺度缩放和高频滤波当中的一种或者多种。
41.具体地，图像的高斯滤波过程产生3*3的一个滤波器模板，并以模板的中心位置为坐标原点进行取样，高斯滤波的函数表达式为：其中， x,y代表图像的像素点坐标，为整数值；σ是标准差。
42.此外，图片的尺度缩放按照如下公式进行计算得出不变形状的尺度缩放图片，公式如下：
其中，w、h分别表示图片待缩放的宽与高，w、h表示图片的真实宽与高，α代表图片无形变的缩放倍率，f（x，y）代表坐标（x,y)的像素值。
43.步骤s23，采用行人检测算法对预处理后的每个视频流的连续多帧图片进行行人检测，输出每个行人的行人id及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集。
44.步骤s24，根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
45.具体地，在本实施例当中，行人检测算法可以为yolov5行人检测算法。即将视频帧图片进行yolov5行人检测获得行人位置数据集s1，并根据置信度及区域面积的大小进行数据集筛选，剔除掉置信度小于0.85的行人检测区域，并且剔除掉区域像素点个数小于n（可以根据具体场景获得的先验数据调整）的行人检测区域。
46.步骤s25，采用预设卷积神经网络对筛选后的每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
47.在本实施例当中，预设卷积神经网络具体为fastreid卷积神经网络，即使用fastreid卷积神经网络对筛选后的行人位置数据集进行高纬度特征提取，得到n*2048的数组。
48.步骤s26，使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度。
49.其中，所述位置匹配度的计算公式为：式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，s-1i
是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，yi是预测的第i个运动轨迹的预测框，即预测框位置坐标，dj表示第j个行人位置数据集的检测框，即检测框位置坐标，ε代表预测框与行人检测框的匹配系数；步骤s27，采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度。
50.步骤s28，根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度。
51.所述综合匹配度的计算公式为：
式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，t（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
52.步骤s29，将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
53.步骤s30，对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸id及其人脸位置数据集。
54.步骤s31，针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸id作为所述目标行人的追踪id，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人id作为所述目标行人的追踪id。
55.所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式（也即二者的空间距离计算公式）为：；其中，x
0k
、y
0k
代表第k个人脸区域的左上角点的横、纵坐标，也即第k个人脸检测框的左上角点的横、纵坐标，x
1k
、y
1k
代表第k个人脸区域的右下角点的横、纵坐标，也即第k个人脸检测框的右上角点的横、纵坐标，ω2表示人脸位置数据集，ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，也即行人检测框的宽和高，m
0t
、n
0t
代表集合ω0里的第t个行人区域的左上角点的横、纵坐标，也即第t个行人检测框的左上角点的横、纵坐标，m
1t、n1t
代表集合ω0里的第t个行人的右下角点的横、纵坐标，也即第t个行人检测框的右下角点的横、纵坐标。
56.步骤s32，根据所述目标行人的追踪id采用追踪器对所述目标行人进行多个场景下追踪。
57.应当理解的，根据前一帧里面的人脸识别id及行人识别id可以预测当前帧的所有人的id，并通过人脸id对当前帧进行身份重新核查，如果核查的结果不一致则以人脸检测为主，并更新追踪器里面id的信息，如果行人是背对摄像头没有识别到人脸，则使用预测的行人id。更新过的追踪器里的id信息、行人检测框集合、时间、摄像头id写入到redic数据库中。
58.除此之外，在根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人id进行更新。具体地，对于未匹配上的检测区域，使用待舍弃标签进行标记，连续10帧中出现7帧及其以上未匹配成功的待舍弃标签区域给予舍弃，对于新出的行人区域给予待定标签标记，当
连续5帧中有4帧及其以上都能检测到该待定标签区域，并对行人id进行更新，从而对追踪器给予id更新。也即，本实施例通过新生伪轨迹及消失伪轨迹的剔除方式，可以有效提高轨迹追踪的准确率。
59.除此之外，在一些可选实施例当中，还可以根据时间轨迹将多场景的数据进行轨迹拼接，剔除突变的异常值，然后使用中值滤波器对连续的轨迹进行平滑滤波，并使用卡尔曼滤波器进行轨迹纠正处理，根据人脸模板库中id获得多场景下融合后的每个人的轨迹。也即，可以将多场景下的每个行人目标根据人脸id进行轨迹拼接，从而形成该行人在各场景下的轨迹视频。
60.实施例三本发明另一方面还提供一种行人识别与追踪装置，请查阅图2，所示为本发明第三实施例中的行人识别与追踪装置，所述行人识别与追踪装置包括：图像获取模块11，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；行人检测模块12，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人id及其对应的行人位置数据集和行人特征数据集；轨迹匹配模块13，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；人脸检测模块14，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸id及其人脸位置数据集；追踪id确定模块15，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸id作为所述目标行人的追踪id，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人id作为所述目标行人的追踪id；行人追踪模块16，用于根据所述目标行人的追踪id采用追踪器对所述目标行人进行多个场景下追踪。
61.进一步地，在本发明一些可选实施例当中，所述行人检测模块12还用于采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人id及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
62.进一步地，在本发明一些可选实施例当中，所述行人检测模块12还用于采用根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
63.进一步地，在本发明一些可选实施例当中，所述轨迹匹配模块13还用于使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配
度；根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
64.其中，所述位置匹配度的计算公式为：式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，s-1i
是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，yi是预测的第i个运动轨迹的预测框，dj表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；所述综合匹配度的计算公式为：式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，t（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
65.其中，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：其中，x
0k
、y
0k
代表第k个人脸区域的左上角点的横、纵坐标，x
1k
、y
1k
代表第k个人脸区域的右下角点的横、纵坐标，ω2表示人脸位置数据集，ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m
0t
、n
0t
代表集合ω0里的第t个行人区域的左上角点的横、纵坐标，m
1t
、n
1t
代表集合ω0里的第t个行人区域的右下角点的横、纵坐标。
66.进一步地，在本发明一些可选实施例当中，所述行人识别与追踪装置还包括：标记模块，用于对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人id进行更新。
67.上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
68.实施例四本发明另一方面还提出一种行人识别与追踪设备，请参阅图3，所示为本发明第四实施例当中的行人识别与追踪设备，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的行人识别与追踪方法。
69.其中，处理器10在一些实施例中可以是中央处理器（central processing unit, cpu）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
70.其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，sd或dx存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是行人识别与追踪设备的内部存储单元，例如该行人识别与追踪设备的硬盘。存储器20在另一些实施例中也可以是行人识别与追踪设备的外部存储装置，例如行人识别与追踪设备上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，存储器20还可以既包括行人识别与追踪设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于行人识别与追踪设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
71.需要指出的是，图3示出的结构并不构成对行人识别与追踪设备的限定，在其它实施例当中，该行人识别与追踪设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
72.本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的行人识别与追踪方法。
73.本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
74.计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
75.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
76.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
77.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。