本发明涉及安全管理领域，特别涉及一种用于安防系统的人体识别与跟踪方法。
背景技术：
人体和人脸目标的检测、识别与跟踪的技术，在近年来得到了非常迅速的发展。虽然人脸识别的技术已经比较成熟，但是现有的每一种人脸识别算法都有其局限性，比如传统的人脸特征提取方法很难精准并自动地提取人脸特征，深度学习的方法则需要大量的训练数据，并且在速度上很难应付实时的人脸检测与识别。在目标跟踪方面，目前市面上大多数的生物识别跟踪设备还有着诸多的问题。对于传统的目标跟踪，如果出现人体目标特征变化太大的情况，比如一个人突然转身或者把外套脱了，传统的目标跟踪很容易跟丢目标。此外，对不同帧中已经检测到的目标进行跟踪时，当出现目标重叠，或行人行走的轨迹发生交叉等情况时，也会导致跟踪失败。
技术实现要素：
为了解决以上问题，本发明提供一种用于安防系统的人体识别与跟踪方法。基于深度学习的方法，对视频中的每个人进行身份识别与追踪，对于识别出来人员采用图框标示并给出身份信息，对于未识别出来的人员，给出提醒。本发明提供的一种用于安防系统的人体识别与跟踪方法，包括如下步骤：
一种用于安防系统的人体识别与跟踪方法，用于通过视频信息对每个人进行身份识别并实现人体目标追踪，包括如下步骤：
视频录入设备实时获取视频的每一帧图像信息；
处理单元从视频录入设备读取视频的每一帧信息，并根据所述视频的每一帧信息进行人体目标检测，得到人体目标检测结果，所述人体目标检测结果包括一个包含人体的图框；
处理单元根据所述人体目标检测结果，在包含人体的图框中进行人脸检测，得到人脸检测结果，所述人脸检测结果包括一个包含人脸的图框；
处理单元对检测到的人脸区域进行特征提取，得到人脸特征向量；
处理单元将所述人脸特征数据与数据库中的人脸特征进行匹配，并依据匹配结果赋予被检测的人体目标一个id，同时将该id赋予人脸所对应的人体目标，当没有匹配到结果时，处理单元对管理人员进行提醒；
当某一帧或多帧没有进行人脸检测或人脸被遮挡无法检测时，处理单元对包含人体目标的图框进行检测和跟踪；
处理单元对比每一帧被检测的人体目标的id，连接不同帧中的具有相同id的人体目标的位置，即为该id对应的人体目标的移动轨迹。
优选的，所述一种用于安防系统的人体识别与跟踪方法，还可实施为：
处理单元每隔n帧进行一次人体目标检测和人脸检测，所述n满足，
其中，d为预设的距离阈值，表示两次检测之间人体移动的距离上限，v表示人体移动速度，t为每一帧之间的时间间隔。
优选的，所述一种用于安防系统的人体识别与跟踪方法，还包括：
处理单元根据人体目标检测结果进行多人目标跟踪；
所述目标跟踪为，跟踪同一人体在不同帧上的位置，并对不同帧的同一人体赋予相同的id；所述跟踪同一人体的方法为：处理单元采检测连续两个帧的包含人体的图框的交并比iou，当所述交并比iou大于预设的阈值时，处理单元将这两个不同帧上的图框所包含的人体为是同一个目标，并赋予该目标相同的id；当处理单元每隔n帧进行一次人体目标检测和人脸检测时，未检测的帧的图框的位置为采用插值法得到。
优选的，所述数据库，包括：
人脸数据库中包含预置的安全人员的人脸照片数据；
处理单元对所有照片的人脸信息进行人脸特征向量化；
处理单元基于提取的向量化的人脸特征建立kd-tree。
优选的，所述处理单元将所述人脸特征数据与数据库中的人脸特征进行匹配，包括：
所述人脸特征数据均为128维的特征向量数据；
处理单元将所述特征的向量化数据在kd-tree中进行搜索，寻找与视频中人脸特征向量欧式距离最小的特征向量；
处理单元将所述特征向量之间的欧式距离与预设的阈值对比，当所述欧式距离小于该阈值时，将所述视频中的人与所述数据库中的人识别为同一人，否则识别结果为数据库中不存在该人员信息。
优选的，所述数据库，还包括：
处理单元通过以下方式更新kd-tree的人脸特征向量：
处理单元获取视频中的多个帧的信息，并以此提取出人脸特征数据；
处理单元对比所述人脸特征数据与kd-tree中对应的特征的向量化数据的差别，当其差别超过预设的阈值时，人工检查处理单元向管理人员确认是否对kd-tree中所述对应的数据进行更新；
当管理人员确认对所述数据进行更新时，处理单元将所述人脸特征数据以预设的权重对kd-tree对应的特征的向量化数据进行更新；
当处理单元始终不能检测到视频中的某个人时，人工检查处理单元提示管理人员通过手动提取人脸特征，替换数据库中的人脸特征。
优选的，所述人体目标检测、人脸检测、对所述人脸检测结果进行特征提取均通过深度学习的方法实现，包括使用yolo、ssd、fastr-cnn、mtcnn、deepid和facenet中的一种或多种实现。
优选的，所述一种用于安防系统的人体识别与跟踪方法，还包括：
处理单元在进行多人目标跟踪时，判断所述多人目标在一定时间t内是否可能出现重叠及行走的轨迹出现交叉的情况，所述判断方法为根据第一公式计算任意2个人之间出现重叠及行走的轨迹出现交叉的概率，所述第一公式为：
p＝f[min(|d2-d1+α·(v2-v1)·t|)]
其中，p为2个人体之间在一定时间t内出现重叠及行走的轨迹出现交叉的概率，t为介于0到t之间的时间值，d1、d2为两个人体目标当前的位置矢量，α为预设的调整系数，用于调整对速度识别的误差，v1、v2为两个人体当前的速度矢量，为通过对帧与帧之间的位置矢量进行差分得到，f(r)为概率函数，f(0)＝1，r为非负值，且随着r的增加而单调减小；
当出现所述重叠及行走的轨迹出现交叉的情况时，处理单元对随后的每一帧图像信息进行目标识别、身份认证，直到重叠或行走的轨迹交叉的情况消失，并依此对所述多人目标跟踪的结果进行校准。
本发明的一些有益效果可以包括：
本发明提供了一种用于安防系统的人体识别与跟踪方法，该方法能够实现实时的人脸识别与人体目标跟踪。通过基于人体目标的跟踪方法能够解决当人脸被遮挡时，无法给出人体目标身份的问题；能解决传统的仅基于人体目标或人脸目标跟踪，在出现目标特征变化太大时容易跟丢目标的问题；以及当目标重叠或行人行走的轨迹发生交叉等情况时跟踪失败的问题。能够更准确和更稳定的对目标进行识别和跟踪。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种用于安防系统的人体识别与跟踪方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明实施例中一种用于安防系统的人体识别与跟踪方法的流程图，如图1所示，本发明提供的一种用于安防系统的人体识别与跟踪方法，用于通过视频信息对每个人进行识别与追踪，包括如下步骤：
步骤101、视频录入设备实时获取视频的每一帧图像信息；
步骤102、处理单元从视频录入设备读取视频的每一帧信息，并根据所述视频的每一帧信息进行人体目标检测，得到人体目标检测结果，所述人体目标检测结果包括一个包含人体的图框；
步骤103、处理单元根据所述人体目标检测结果，在包含人体的图框中进行人脸检测，得到人脸检测结果，所述人脸检测结果包括一个包含人脸的图框；
步骤104、处理单元对检测到的人脸区域进行特征提取，得到人脸特征向量；
步骤105、处理单元将所述人脸特征数据与数据库中的人脸特征进行匹配，并依据匹配结果赋予被检测的人体目标一个id，同时将该id赋予人脸所对应的人体目标，当没有匹配到结果时，处理单元对管理人员进行提醒；
步骤106、当某一帧或多帧没有进行人脸检测或人脸被遮挡无法检测时，处理单元对包含人体目标的图框进行检测和跟踪；
步骤107、处理单元对比每一帧被检测的人体目标的id，连接不同帧中的具有相同id的人体目标的位置，即为该id对应的人体目标的移动轨迹。
为了降低对一个区域进行人体检测时处理单元的计算量，从而可以同时对更多的区域进行人体跟踪，在本发明的一个优选实施例中，所述一种用于安防系统的人体识别与跟踪方法，还可实施为：
处理单元每隔n帧进行一次人体目标检测和人脸检测，所述n满足，
其中，d为预设的距离阈值，表示两次检测之间人体移动的距离上限，为了区分出不同的人，且考虑到两个人之间的距离很少会低于0.3m，因此设置d为0.3m，v表示人体移动速度，通常，在大部分监控区域人类行走的速度低于1.5m/s，t为每一帧之间的时间间隔，常用监控摄像头的t值为0.04秒，由此可得大多数情况下，每5帧进行人体目标检测和人脸检测即可。
为了进一步降低对一个区域进行人体跟踪时处理单元的计算量，从而可以同时对更多的区域进行人体跟踪，在本发明的一个进一步优选实施例中，所述一种用于安防系统的人体识别与跟踪方法，还包括：
处理单元根据人体目标检测结果进行多人目标跟踪；
所述目标跟踪为，跟踪同一人体在不同帧上的位置，并对不同帧的同一人体赋予相同的id；所述跟踪同一人体的方法为：处理单元采检测连续两个帧的包含人体的图框的交并比iou，当所述交并比iou大于预设的阈值时，处理单元将这两个不同帧上的图框所包含的人体为是同一个目标，并赋予该目标相同的id；当处理单元每隔n帧进行一次人体目标检测和人脸检测时，未检测的帧的图框的位置为采用插值法得到。
通过第一次对被跟踪的多个人体目标赋予id，然后使用传统的多目标跟踪方法进行跟踪，并且在后续定时，比如每隔几秒，通过人脸识别对多人目标跟踪的结果进行校准，从而可以进一步降低处理单元的计算量，且对跟踪的效果影响较小。
为了降低对一个区域进行人体跟踪时处理单元的计算时间，从而可以同时对更多的区域进行人体跟踪，在本发明的一个优选实施例中，所述数据库，包括：
人脸数据库中包含预置的安全人员的人脸照片数据；
处理单元对所有照片的人脸信息进行人脸特征向量化；
处理单元基于提取的向量化的人脸特征建立kd-tree。
通过使用kd-tree来最大化的提高处理单元将人脸特征数据与数据库中的人脸特征进行搜索对比的效率。
为了降低对一个区域进行人体跟踪时处理单元的计算时间，从而可以同时对更多的区域进行人体跟踪，在本发明的一个优选实施例中，所述处理单元将所述人脸特征数据与数据库中的人脸特征进行匹配，包括：
所述人脸特征数据均为128维的特征向量数据；
处理单元将所述特征的向量化数据在kd-tree中进行搜索，寻找与视频中人脸特征向量欧式距离最小的特征向量；
处理单元将所述特征向量之间的欧式距离与预设的阈值对比，当所述欧式距离小于该阈值时，将所述视频中的人与所述数据库中的人识别为同一人，否则识别结果为数据库中不存在该人员信息。
为了在数据库中的数据较陈旧的情况下，保障处理单元对人脸识别的准确率(主要保障人脸特征数据与数据库中的人脸特征进行对比不因数据陈旧而出现对比错误的情况)，从而保证跟踪的准确性，在本发明的一个优选实施例中，所述数据库，还包括：
处理单元通过以下方式更新kd-tree的人脸特征向量：
处理单元获取视频中的多个帧的信息，并以此提取出人脸特征数据；
处理单元对比所述人脸特征数据与kd-tree中对应的特征的向量化数据的差别，当其差别超过预设的阈值时，人工检查处理单元向管理人员确认是否对kd-tree中所述对应的数据进行更新；
当管理人员确认对所述数据进行更新时，处理单元将所述人脸特征数据以预设的权重对kd-tree对应的特征的向量化数据进行更新；
当处理单元始终不能检测到视频中的某个人时，人工检查处理单元提示管理人员通过手动提取人脸特征，替换数据库中的人脸特征。
通过有监督的确认并利用最新的数据更新kd-tree中的特征的向量化数据，能提高处理单元对人脸识别的准确率。
为了使整个跟踪算法更容易实现和保持较高的效率，在本发明的一个优选实施例中，所述人体目标检测、人脸检测、对所述人脸检测结果进行特征提取均通过深度学习的方法实现，包括使用ssd、fastr-cnn、mtcnn、deepid和facenet中的一种或多种实现。通过ssd进行人体目标检测，fastr-cnn或mtcnn进行人脸检测，deepid或facenet或他们的组合对所述人脸检测结果进行特征提取，可以快速高效的实现整个跟踪算法。
为了在进一步降低对一个区域进行人体跟踪时处理单元的计算量，从而可以同时对更多的区域进行人体跟踪的基础上，降低对跟踪效果的影响，在本发明的一个进一步优选实施例中，所述一种用于安防系统的人体识别与跟踪方法，还包括：
处理单元在进行多人目标跟踪时，判断所述多人目标在一定时间t内是否可能出现重叠及行走的轨迹出现交叉的情况，所述判断方法为根据第一公式计算任意2个人之间出现重叠及行走的轨迹出现交叉的概率，所述第一公式为：
p＝f[min(|d2-d1+α·(v2-v1)·t|)]
其中，p为2个人体之间在一定时间t内出现重叠及行走的轨迹出现交叉的概率，t为介于0到t之间的时间值，d1、d2为两个人体目标当前的位置矢量，α为预设的调整系数，用于调整对速度识别的误差，v1、v2为两个人体当前的速度矢量，为通过对帧与帧之间的位置矢量进行差分得到，f(r)为概率函数，f(0)＝1，r为非负值，且随着r的增加而单调减小，所述概率函数的形式可以参考高斯分布的形式，或对其他类似的曲线进行调整后得到。
当出现所述重叠及行走的轨迹出现交叉的情况时，处理单元对随后的每一帧图像信息进行目标识别、身份认证，直到重叠或行走的轨迹交叉的情况消失，并依此对所述多人目标跟踪的结果进行校准。
本发明的一些有益效果可以包括：
本发明提供了一种用于安防系统的人体识别与跟踪方法，该方法能够实现实时的人脸识别与人体目标跟踪。通过基于人体目标的跟踪方法能够解决当人脸被遮挡时，无法给出人体目标身份的问题；能解决传统的仅基于人体目标或人脸目标跟踪，在出现目标特征变化太大时容易跟丢目标的问题；以及当目标重叠或行人行走的轨迹发生交叉等情况时跟踪失败的问题。能够更准确和更稳定的对目标进行识别和跟踪。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。