本发明涉及人脸识别技术领域，具体涉及一种结合人脸匹配的长时间多目标跟踪方法及系统。
背景技术：
随着人工智能的迅猛发展，围绕着人脸识别技术的应用场景在不断地增加，比如人脸支付，机场/高铁站内的人证合一验证等。而在安防系统中，以人脸为核心的视频结构化处理，可以在银行、机场、商场、市场等人流密集的公共场所对人群进行监控，实现人流自动统计、基于人脸属性的分析、以及特定人物的自动识别和跟踪。
在实际的监控中，受到视频质量、复杂的光线环境、复杂的人脸角度等因素，在视频中抓取到的人脸存在模糊、角度过大、面部过暗/过亮等情况，直接影响基于人脸熟悉分析的准确性，以及针对特定人物的识别和跟踪的准确性。另一方面，如果实时抓取到的人脸直接进行属性分析，人脸识别等处理，而不做跟踪和选脸的处理，会产生大量的人脸图片，没法进行人流量统计，而且大大增加服务器的计算能力，降低了处理的效率，非常容易得到错误的结果，降低结构化处理的实用性。
技术实现要素：
本发明针对现有技术中存在的技术问题，提供一种结合人脸匹配的长时间多目标跟踪方法及系统。
本发明解决上述技术问题的技术方案如下：
一方面，本发明提供一种结合人脸匹配的长时间多目标跟踪方法，包括以下步骤：
步骤1，初始化帧计数器，获取视频帧，进行人脸检测，提取特征向量并保存，同时为检测到的每张人脸创建跟踪器，并设置跟踪器状态为活跃状态；
步骤2，获取下一视频帧，帧计数器加1；
步骤3，利用已有跟踪器与视频帧中人脸进行匹配，若匹配则利用视频帧中的人脸更新相应的跟踪器，同时将未匹配到人脸的跟踪器状态设置为睡眠状态；
步骤4，判断帧计数器是否达到预设值，若是则重置帧计数器并执行步骤5，否则跳转至步骤2；
步骤5，对当前视频帧重新进行人脸检测，并提取特征向量，将检测到的人脸依次与活跃状态跟踪器、睡眠状态跟踪器进行匹配，若匹配到活跃状态跟踪器，则利用该人脸更新相应跟踪器，若匹配到睡眠状态跟踪器，则将该跟踪器状态修改为活跃状态并利用该人脸更新该跟踪器，否则为新检测到人脸创建跟踪器，并跳转至步骤2。
进一步，该方法还包括在为检测到人脸创建跟踪器时，为每个跟踪器建立一缓冲器，并初始化跟踪器的存活时间，所述缓冲器用于保存跟踪器跟踪的每一视频帧中人脸的质量、人脸的位置信息或人脸特征向量。
进一步，在进行跟踪器与人脸匹配时，包括：
活跃状态跟踪器与检测到的人脸的匹配：判断检测到的人脸位置与跟踪器跟踪的人脸位置是否一致，若检测到的人脸位置位于所述跟踪器窗口内且检测到的人脸与跟踪器跟踪的人脸重合面积超过预设阈值，则认为跟踪器与检测到的人脸匹配；
若匹配不到活跃跟踪器，则提取人脸图片的特征向量，判断检测到的人脸的特征向量和睡眠状态跟踪器跟踪的人脸特征向量的距离是否小于预设阈值，若小于预设阈值，则认为跟踪器与检测到的人脸匹配。
进一步，所述步骤3和步骤4之间还包括，判断跟踪器数量是否达到上限值，若达到上限值，则删除存活时间最长的处于睡眠状态的跟踪器。
若跟踪器数量未达到上限值，而某些处于睡眠状态的跟踪器的存活时间过长，达到了指定时长，同样进行跟踪器删除操作。
进一步，针对所述跟踪器的存活时间：
在跟踪器创建时，存活时间设置为0；
每处理一帧视频帧，存活时间加1；
当跟踪器匹配到人脸时，存活时间重置为0。
进一步，跟踪器删除后，获取其缓冲器中缓冲的人脸图片，并根据过滤条件筛选一张或多张高质量人脸；所述的过滤条件包括：
人脸的可信度分值>可信度阈值；
人脸判定为正脸；
人脸的模糊度>模糊度阈值；
人脸的亮度>亮度阈值；
人脸的面积>其他人脸的面积。
另一方面，本发明还提供一种结合人脸匹配的长时间多目标跟踪系统，包括：
视频帧获取模块，用于获取视频帧；
帧计数器，用于记录获取的视频帧数；
人脸检测模块，用于对获取的视频帧进行人脸检测，并提取人脸特征向量；
跟踪器创建模块，用于为人脸检测模块检测到的每张人脸创建跟踪器；
跟踪器匹配及更新模块，用于进行检测到的人脸与跟踪器的匹配，并根据匹配结果利用检测到的人脸更新跟踪器。
进一步，该系统还包括缓冲器创建模块，用于在为检测到人脸创建跟踪器时，为每个跟踪器建立一缓冲器，并初始化跟踪器的存活时间，所述缓冲器用于保存跟踪器跟踪的每一视频帧中人脸的质量、人脸的位置信息或人脸特征向量。
进一步，针对所述跟踪器的存活时间：
在跟踪器创建时，存活时间设置为0；
每处理一帧视频帧，存活时间加1；
当跟踪器匹配到人脸时，存活时间重置为0。
进一步，该系统还包括人脸筛选模块，用于在跟踪器删除后，获取其缓冲器中缓冲的人脸图片，并根据过滤条件筛选一张或多张高质量人脸；所述的过滤条件包括：
人脸的可信度分值>可信度阈值；
人脸判定为正脸；
人脸的模糊度>模糊度阈值；
人脸的亮度>亮度阈值；
人脸的面积>其他人脸的面积。
本发明的有益效果是：在处理的视频过程中，检测到人脸后，进行跟踪处理，并在跟踪过程中选择一张或者多张质量最佳的人脸用来表征某个人的人脸。最终对视频中的每个人脸，只会产生少量且质量最佳的人脸图片，为视频的结构化处理降低了处理难度。
附图说明
图1为本发明方法流程图；
图2为本发明系统结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
人脸检测以及跟踪是在视频或图像序列中确定某个人脸的位置，并且在人脸的运动过程当中持续地跟踪该人脸，确保为同一个人。人脸检测以及跟踪的性能对于人脸图像分析，人脸识别，视频结构化处理都有非常重要的意义。
常见的人脸跟踪算法包括：
1.对每一帧图像进行实时地人脸检测，获得人脸位置信息，根据前一帧人脸的位置与当前的人脸位置关系，来判断是否是同一个人，从而获得人脸的运动轨迹。
2.结合人脸检测以及物体跟踪的算法。即每隔若干帧进行一次人脸检测，获得人脸位置信息，后面的若干帧图像用物体跟踪的算法进行预测，获得人脸的运动轨迹。定期做人脸检测，其结果会不断地校正物体跟踪的预测。
以上的方法中，前者会非常消耗计算资源，运行速度慢；而后者由于跟踪算法的局限性，对于简单的场景，比如人脸较大，角度较小，没有互相遮挡的情况，可以满足；但多数的情况下，像商场，零售店内，以及平常的大街上人群，人脸角度很大，运动幅度和速度差异很大，互相遮挡，人脸的质量参差不齐，很容易出现人脸轨迹跟踪失败，相邻人脸互相干扰的情况，出现误报的情况。
在本方法中，我们引进了人脸匹配功能，用来判断新探测到的人脸是否在过去一段时间出现过；如果是，则不会产生新的跟踪器。这样使得对目标的跟踪可以在比较长的时间(几分钟)内有效，不仅解决了遮挡的问题，而且避免了一个人在再次出现时人脸被反复上传的问题。同时，人脸匹配输出的人脸匹配特征向量可以直接存储下来在最终的人脸识别功能中使用。这个技术消耗较多的硬件资源，适用于硬件资源教好(比如pc机)但对跟踪性能要求较高的场合。
具体的，本发明一方面提供一种结合人脸匹配的长时间多目标跟踪方法，如图1所示，包括以下步骤：
步骤1，初始化帧计数器，获取视频帧，进行人脸检测，提取特征向量并保存，同时为检测到的每张人脸创建跟踪器，并设置跟踪器状态为活跃状态；进行人脸检测是采用mtcnn作为人脸检测器。
我们选用的跟踪器是一个复合型跟踪器。用高级的信号处理函数封装了原生的跟踪器。其可选的核心算法包括：
1.核相关滤波算法(kcf)算法
2.中值光流(medianopticalflow)算法
3.跟踪学习检测(trackinglearningdetection)算法
在为检测到人脸创建跟踪器时，为每个跟踪器建立一缓冲器，并初始化跟踪器的存活时间，所述缓冲器用于保存跟踪器跟踪的每一视频帧中人脸的质量、人脸的位置信息或人脸特征向量。
针对所述跟踪器的存活时间：
在跟踪器创建时，存活时间设置为0；
每处理一帧视频帧，存活时间加1；
当跟踪器匹配到人脸时，存活时间重置为0。
步骤2，获取下一视频帧，帧计数器加1；
步骤3，利用已有跟踪器与视频帧中人脸进行匹配，判断检测到的人脸位置与跟踪器跟踪的人脸位置是否一致，若检测到的人脸位置位于所述跟踪器窗口内且检测到的人脸与跟踪器跟踪的人脸重合面积超过预设阈值，则认为跟踪器与检测到的人脸匹配，然后利用视频帧中的人脸更新相应的跟踪器，同时将未匹配到人脸的跟踪器状态设置为睡眠状态；
在将跟踪器状态由活跃修改为睡眠时，还要考虑跟踪器的存活时间，即当活跃的跟踪器未匹配到人脸且其存活时间达到一定值时，比如2秒，才会将该活跃跟踪器的状态修改为睡眠。
步骤4，判断跟踪器数量是否达到上限值，若达到上限值，则删除存活时间最长的处于睡眠状态的跟踪器，若跟踪器数量未达到上限值，而某些处于睡眠状态的跟踪器的存活时间过长，达到了指定时长，同样进行跟踪器删除操作，降低硬件资源消耗。
跟踪器删除后，获取其缓冲器中缓冲的人脸图片，并根据过滤条件筛选一张或多张高质量人脸；所述的过滤条件包括：
人脸的可信度分值>可信度阈值；
人脸判定为正脸；
人脸的模糊度>模糊度阈值；
人脸的亮度>亮度阈值；
人脸的面积>其他人脸的面积。
步骤5，判断帧计数器是否达到预设值，一般为5帧，也可根据实际应用情况进行调整，若达到预设值则重置帧计数器并执行步骤6，否则跳转至步骤2；
步骤6，对当前视频帧重新进行人脸检测，将检测到的人脸依次与活跃状态跟踪器、睡眠状态跟踪器进行匹配，
首先判断检测到的人脸位置与活跃状态的跟踪器跟踪的人脸位置是否一致，若检测到的人脸位置位于所述跟踪器窗口内且检测到的人脸与跟踪器跟踪的人脸重合面积超过预设阈值，则认为跟踪器与检测到的人脸匹配；
若匹配不到活跃跟踪器，则提取人脸图片的特征向量，判断检测到的人脸的特征向量和睡眠状态跟踪器跟踪的人脸特征向量的距离是否小于预设阈值，若小于预设阈值，则认为跟踪器与检测到的人脸匹配。
若匹配到活跃状态跟踪器，则利用该人脸更新相应跟踪器，若匹配到睡眠状态跟踪器，则将该跟踪器状态修改为活跃状态并利用该人脸更新该跟踪器，否则为新检测到人脸创建跟踪器，并跳转至步骤2。
另一方面，本发明还提供一种结合人脸匹配的长时间多目标跟踪系统，如图2所示，包括：
视频帧获取模块，用于获取视频帧；
帧计数器，用于记录获取的视频帧数；
人脸检测模块，用于对获取的视频帧进行人脸检测，并提取人脸特征向量；
跟踪器创建模块，用于为人脸检测模块检测到的每张人脸创建跟踪器；
跟踪器匹配及更新模块，用于进行检测到的人脸与跟踪器的匹配，并根据匹配结果利用检测到的人脸更新跟踪器。
进一步，该系统还包括缓冲器创建模块，用于在为检测到人脸创建跟踪器时，为每个跟踪器建立一缓冲器，并初始化跟踪器的存活时间，所述缓冲器用于保存跟踪器跟踪的每一视频帧中人脸的质量、人脸的位置信息或人脸特征向量。
进一步，针对所述跟踪器的存活时间：
在跟踪器创建时，存活时间设置为0；
每处理一帧视频帧，存活时间加1。
进一步，该系统还包括人脸筛选模块，用于在跟踪器删除后，获取其缓冲器中缓冲的人脸图片，并根据过滤条件筛选一张或多张高质量人脸；所述的过滤条件包括：
人脸的可信度分值>可信度阈值；
人脸判定为正脸；
人脸的模糊度>模糊度阈值；
人脸的亮度>亮度阈值；
人脸的面积>其他人脸的面积。
本发明增加了跟踪器沉睡状态，我们不再使用根据质量删除跟踪器的机制，而是让质量低的跟踪器进入睡眠状态。只有当处于睡眠状态的跟踪器数目太多时，才将最老的跟踪器删除。当新的人脸被探测到时，我们首先检查这个人脸是否属于当前正处于活跃状态的跟踪器，然后检查是否属于沉睡状态的跟踪器。如果时，重新启用此跟踪器，并将其设为或者状态。同时，本发明增加了人脸特征提取，人脸特征提取大大提高了判断两幅人脸是否属于同一个人的准确度。有了比较高的准确度，复活跟踪器就变得有很高的价值，使得长时间跟踪成为可能。
本发明在处理的视频过程中，检测到人脸后，进行跟踪处理，并在跟踪过程中选择一张或者多张质量最佳的人脸用来表征某个人的人脸。最终对视频中的每个人脸，只会产生少量且质量最佳的人脸图片，为视频的结构化处理降低了处理难度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。