本发明涉及人脸识别技术领域，尤其涉及基于视频流的动态人脸识别方法及装置。
背景技术：
传统人脸检测算法和基于深度神经网络的人脸检测算法各有短长。传统人脸检测算法的优点是速度快，缺点是检出率低、误检率高；基于深度神经网络的人脸检测算法的优点是检出率高、误检率低，缺点是检测速度慢。
技术实现要素：
为了克服现有技术的不足，本发明的目的在于提供基于视频流的动态人脸识别方法及装置，旨在解决传统人脸检测算法检出率低、误检率高的问题，以及基于深度神经网络的人脸检测算法速度慢的问题。
本发明的目的采用以下技术方案实现：
一种基于视频流的动态人脸识别方法，包括：
图像获取步骤，获取视频流数据的一帧作为输入图像；
初步筛选步骤，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；
一次细化步骤，将初步筛选步骤得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；
二次细化步骤，将一次细化步骤得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；
关键点定位步骤，将二次细化步骤得到的人脸区域送入第四层级网络，进行关键点定位。
在上述实施例的基础上，优选的，所述二次细化步骤后，还包括：
人脸跟踪步骤，将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。
在上述实施例的基础上，优选的，所述人脸跟踪步骤前，还包括：
标记步骤，标记每个人脸区域的id。
在上述任意实施例的基础上，优选的，所述初步筛选步骤中，在第一层级网络中使用全卷机网络对输入图像进行处理。
一种基于视频流的动态人脸识别装置，包括：
图像获取模块，用于获取视频流数据的一帧作为输入图像；
初步筛选模块，用于在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；
一次细化模块，用于将初步筛选模块得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；
二次细化模块，用于将一次细化模块得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；
关键点定位模块，用于将二次细化模块得到的人脸区域送入第四层级网络，进行关键点定位。
在上述实施例的基础上，优选的，还包括：
人脸跟踪模块，用于将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。
在上述实施例的基础上，优选的，还包括：
标记模块，用于标记每个人脸区域的id。
在上述任意实施例的基础上，优选的，所述初步筛选模块用于在第一层级网络中使用全卷机网络对输入图像进行处理。
相比现有技术，本发明的有益效果在于：
本发明公开了一种基于视频流的动态人脸识别方法及装置，该方法采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1示出了本发明实施例提供的一种基于视频流的动态人脸识别方法的流程示意图；
图2示出了本发明实施例提供的一种基于视频流的动态人脸识别装置的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
具体实施例一
如图1所示，本发明实施例提供了一种基于视频流的动态人脸识别方法，包括以下步骤。
图像获取步骤s101，获取视频流数据的一帧作为输入图像。
初步筛选步骤s102，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域。该步骤中，第一层级网络对整个输入图像进行快速处理，获取候选框和这些候选框的框回归向量组；然后评估这些候选向量，并进行校准；再使用非极大化抑制来去除大量重复的候选区域。
一次细化步骤s103，将初步筛选步骤s102得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并。该步骤将候选区域送入第二层级网络进行细化的处理，排除掉大量不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行合并。
二次细化步骤s104，将一次细化步骤s103得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域。该步骤将第二层级网络剩下的候选区域送入第三层级网络进行更细化的处理，排除掉最后剩下的不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行合并，最终剩下人脸区域。由于前三个层级的网络是依次增大的，所做的任务也是越来越细致的，这样更有利于级联的结构，最大化检测效率跟准确率。
关键点定位步骤s106，将二次细化步骤s104得到的人脸区域送入第四层级网络，进行关键点定位。该步骤将第三层级网络输出的人脸区域输入第四层级网络，进行关键点定位任务。
本发明实施例采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。
在现实应用场景中基于视频流的人脸检测技术对时效性的要求比较高，因此检测速度成为衡量一个算法模型好坏的重要指标。优选的，本发明实施例在所述二次细化步骤s104后，还可以包括：人脸跟踪步骤s105，将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。这样做的好处是，在人脸识别之后加入人脸跟踪算法，极大优化检测速度。采用人脸检测模型第三层级网络对需要跟踪的目标框做框回归以达到鲁棒跟踪的效果，优点是跟踪速度非常快、非常准。经过发明人的大量实验表明，该方法非常有效。具体方法可以是：直接将上一帧的人脸区域进行放大，再次输入第三层级网络，通过第三层级网络的框回归任务来进行人脸的跟踪，以回归框的位置作为该人脸区域的跟踪结果。
优选的，本发明实施例在所述人脸跟踪步骤s105前，还可以包括：标记步骤，标记每个人脸区域的id。这样做的好处是，标记每一个目标的id，采用人脸检测模型第三层级网络对需要跟踪的与每个id相应的目标框做框回归。
本发明实施例对处理输入图像的方式不做限定，优选的，所述初步筛选步骤s102中，在第一层级网络中使用全卷机网络对输入图像进行处理。本发明实施例可以使用一个全卷机网络对整个输入图像进行快速处理，获取候选框和这些候选框的框回归向量组，第一层级网络非常小，通过全卷机操作可以非常快速的对候选框进行初步的筛选工作。
优选的，本发明实施例可以应用于门禁考勤、会议签到和会员管理等场合。
在上述的具体实施例一中，提供了基于视频流的动态人脸识别方法，与之相对应的，本申请还提供基于视频流的动态人脸识别装置。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
具体实施例二
如图2所示，本发明实施例提供了一种基于视频流的动态人脸识别装置，包括：
图像获取模块201，用于获取视频流数据的一帧作为输入图像；
初步筛选模块202，用于在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；
一次细化模块203，用于将初步筛选模块202得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；
二次细化模块204，用于将一次细化模块203得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；
关键点定位模块206，用于将二次细化模块204得到的人脸区域送入第四层级网络，进行关键点定位。
本发明实施例采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。
优选的，本发明实施例还可以包括：人脸跟踪模块205，用于将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。
优选的，本发明实施例还可以包括：标记模块，用于标记每个人脸区域的id。
优选的，所述初步筛选模块202用于在第一层级网络中使用全卷机网络对输入图像进行处理。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。