一种人脸识别的考勤方法和装置与流程

本发明涉及考勤领域，尤其是一种人脸识别的考勤方法和装置。

背景技术：

随着“刷脸”时代的来临，人脸识别技术在人工智能领域不断取得新的研究成果，基于深度卷积神经网络模型的识别方法，提升了人脸识别的精度。现在，越来越多的人工智能研究成果进入人们的日常生活和工作中，人脸识别考勤是人脸识别技术的一种应用，相对于传统的感应打卡、指纹考勤等，人脸识别考勤基于人脸无可替代的特性，直观、友好的同时还能杜绝代打卡现象。

人脸识别技术，是计算机视觉领域在考勤方法上的一项具体应用，使用深度学习进行人脸识别，mtcnn是常用的人脸检测和人脸对齐模型，为了提取合适的人脸特征，需要使用合适损失来优化卷积神经网络。基于人脸识别的考勤方法能够有效提高企业的考勤管理方式，规范员工考勤操作，杜绝出现代打卡的现象，提高了考勤的效率。基于深度卷积神经网络提取人脸特征，把大量人脸特征信息保存到数据库，利用提取的特征进行人脸识别。对采集设备捕捉到的人脸图片进行特征提取并从数据库中检测与之相似度最高的人脸。

目前，人脸识别的采集设备大多数是配合式的，而且需要对捕捉到的每一张图片进行连续的分析识别，大大浪费了系统的资源，非必要的分析检测降低了服务器处理效率。主要存在以下缺陷：(1)考勤的人脸识别大多是配合式的，需要进行活体检测，如张嘴或者左右转动头部，以保证识别的是活人，这一系列操作会浪费一定的时间，所以并不能做到真正意义上的高效；(2)服务器对采集设备抓拍到的人脸进行不断的分析，即使是同一个人的连续多张人脸图片，也要一一进行检测分析，不必要的识别运算浪费了服务器的系统资源，大大降低了系统的运行效率；(3)基人脸识别的考勤方式，超大规模的训练数据提升了人脸识别的精度，但在实际应用的识别速度和效率仍然是一个大的挑战。

因此，如何避免系统的资源，避免非必要的分析检测，快速进行非配合式的人脸识别，提高识别效率是人脸识别考勤中需要亟待解决的问题。

技术实现要素：

本发明所要解决的技术问题是提供一种人脸识别的方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：一种人脸识别的考勤方法，包括如下步骤：

s1.从多角度采集人脸图像：为一个待考勤人员采集多个角度人脸图像；

s2.输出人脸居中图片：对采集到的所有多个角度人脸图像分别应用深度卷积神经网络方法将人脸图像中的人脸检测出来后，使用仿射变换方法对多个角度的人脸图像进行人脸配准、对齐，然后输出多个角度下人脸居中图片；

s3.特征提取分析：对多个角度下人脸居中图片分别进行快速分析提取人脸特征，输出多个角度下的人脸特征；

s4.人脸比对：多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到步骤s5；否则，输出错误信息而后结束；

s5.考勤成功：标记当前人脸特征对应的人员考勤成功，而后转至步骤s1。

进一步的，在步骤s1之前还包括s00)建立考勤人脸信息数据库的步骤，所述s00)具体包括步骤：

s001.多角度采集人脸图片：依次采集每个待考勤人员的多角度人脸图片；

s002.图片质量判断：判断待考勤人员每一张人脸图片中人脸质量是否达到判断标准的要求，若是则保存该图片，而后进入步骤s003，否则删除该图片；所述判断标准包括以下一种或多种：分辨率是否超过设定值、清晰度是否超过设定值、欧拉角是否大于设定值；

s003.提取特征和个人信息：对保存的图片提取人脸特征，建立人脸特征与个人信息对应关联；

s004.舍弃进入下一张：删除该图片；将提取的人脸特征与关联的个人信息写入考勤人脸信息数据库。

进一步的，所述s1)多角度采集人脸图片步骤，具体为：

通过处于同一平面、高度h为1.7≤h≤2.5米，偏差不超过0.6米、待考勤人员移动水平方向与采集的夹角不超过60度、相对夹角θ为120°≤θ≤180°、与待考勤人员距离l为1≤l≤5米的多角度依次采集每个待考勤人员的人脸图片。

进一步的，所述s4，具体包括如下步骤：

s41.特征加载：分别将多个角度下的人脸特征和考勤人脸信息数据库中人脸特征加载到内存中；

s42.特征比对：多个角度下的人脸特征分别与考勤人脸信息数据库中数据在内存中进行比对；

s43.判断相似度：判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到步骤s5；否则，输出错误信息而后结束。

进一步的，所述s1前包括步骤，

s01)从多角度采集一个待考勤人员的人脸视频流；

所述步骤s1具体为，从多角度采集的人脸视频流中截取采集得至少一组待考勤人员的多个角度下的人脸图像。

本发明还提供一种人脸识别的装置，包括，

从多角度采集人脸图像单元：为一个待考勤人员采集多个角度人脸图像；

输出人脸居中图片单元：对采集到的所有多个角度人脸图像分别应用深度卷积神经网络方法将人脸图像中的人脸检测出来后，使用仿射变换方法对多个角度的人脸图像进行人脸配准、对齐，然后输出多个角度下人脸居中图片；

特征提取分析单元：对多个角度下人脸居中图片分别进行快速分析提取人脸特征，输出多个角度下的人脸特征；

人脸比对单元：多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到考勤成功单元；否则，输出错误信息而后结束；

考勤成功单元：标记当前人脸特征对应的人员考勤成功，而后转至从多角度采集人脸图像单元。

进一步的，在从多角度采集人脸图像单元之前还包括建立考勤人脸信息数据库的单元，建立人脸数据库单元具体包括：

多角度采集人脸图片单元：依次采集每个待考勤人员的多角度人脸图片；

图片质量判断单元：判断待考勤人员每一张人脸图片中人脸质量是否达到判断标准的要求，若是则保存该图片，而后进入提取特征和个人信息单元，否则删除该图片；所述判断标准包括以下一种或多种：分辨率是否超过设定值、清晰度是否超过设定值、欧拉角是否大于设定值；

提取特征和个人信息单元：对保存的图片提取人脸特征，建立人脸特征与个人信息对应关联；

舍弃进入下一张单元：删除该图片；将提取的人脸特征与关联的个人信息写入考勤人脸信息数据库。

进一步的，所述多角度采集人脸图片单元，具体为：

通过处于同一平面、高度h为1.7≤h≤2.5米，偏差不超过0.6米、待考勤人员移动水平方向与采集的夹角不超过60度、相对夹角θ为120°≤θ≤180°、与待考勤人员距离l为1≤l≤5米的多角度依次采集每个待考勤人员的人脸图片。

进一步的，所述人脸比对单元，具体包括：

特征加载单元：分别将多个角度下的人脸特征和考勤人脸信息数据库中人脸特征加载到内存中；

特征比对单元：多个角度下的人脸特征分别与考勤人脸信息数据库中数据在内存中进行比对；

判断相似度单元：判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到考勤成功单元；否则，输出错误信息而后结束。

进一步的，所述从多角度采集人脸图像单元前还包括，

从多角度采集一个待考勤人员的人脸视频流单元；

所述多角度采集人脸图像单元具体为，从多角度采集的人脸视频流中截取采集得至少一组待考勤人员的多个角度下的人脸图。

本发明提供的一种人脸识别的考勤方法和装置，通过从多角度采集人脸图像；分别应用深度卷积神经网络方法将人脸图像中的人脸检测出来后，使用仿射变换方法对多个角度的人脸图像进行人脸配准、对齐，分别进行快速分析提取人脸特征，多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否是待考勤人脸信息库中人员，避免系统的资源，避免非必要的分析检测，快速进行非配合式的人脸识别，提高了识别效率。

附图说明

图1为本发明非配合快速人脸考勤整体流程图图；

图2为本发明一实施例的建立考勤人脸信息数据库流程图；

图3为本发明多角度采集图片的采集设备部署图；

图4为本发明一实施例多角度采集人脸图像前步骤流程图；

图5为本发明一实施例的人脸比对流程图；

图6为本发明一实施例的人脸识别考勤方法的具体流程图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：通过从多角度采集人脸图像，进行快速分析提取人脸特征，从而用多个角度下的人脸特征分别与考勤人脸信息数据库中人脸特征进行比对，判断是否是待考勤人脸信息库中人员。

本发明提出一种人脸识别的考勤方法，如图1所示，

包括如下步骤：

s1.从多角度采集人脸图像：为一个待考勤人员采集多个角度人脸图像；

s2.输出人脸居中图片：对采集到的所有多个角度人脸图像分别应用深度卷积神经网络方法将人脸图像中的人脸检测出来后，使用仿射变换方法对多个角度的人脸图像进行人脸配准、对齐，然后输出多个角度下人脸居中图片；

含有人脸的图片，要使用深度卷积神经网络把图片中存在的人脸检测出来并进行人脸对齐，即把人脸“摆正”。经过卷积神经网络后，从输出信息可以得到人脸框和5个特征点，通过opencv里的仿射变换，使之对齐。

s3.特征提取分析：对多个角度下人脸居中图片分别进行快速分析提取人脸特征，输出多个角度下的人脸特征；

s4.人脸比对：多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到步骤s5；否则，输出错误信息而后结束；

s5.考勤成功：标记当前人脸特征对应的人员考勤成功，而后转至步骤s1。

完成从上述描述可知，本发明的有益效果在于：对多角度人脸特征进行快速分析提取人脸特征，多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否是待考勤人脸信息库中人员，避免系统的资源，避免非必要的分析检测，快速进行非配合式的人脸识别，提高了识别效率。

实施例1：

如图6所示，在步骤s1之前还包括s00)建立考勤人脸信息数据库的步骤，如图2所示，所述s00)具体包括步骤：

s001.多角度采集人脸图片：依次采集每个待考勤人员的多角度人脸图片；

s002.图片质量判断：判断待考勤人员每一张人脸图片中人脸质量是否达到判断标准的要求，若是则保存该图片，而后进入步骤s003，否则删除该图片；所述判断标准包括以下一种或多种：分辨率是否超过设定值、清晰度是否超过设定值、欧拉角是否大于设定值；图像分辨率的大小决定了人脸特征信息量，分辨率越高检测出的人脸信息越多，但是耗时越高；人脸特征点主要有(眼睛、鼻子、嘴巴)，图像中出现的侧脸、被遮挡脸由人脸姿态评估(欧拉角)决定，欧拉角在左右旋转角<15度，上下俯仰角<15度比较合理，被遮挡脸直接过滤了。因此选择标准为：分辨率720p，清晰度高，欧拉角(左右旋转角小于15度、上下俯仰角小于15度)的完整人脸。

s003.提取特征和个人信息：对保存的图片提取人脸特征，建立人脸特征与个人信息对应关联；

s004.舍弃进入下一张：删除该图片；将提取的人脸特征与关联的个人信息写入考勤人脸信息数据库。

通过建立考勤人脸信息数据库，将人脸多个角度下的图片以及提取的特征和个人信息存入库中，从而进行比对时，方便特征比对。

实施例2：

所述s1)多角度采集人脸图片步骤，具体为：

通过处于同一平面、高度h为1.7≤h≤2.5米，偏差不超过0.6米、待考勤人员移动水平方向与采集的夹角不超过60度、相对夹角θ为120°≤θ≤180°、与待考勤人员距离l为1≤l≤5米的多角度依次采集每个待考勤人员的人脸图片。

具体的，多角度采集人脸图片的采集部署包括：采集设备的位置、设备的数量n(n≥2)、设备的方向、设备与移动目标的距离等，设备的位置又分为设备的高度、角度、n个设备的相对位置等。设备的部署以设备的数量n＝3为例，设备部署的位置主要有设备的高度、角度、n个设备的相对位置，设备最佳的高度范围在1.7≤h≤2.5米，高度范围与员工的平均身高有关，随着平均身高的不同而适当上下调整；设备部署的角度与设备的高度有关，根据设备的高度和员工的平均身高而适当调整，为了保证捕捉到人脸的完整性，人脸走过时候的水平方向与设备的夹角最理想状态不超过60度；n个设备的相对位置对捕捉到的人脸居中率有很大的影响，如图3所示，当n＝3时，设备分别部署于员工前进的正方向、左方和右方，刚好形成一个半圆，此时左方设备和右方设备相对的夹角为180度，设备间的相对夹角最佳范围为120°-180°。

多角度采集，采集设备的数量为n，n≥2，n个设备的部署基本处于同一平面，根据实际生产环境稍有偏差，但是偏差最多不超过0.6米。n个设备间的相对夹角最大为180°，随着设备数量n的减少而适当减小，但是理想范围不小于120°。设备的数量n的最佳取值为4，即在员工前进方向的正前、正左、正右、正后方分别部署一台人脸采集设备，如摄像头，可以全方位捕捉到人脸，无论是上班还是下班，都可以实现多角度采集人脸图片。

实施例3：

所述s4，具体包括如下步骤：如图5所示，

s41.特征加载：分别将多个角度下的人脸特征和考勤人脸信息数据库中人脸特征加载到内存中；

具体的，可以根据视频的帧率对采集设备捕捉到的一系列人脸图片，每秒识别15帧人脸，间隔设置为60ms，这个时间间断内的人可以认为是同一个人，选取质量较好的、人脸居中的一系列图片进行人脸特征提取，并把这些特征加载到内存。

s42.特征比对：多个角度下的人脸特征分别与考勤人脸信息数据库中数据在内存中进行比对；

s43.判断相似度：判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到步骤s5；否则，输出错误信息而后结束。

通过多角度采集人脸图片与脸特征提取，将特征加载到内存，然后读取考勤人脸信息数据库，同样把考勤人脸信息数据库中的人脸特征加载到内存，方便服务器快速读取和进行比较。

实施例4：

所述s1前包括步骤，如图4所示，

s01)从多角度采集一个待考勤人员的人脸视频流；

所述步骤s1具体为，从多角度采集的人脸视频流中截取采集得至少一组待考勤人员的多个角度下的人脸图像。

从多角度采集视频流中，相应的人脸采集和抓拍检测装置，该方法应用深度学习技术，自动检测视频中的人体，实时采集抓拍人脸进行考勤，大大提高速度。

本发明还提出一种人脸识别的考勤装置，包括：

从多角度采集人脸图像单元：为一个待考勤人员采集多个角度人脸图像；

输出人脸居中图片单元：对采集到的所有多个角度人脸图像分别应用深度卷积神经网络方法将人脸图像中的人脸检测出来后，使用仿射变换方法对多个角度的人脸图像进行人脸配准、对齐，然后输出多个角度下人脸居中图片；

特征提取分析单元：对多个角度下人脸居中图片分别进行快速分析提取人脸特征，输出多个角度下的人脸特征；

人脸比对单元：多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到考勤成功单元；否则，输出错误信息而后结束；

考勤成功单元：标记当前人脸特征对应的人员考勤成功，而后转至从多角度采集人脸图像单元。

从上述描述可知，本发明的有益效果在于：对多角度人脸特征进行快速分析提取人脸特征，多个角度下的人脸特征分别与考勤人脸信息数据库中数据进行比对，判断是否是待考勤人脸信息库中人员，避免系统的资源，避免非必要的分析检测，快速进行非配合式的人脸识别，提高了识别效率。

实施例5：

在从多角度采集人脸图像单元之前还包括建立考勤人脸信息数据库的单元，建立人脸数据库单元具体包括：

多角度采集人脸图片单元：依次采集每个待考勤人员的多角度人脸图片；

图片质量判断单元：判断待考勤人员每一张人脸图片中人脸质量是否达到判断标准的要求，若是则保存该图片，而后进入提取特征和个人信息单元，否则删除该图片；所述判断标准包括以下一种或多种：分辨率是否超过设定值、清晰度是否超过设定值、欧拉角是否大于设定值；图像分辨率的大小决定了人脸特征信息量，分辨率越高检测出的人脸信息越多，但是耗时越高；人脸特征点主要有(眼睛、鼻子、嘴巴)，图像中出现的侧脸、被遮挡脸由人脸姿态评估(欧拉角)决定，欧拉角在左右旋转角<15度，上下俯仰角<15度比较合理，被遮挡脸直接过滤了。因此选择标准为：分辨率720p，清晰度高，欧拉角(左右旋转角小于15度、上下俯仰角小于15度)的完整人脸。

提取特征和个人信息单元：对保存的图片提取人脸特征，建立人脸特征与个人信息对应关联；

舍弃进入下一张单元：删除该图片；将提取的人脸特征与关联的个人信息写入考勤人脸信息数据库。

通过建立考勤人脸信息数据库，将人脸多个角度下的图片以及提取的特征和个人信息存入库中，从而进行比对时，方便特征比对。

实施例6：

所述多角度采集人脸图片单元，具体为：

通过处于同一平面、高度h为1.7≤h≤2.5米，偏差不超过0.6米、待考勤人员移动水平方向与采集的夹角不超过60度、相对夹角θ为120°≤θ≤180°、与待考勤人员距离l为1≤l≤5米的多角度依次采集每个待考勤人员的人脸图片。

具体的，多角度采集人脸图片的采集部署包括：采集设备的位置、设备的数量n(n≥2)、设备的方向、设备与移动目标的距离等，设备的位置又分为设备的高度、角度、n个设备的相对位置等。设备的部署以设备的数量n＝3为例，设备部署的位置主要有设备的高度、角度、n个设备的相对位置，设备最佳的高度范围在米，高度范围与员工的平均身高有关，随着平均身高的不同而适当上下调整；设备部署的角度与设备的高度有关，根据设备的高度和员工的平均身高而适当调整，为了保证捕捉到人脸的完整性，人脸走过时候的水平方向与设备的夹角最理想状态不超过60度；n个设备的相对位置对捕捉到的人脸居中率有很大的影响，当n＝3时，设备分别部署于员工前进的正方向、左方和右方，刚好形成一个半圆，此时左方设备和右方设备相对的夹角为180度，设备间的相对夹角最佳范围为120°-180°。

多角度采集，采集设备的数量为n，n≥2，n个设备的部署基本处于同一平面，根据实际生产环境稍有偏差，但是偏差最多不超过0.6米。n个设备间的相对夹角最大为180°，随着设备数量n的减少而适当减小，但是理想范围不小于120°。设备的数量n的最佳取值为4，即在员工前进方向的正前、正左、正右、正后方分别部署一台人脸采集设备，如摄像头，可以全方位捕捉到人脸，无论是上班还是下班，都可以实现多角度采集人脸图片。

实施例7：

所述人脸比对单元，具体包括：

特征加载单元：分别将多个角度下的人脸特征和考勤人脸信息数据库中人脸特征加载到内存中；

具体的，可以根据视频的帧率对采集设备捕捉到的一系列人脸图片，每秒识别15帧人脸，间隔设置为60ms，这个时间间断内的人可以认为是同一个人，选取质量较好的、人脸居中的一系列图片进行人脸特征提取，并把这些特征加载到内存。

特征比对单元：多个角度下的人脸特征分别与考勤人脸信息数据库中数据在内存中进行比对；

判断相似度单元：判断是否有任意一个角度下的人脸特征与相似度达到阈值，若有转到考勤成功单元；否则，输出错误信息而后结束。

通过多角度采集人脸图片与脸特征提取，将特征加载到内存，然后读取考勤人脸信息数据库，同样把考勤人脸信息数据库中的人脸特征加载到内存，方便服务器快速读取和进行比较。

实施例8：

所述从多角度采集人脸图像单元前还包括，

从多角度采集一个待考勤人员的人脸视频流单元；

所述多角度采集人脸图像单元具体为，从多角度采集的人脸视频流中截取采集得至少一组待考勤人员的多个角度下的人脸图像。

从多角度采集视频流中，相应的人脸采集和抓拍检测装置，该方法应用深度学习技术，自动检测视频中的人体，实时采集抓拍人脸进行考勤，大大提高速度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。