人脸识别考勤方法、装置、系统、计算机设备和介质与流程

1.本公开涉及人工智能及图像处理技术领域，具体涉及一种人脸识别考勤方法、装置、系统、计算机设备和介质。


背景技术：

2.员工考勤签到是当前企业日常管理的重要组成部分，传统的企业考勤多以打卡机打卡、手写签到签退、指纹识别打卡等方式记录员工的出勤情况。手写签到签退的考勤方式，考勤数据统计汇总相当麻烦，效率低，影响企业员工的热情和积极性；打卡签到的考勤方式需要随时携带磁卡，会出现员工忘记携带公卡无法签到的现象；指纹签到的考勤方式，存在生物指纹特征被复制的问题。上述这些考勤方式都会不可避免出现代打卡、无法实时记录考勤信息等现象，费时费力，效率低，不易统计，管理和使用维护成本高，有诸多弊端，严重影响员工考勤的公平性。


技术实现要素：

3.本公开提供一种人脸识别考勤方法、装置、系统、计算机设备和介质。
4.第一方面，本公开实施例提供一种人脸识别考勤方法，所述方法包括：
5.获取待识别人脸图像；
6.根据人脸识别模型对所述待识别人脸图像进行特征提取，得到至少两个第一人脸特征，其中，所述人脸识别模型为卷积神经网络模型；
7.分别计算所述待识别人脸图像的第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离；
8.响应于所述第一人脸特征与所述人脸特征库中一个人员的第二人脸特征之间的欧式距离小于预设阈值，确定所述待识别人脸图像的人员信息；
9.记录所述人员信息对应人员的考勤信息。
10.在一些实施例中，所述确定所述待识别人脸图像的人员信息之后，所述方法还包括：
11.显示所述人员的个人信息。
12.在一些实施例中，在获取待识别人脸图像之后，根据人脸识别模型对所述待识别人脸图像进行特征提取之前，所述方法还包括：
13.对所述待识别的人脸图像进行预处理，所述预处理包括以下至少之一：图像增强、图像去噪、图像裁剪、人脸对齐；
14.所述根据人脸识别模型对所述待识别人脸图像进行特征提取，包括：
15.根据人脸识别模型对预处理后的待识别人脸图像进行特征提取。
16.在一些实施例中，所述获取待识别人脸图像，包括：
17.获取包括多个图像帧的视频流；
18.从各所述图像帧中获取包括待识别人脸图像的待识别图像帧。
19.在一些实施例中，所述人脸特征库包括待记录考勤人员的各第二人脸特征与待记录考勤人员的个人信息之间的映射关系，所述人脸特征库通过以下方式建立：
20.根据所述人脸识别模型分别提取各待记录考勤人员的至少两个第二人脸特征；
21.针对每个待记录考勤人员，建立所述待记录考勤人员的各第二人脸特征与所述待记录考勤人员的个人信息之间的映射关系。
22.在一些实施例中，所述确定所述待识别人脸图像的人员信息，包括：
23.确定所述欧式距离小于所述阈值对应的第二人脸特征；
24.根据所述映射关系确定所述第二人脸特征对应的人员信息。
25.又一方面，本公开实施例还提供一种人脸识别考勤装置，包括获取模块、人脸识别模块和考勤记录模块，所述人脸识别模块包括特征提取单元和比对单元；
26.所述获取模块用于，获取待识别人脸图像；
27.所述特征提取单元用于，根据人脸识别模型对所述待识别人脸图像的待识别人脸图像进行特征提取，得到至少两个第一人脸特征，其中，所述人脸识别模型为卷积神经网络模型；
28.所述比对单元用于，分别计算所述第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离；响应于所述第一人脸特征与所述人脸特征库中一个人员的第二人脸特征之间的欧式距离小于预设阈值，确定所述待识别人脸图像的人员信息；
29.所述考勤记录模块用于，记录所述人员信息对应人员的考勤信息。
30.又一方面，本公开实施例还提供一种人脸识别考勤系统，包括图像采集装置和如前所述的人脸识别考勤装置，所述图像采集装置用于，采集待识别人脸图像，并将所述待识别人脸图像发送给所述人脸识别考勤装置。
31.又一方面，本公开实施例还提供一种计算机设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的人脸识别考勤方法。
32.又一方面，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的人脸识别考勤方法。
33.本公开实施例提供的人脸识别考勤方法，利用人脸识别模型对待识别人脸图像提取多个第一人脸特征，人脸识别模型为卷积神经网络模型，分别计算待识别人脸图像的第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离；若存在待识别人脸图像的第一人脸特征和人脸特征库中人员的第二人脸特征之间的欧式距离小于阈值，说明待识别的人员为人脸特征库中的人员，因此确定该人员的人员信息并记录该人员的考勤信息。本公开实施例能够实时检测与识别出勤人员并记录其考勤信息，能够辨别出早退、缺勤等现象，也能够有效避免考勤造假等问题，考勤统计省时省力，降低考勤管理的使用和维护成本。
附图说明
34.图1为本公开实施例的人脸识别考勤方法的流程示意图一；
35.图2为本公开实施例提供的人脸识别考勤方法的流程示意图二；
36.图3为本公开实施例提供的人脸识别考勤方法的流程示意图三；
37.图4为本公开实施例提供的获取待识别人脸图像的流程示意图；
38.图5为本公开实施例提供的建立人脸特征库的流程示意图；
39.图6为本公开实施例提供的人脸识别考勤装置的结构示意图一；
40.图7为本公开实施例提供的人脸识别考勤装置的结构示意图二；
41.图8为本公开实施例提供的人脸识别考勤装置的结构示意图三。
具体实施方式
42.在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
43.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
44.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
45.本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
46.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
47.本公开实施例提供一种人脸识别考勤方法，所述人脸识别考勤方法可以应用于人脸识别考勤系统中，所述人脸识别考勤系统可以包括图像采集装置和人脸识别考勤装置，图像采集装置采集待识别人脸图像，并将采集到的待识别人脸图像发送给人脸识别考勤装置，人脸识别考勤装置借助人脸识别模型和预先建立的人脸特征库对待识别人脸图像进行识别，判断待识别人员是否为待记录考勤的员工。图像采集装置可以是摄像头，可以安装在办公区、门口等位置，人脸识别考勤装置可以是服务器。
48.如图1所示，所述人脸识别考勤方法包括以下步骤：
49.步骤11，获取待识别人脸图像。
50.在本步骤中，人脸识别考勤装置接收图像采集装置发送的待识别人脸图像。
51.步骤12，根据人脸识别模型对待识别人脸图像进行特征提取，得到至少两个第一人脸特征。
52.在本步骤中，人脸识别考勤装置将获取到的待识别人脸图像输入人脸识别模型，由人脸识别模型对待识别人脸图像进行特征提取，得到多维的全连接层人脸特征(即第一人脸特征)。人脸识别模型为训练完成的卷积神经网络(convolutional neural networks,cnn)模型。
53.步骤13，分别计算待识别人脸图像的第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离。
54.人脸特征库中存储了全体人员(例如公司员工、在校学生等)的多维人脸特征(即第二人脸特征)，其中，以人员编号为索引进行存储，一个人员编号对应多个(一组)第二人脸特征。
55.在本步骤中，分别计算第一人脸特征和人脸特征库中每个人员的第二人脸特征之间的欧式距离，示例性的，若人脸特征库中存储了50个人员的第二人脸特征，则本步骤中，分别计算待识别人脸图像的第一人脸特征和这50个人员的第二人脸特征之间的欧式距离，得到50个欧式距离。
56.欧式距离的计算公式为公式(1)：
[0057][0058]
其中，sj
′
为待识别人脸图像的第一人脸特征，sj为人脸特征库中的一个人员的第二人脸特征，j为人脸特征的维度标识，j＝(1,2,
…
，m)，m为人脸特征的维度总数，m≥2。
[0059]
在本步骤中，针对人脸特征库中的每个人员，根据公式(1)计算该人员的各第二人脸特征sj与待识别人脸图像的各第一人脸特征sj
′
之间的欧式距离dist(sj
′
,sj)。
[0060]
步骤14，响应于第一人脸特征与人脸特征库中一个人员的第二人脸特征之间的欧式距离小于预设阈值，确定待识别人脸图像的人员信息。
[0061]
在本步骤中，将步骤13计算得到的各个欧式距离dist(sj
′
,sj)分别与预设阈值t比较，若存在小于所述阈值的欧式距离，说明待识别人脸图像对应的待识别人员与该欧式距离对应的人员相匹配，即待识别人员即为人脸特征库中的人员，因此，确定该人员的人员信息。
[0062]
在一些实施例中，人员信息可以包括以下至少之一：姓名、人员编号、年龄、部门、人脸图像等。
[0063]
步骤15，记录人员信息对应人员的考勤信息。
[0064]
本公开实施例提供的人脸识别考勤方法，利用人脸识别模型对待识别人脸图像提取多个第一人脸特征，人脸识别模型为卷积神经网络模型，分别计算待识别人脸图像的第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离；若存在待识别人脸图像的第一人脸特征和人脸特征库中人员的第二人脸特征之间的欧式距离小于阈值，说明待识别的人员为人脸特征库中的人员，因此确定该人员的人员信息并记录该人员的考勤信息。本公开实施例能够实时检测与识别出勤人员并记录其考勤信息，能够辨别出早退、缺勤等现象，也能够有效避免考勤造假等问题，考勤统计省时省力，降低考勤管理的使用和维护成本。
[0065]
需要说明的是，若第一人脸特征与人脸特征库中各人员的第二人脸特征之间的欧式距离均大于或等于预设阈值，则说明待识别人员不是人脸特征库中的人员，相应的，不记录考勤信息。
[0066]
在一些实施例中，如图2所示，所述记录人员信息对应人员的考勤信息(即步骤14)之后，所述人脸识别考勤方法还可以包括以下步骤：
[0067]
步骤15’，显示人员的个人信息。
[0068]
在本步骤中，人脸识别考勤装置对待识别人员的个人信息进行可视化展示，即在web界面显示该人员的个人信息。
[0069]
需要说明的是，步骤15’与步骤15的执行顺序不限，也可同步执行。
[0070]
在一些实施例中，如图3所示，在获取待识别人脸图像之后，根据人脸识别模型对待识别人脸图像进行特征提取(即步骤12)之前，所述人脸识别考勤方法还可以包括以下步骤：
[0071]
步骤11’，对待识别的人脸图像进行预处理，所述预处理包括以下至少之一：图像增强、图像去噪、图像裁剪、人脸对齐。
[0072]
图像增强是指，增强图像中的有用信息，它可以是失真的过程，其目的是要改善图像的视觉效果。图像增强可以有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，改善图像质量、丰富信息量，加强图像判读和识别效果。
[0073]
图像去噪是指，减少数字图像中噪声的过程。数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像，通过图像去噪处理即可减少数字图像中的噪声干扰。
[0074]
图像裁减是指，将待识别人脸图像中的人脸区域裁减下来。
[0075]
人脸对齐是指，在待识别人脸图像中自动定位出人脸面部关键的特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件的轮廓点等。
[0076]
相应的，所述根据人脸识别模型对待识别人脸图像进行特征提取(即步骤12)，包括：根据人脸识别模型对预处理后的待识别人脸图像进行特征提取。先对待识别人脸图像进行预处理，然后再针对预处理后的待识别人脸图像进行特征提取，提取到的第一人脸特征更为准确。
[0077]
在一些实施例中，如图4所示，所述获取待识别人脸图像(即步骤11)，包括以下步骤：
[0078]
步骤111，获取包括多个图像帧的视频流。
[0079]
在本步骤中，图像采集装置获取包括多个图像帧的视频流，并发送给人脸识别考勤装置。
[0080]
步骤112，从各图像帧中获取包括待识别人脸图像的待识别图像帧。
[0081]
在本步骤中，人脸识别考勤装置从步骤111获取到的视频流的多个图像帧中获取待识别图像帧，待识别图像帧为包括待识别人脸图像的图像帧。也就是说，人脸识别考勤装置丢弃视频流中不包括人脸图像的图像帧，仅保留包括人脸图像的图像帧。具体的，可以利用opencv中的videocapture()函数从视频流中捕获包括待识别人脸图像的待识别图像帧。
[0082]
在一些实施例中，所述获取待识别人脸图像(即步骤11)，包括：按照预设周期获取待识别人脸图像。也就是说，图像采集装置可以每间隔一段时间获取一段时长的视频流，进行人脸识别；或者，图像采集装置也可以在预设时间获取一段时长的视频流，例如，每日上班时段或每日下班时段，这样，可以实时获取并记录人员的考勤信息，使用灵活、方便。
[0083]
本公开实施例所述的人脸识别模型是训练完成的人脸识别模型，模型的训练在初始化阶段进行。人脸识别模型的训练过程如下：使用大型人脸数据库vggface作为训练模型
的数据集，使用深度学习主流框架tensorflow搭建卷积神经网络划分数据集，采用交叉验证的方式，通过修改batch_size(批尺寸)、迭代次数等方式更新权重参数，找到代价函数的最优解。
[0084]
在初始化阶段，对人脸识别模型训练完成之后，还要建立人脸特征库，人脸特征库用于存储全体人员的人脸特征，以供人脸识别时进行人脸特征比对。
[0085]
在一些实施例中，人脸特征库包括待记录考勤人员的各第二人脸特征与待记录考勤人员的个人信息之间的映射关系。如图5所示，人脸特征库的建立步骤包括：
[0086]
步骤21，根据人脸识别模型分别提取各待记录考勤人员的至少两个第二人脸特征。
[0087]
在本步骤中，将全体人员的人脸图像分别输入训练完成的人脸识别模型，以分别提取相应人员的多维全连接层的第二人脸特征，全体人员即为待记录考勤人员，示例性的，可以为公司的全体员工、全体在校学生等。
[0088]
步骤22，针对每个待记录考勤人员，建立待记录考勤人员的各第二人脸特征与待记录考勤人员的个人信息之间的映射关系。
[0089]
在本步骤中，可以以人员编号为索引，建立第二人脸特征(即多维第二人脸特征)与个人信息之间的映射关系，并存储该映射关系，以建立人脸特征库。
[0090]
在一些实施例中，所述确定待识别人脸图像的人员信息，包括以下步骤：确定欧式距离小于阈值对应的第二人脸特征；根据映射关系确定第二人脸特征对应的人员信息。通过计算待识别人脸图像的第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离，根据欧式距离在人脸特征库中进行人员匹配，若欧式距离小于阈值，说明与相应人员匹配成功，确定该欧式距离对应的人脸特征库中的第二人脸特征，并根据所述映射关系，确定该第二人脸特征对应的个人信息。
[0091]
本公开实施例利用深度学习中卷积神经网络强大的特征学习和泛化能力，学习得到人脸特征库的最优人脸识别模型，对获取到的人脸图像进行人脸特征提取，然后与人脸特征库进行逐一匹配，从系统数据库中找到与之最相近的人脸，并可视化展示，并同时将相关人员的考勤信息录入后台的员工考勤数据库中，易于实现，人脸识别准确率高。
[0092]
在本公开实施例中，可以使用jquery和jsp(java服务器页面)代码为前端编写业务逻辑和界面，后端使用java语言中spring、mybatis、springmvc三种框架，spring mvc框架作为控制器，负责前端请求的分发与响应，以及业务层的接口调用；spring框架实现业务处理，且依赖数据层对数据进行管理；业务数据层采用mybatis框架向业务层提供数据访问接口，数据存储使用关系数据库mysql，使用mysql语言维护员工信息和考勤记录数据库，实现人脸识别考勤系统的开发。本公开实施例以数据存储数据库和图形界面辅助，可以实现人脸注册、人脸识别、考勤签到与数据汇总处理等功能。本公开实施例采用mvc(model view controller，模型/视图/控制器)分层开发模式实现了界面与业务逻辑的分离，具有界面友好、操作方便等特点，也可方便地进行维护与功能扩展。
[0093]
基于相同的技术构思，本公开实施例还提供一种人脸识别考勤装置，如图6所示，所述人脸识别考勤装置包括获取模块101、人脸识别模块102和考勤记录模块103，人脸识别模块102包括特征提取单元1021和比对单元1022。
[0094]
获取模块101用于，获取待识别人脸图像。
[0095]
特征提取单元1021用于，根据人脸识别模型对所述待识别人脸图像的待识别人脸图像进行特征提取，得到至少两个第一人脸特征，其中，所述人脸识别模型为卷积神经网络模型。
[0096]
比对单元1022用于，分别计算所述第一人脸特征和人脸特征库中各人员的第二人脸特征之间的欧式距离；响应于所述第一人脸特征与所述人脸特征库中一个人员的第二人脸特征之间的欧式距离小于预设阈值，确定所述待识别人脸图像的人员信息。
[0097]
考勤记录模块103用于，记录所述人员信息对应人员的考勤信息。
[0098]
在一些实施例中，如图7所示，所述人脸识别考勤装置还包括显示模块104，显示模块104用于，显示所述人员的个人信息。
[0099]
在一些实施例中，获取模块101还用于，在获取待识别人脸图像之后，对所述待识别的人脸图像进行预处理，所述预处理包括以下至少之一：图像增强、图像去噪、图像裁剪、人脸对齐。
[0100]
特征提取单元1021用于，根据人脸识别模型对预处理后的待识别人脸图像进行特征提取。
[0101]
在一些实施例中，获取模块101用于，获取包括多个图像帧的视频流；从各所述图像帧中获取包括待识别人脸图像的待识别图像帧。
[0102]
在一些实施例中，所述人脸特征库包括待记录考勤人员的各第二人脸特征与待记录考勤人员的个人信息之间的映射关系。如图8所示，人脸识别考勤装置还包括特征库建立模块105，特征库建立模块105用于，根据所述人脸识别模型分别提取各待记录考勤人员的至少两个第二人脸特征；针对每个待记录考勤人员，建立所述待记录考勤人员的各第二人脸特征与所述待记录考勤人员的个人信息之间的映射关系。
[0103]
在一些实施例中，对比单元1022用于，确定所述欧式距离小于所述阈值对应的第二人脸特征；根据所述映射关系确定所述第二人脸特征对应的人员信息。
[0104]
本公开实施例还提供一种人脸识别考勤系统，所述人脸识别考勤系统包括图像采集装置和如前所述的人脸识别考勤装置，所述图像采集装置用于，采集待识别人脸图像，并将所述待识别人脸图像发送给所述人脸识别考勤装置。
[0105]
本公开实施例通过图像采集装置(例如摄像头)可以实时获取人员的人脸图像，利用训练好的卷积神经网络模型获取高维人脸特征并与人脸特征库中存储的人脸特征进行欧氏距离比较，从而识别人员身份，可以将识别出的人员信息通过前端界面呈现出来，并在后台数据库记录该人员的出勤信息。本公开实施例的人脸识别考勤方案能够实时检测与识别出勤人员并记录考勤信息，克服了传统考勤方案的种种不足。
[0106]
本公开实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的人脸识别考勤方法。
[0107]
本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的人脸识别考勤方法。
[0108]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以
上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0109]
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。