一种基于动作检测与人脸识别的智能考勤方法及系统

1.本发明涉及智慧校园、智能课堂考勤技术领域，具体涉及一种基于动作检测与人脸识别的智能考勤方法及系统。


背景技术：

2.在智能产品盛行的时代，智能化校园已经成为管理校园的重要手段之一，但目前暂无较为成熟的校园管理系统。众所周知，课堂考勤是课堂教学的重要环节以及评判学生的学习态度的重要指标，然而目前大部分高校仍采用人工点名或辅助点名的方式来进行课堂考勤，这种非全自动的考勤方式会耗费大量的课堂时间，尤其是在大班授课时。例如，一个120人的大班，人工点名的时间大约需要8
‑
10分钟，这种点名方式大大地浪费课堂时间。而采用二维码点名的考勤方式很容易造假，存在真实性问题或者全面性问题。
3.开发一套高效的智能的课堂考勤方式是发展智慧校园的一项重要举措。即使目前越来越多的高校课室装有摄像头，但是摄像头只记录不判断，存储冗余量大的特点，无法协助教师高效地实时点名。
4.人脸识别技术在国内已经得到了广泛的应用。但单一的人脸识别技术缺少智能化分析，无法广泛应用于、公安监控、政府行业，公司企业管理等行业。目前，随着数字化，网络化，高清化，智能化建设的不断发展，现在的人脸识别技术可以与传统的技术紧密结合，大大提升系统的智能化程度及易用性。从市场发展前景来看，基于智能分析+人脸识别技术的智能考勤系统将会得到更好的发展。
5.智能考勤系统主要是朝着提高准确率的方向发展同时还会朝着关注效率的一些应用方向发展。主要可以从以下几个方面发展:
6.(1)根据现在的发展情况来看，后续的智能考勤系统会带有强大的自学习和自适应功能的。对于不同的复杂环境进行自动学习和过滤，把视频中一些干扰目标的东西进行自动过滤，从而提到准确率，降低调试复杂度的目的。
7.(2)从源头增加可判断信息，从获取的视频中搜索带有目标的深度信息。分析算法计算可以通过这些信息准确的判断目标之间的距离、深度、高度等信息，能够提高整体算法的准确性。
8.(3)随着智能分析技术的快速发展，视频数据深入挖掘就应该得到迅速的发展。利用各种不同的算法计算，从大量的视频数据中能够快速有效的寻找到所需要的信息。无论是从技术上还是从产品上来说，以智能分析+人脸识别技术为基础的智能考勤系统已经成为未来的发展方向。


技术实现要素：

9.本发明的目的在于提出一种基于动作检测与人脸识别的智能考勤方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
10.本发明采用opencv+python库调用教室里的摄像头，采集教室图像；使用姿态估计
算法对举手学生进行姿态检测，使用改进的人脸检测算法对从教室监控采集到的监控画面进行人脸检测，对检测结果使用人脸识别算法进行人脸识别；本发明利用了安装在教室的摄像头来协助考勤，提高了校园资源的利用率，同时极大地提高了考勤的效率、真实性以及全面性。
11.本发明除了课程的第一节课需要进行语音点名进行人脸收集，其余的所有时间都是通过人脸识别来完成，只需要在下课时对缺勤的同学进行进一步的确认，从而保证点名的正确性。能把点名时间减少到1分钟以内，大大地提升了考勤的效率。
12.为了实现上述目的，根据本发明的一方面，提供一种基于动作检测与人脸识别的智能考勤方法，所述方法包括初始化阶段和考勤阶段，初始化阶段用于初次使用时为快速的建立人脸图像的数据库；考勤阶段用于在建立人脸图像的数据库后的上课日常考勤任务；
13.初始化阶段包括以下步骤：
14.s100，对教室中的学生依次播放各个学生姓名的点名语音，提示学生姓名的点名语音对应的学生面向教室中的监控；
15.s200，通过动作检测算法定位监控视频的图像帧中举手的学生；
16.s300，依次通过步骤s100到s200定位图像帧中举手的学生并通过人脸检测算法采集所有通过动作检测算法定位到的学生的人脸图像数据；
17.s400，将所有采集到的学生的人脸图像数据建立人脸图像的数据库作为人脸图像数据库；
18.考勤阶段包括以下步骤：
19.s500，播放开始点名的提示性语音，提示所有学生面向教室中的监控；
20.s600，判断采集到监控视频的图像帧是否能够通过清晰度检测，如果当前的图像帧没有通过清晰度检测则丢弃当前的图像帧并转到步骤s500，如果当前的图像帧通过清晰度检测则转到步骤s700；
21.s700，通过人脸识别算法对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别，若与人脸图像数据库中的数据匹配成功则标记对应的学生出勤；
22.s800，播放未标记出勤的学生姓名的点名语音，提示未标记出勤的学生姓名的点名语音对应的学生面向教室中的监控；
23.s900，通过动作检测算法定位监控视频的图像帧中举手的学生并通过人脸检测算法采集通过动作检测算法定位到的学生的人脸图像数据；
24.s1000，通过人脸识别算法对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别，若与人脸图像数据库中的数据匹配成功则标记对应的学生出勤；如果数据匹配不成功，则标记对应的学生缺勤；
25.s1100，循环执行步骤s800到s1000直到人脸图像数据库中所有的学生都已经标记为出勤或者缺勤则转到步骤s1200；
26.s1200，将人脸图像数据库中所有的学生的出勤或者缺勤标记作为考勤表输出。
27.进一步地，学生姓名的点名语音为预存在数据库中的所有学生的姓名的朗读音频。
28.进一步地，所述监控为设置于教室侧壁的监控摄像头。
29.进一步地，在s200和s900中，所述动作检测算法为rmpe算法，rmpe算法使用对称空间变换网络sstn从不准确的候选框中抽取高质量的单人区域；然后使用了一个单人的姿态估计器sppe从抽取到的区域中估计此人的姿态骨；接着用一个空间逆变换网络sdtn将估计出的姿态重新映射到图像坐标系下；最后用一个参数化的姿态非极大抑制方法nms来处理重复预测的问题。
30.进一步地，在s300和s900中，所述人脸检测算法为retinaface算法。
31.进一步地，在s700和s1000中，所述人脸识别算法为arcface算法。
32.进一步地，在s800中，清晰度检测的方法为：
33.载入模板图像，所述模板图像为预先设置的一张清晰图像；
34.计算模板图像的模糊度作为第一模糊度，设置模糊阈值为第一模糊度的0.8倍；
35.计算待检测图像的模糊度作为第二模糊度；
36.当第二模糊度大于或等于阈值时，判断待检测图像的清晰度检测通过；当第二模糊度小于阈值时，判断待检测图像的清晰度检测没有通过；
37.其中，所述图像的模糊度的计算方法为：依次计算图像中相邻两个像素的灰度差平方，即d(f)＝∑
y
∑
x
|f(x+2,y)
‑
f(x,y)|2；其中，f(x,y)表示图像中图像坐标像素点(x,y)的灰度值，f(x+2,y)表示图像坐标像素点((x+2,y)的灰度值，d(f)为图像的模糊度。
38.本发明还提供了一种基于动作检测与人脸识别的智能考勤系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
39.语音播放单元，用于对教室中的学生依次播放各个学生姓名的点名语音；
40.视频监控单元，用于采集教室中的学生的监控视频的图像帧；
41.动作检测单元，用于通过动作检测算法定位监控视频的图像帧中举手的学生；
42.人脸检测单元，用于通过人脸检测算法采集所有通过动作检测算法定位到的学生的人脸图像数据；
43.人脸识别单元，用于对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别；
44.图像数据库单元，用于存储采集到的人脸图像数据与各个学生的姓名的语音数据；
45.考勤表输出单元，用于将人脸图像数据库中所有的学生的出勤或者缺勤标记作为考勤表输出。
46.本发明的有益效果为：本发明提供一种基于动作检测与人脸识别的智能考勤方法及系统，有益效果包括以下几点：
47.(1)与传统的考勤方式相比，本发明所设计的智能考勤系统结合了人脸检测、人体姿态识别和人脸识别等多种算法大大提升考勤的效率，通过人脸识别来考勤并能有效地杜绝学生造假的行为。通过人体姿态识别定位到相关学生，并采集其人脸图像数据，是一个可以自建数据库的系统。因此，不需要依赖已有的人脸图像数据库，提升了系统的适用性。与一般的非全自动的考勤方式相比，本发明基于人脸定位检测与人脸识别算法所设计的模型整合了动作检测、人脸检测、像素级的人脸分析、人脸识别等功能，提升了人脸检测与识别的精确度。在实际应用方面，本发明开发出来的考勤系统比其他考勤系统更容易操作，且在
各类型需要点名的场合中只要稍作修改均能得以应用。
48.(2)高效。对比二维码点名，学生无需带手机扫二维码，只需对准监控摄像头进行人脸识别即可完成点名。对比传统的人工点名，本系统除了第一次语音点名外，系统后台运行进行自动点名，无需占用课堂时间，只需要下课时对缺勤的少数学生进行语音点名，能将点名时间降低到1分钟以内。极大地减轻了老师的考勤工作量。
49.(3)适用性强。无需依赖已有的人脸图像数据库。只需要教室里面安装摄像头就能使用。目前很多大学都已经在教室里面安装了监控摄像头。因此，本系统能够应用到许多学校中。
附图说明
50.通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
51.图1所示为一种基于动作检测与人脸识别的智能考勤方法的初始化阶段流程图；
52.图2所示为一种基于动作检测与人脸识别的智能考勤方法的考勤阶段流程图；
53.图3所示为一种基于动作检测与人脸识别的智能考勤系统结构图。
具体实施方式
54.以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
55.如图1所示为一种基于动作检测与人脸识别的智能考勤方法的初始化阶段流程图，图2所示为一种基于动作检测与人脸识别的智能考勤方法的考勤阶段流程图，下面结合图1的初始化阶段流程图和图2的考勤阶段流程图来阐述根据本发明的实施方式的一种基于动作检测与人脸识别的智能考勤方法。
56.本发明提出一种基于动作检测与人脸识别的智能考勤方法，所述方法包括初始化阶段和考勤阶段，初始化阶段用于初次使用时为快速的建立人脸图像的数据库；考勤阶段用于在建立人脸图像的数据库后的上课日常考勤任务；
57.初始化阶段包括以下步骤：
58.s100，对教室中的学生依次播放各个学生姓名的点名语音，提示学生姓名的点名语音对应的学生面向教室中的监控；
59.s200，通过动作检测算法定位监控视频的图像帧中举手的学生；
60.s300，依次通过步骤s100到s200定位图像帧中举手的学生并通过人脸检测算法采集所有通过动作检测算法定位到的学生的人脸图像数据；
61.s400，将所有采集到的学生的人脸图像数据建立人脸图像的数据库作为人脸图像数据库；
62.考勤阶段包括以下步骤：
63.s500，播放开始点名的提示性语音，提示所有学生面向教室中的监控；
64.s600，判断采集到监控视频的图像帧是否能够通过清晰度检测，如果当前的图像帧没有通过清晰度检测则丢弃当前的图像帧并转到步骤s500，如果当前的图像帧通过清晰度检测则转到步骤s700；
65.s700，通过人脸识别算法对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别，若与人脸图像数据库中的数据匹配成功则标记对应的学生出勤；
66.s800，播放未标记出勤的学生姓名的点名语音，提示未标记出勤的学生姓名的点名语音对应的学生面向教室中的监控；
67.s900，通过动作检测算法定位监控视频的图像帧中举手的学生并通过人脸检测算法采集通过动作检测算法定位到的学生的人脸图像数据；
68.s1000，通过人脸识别算法对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别，若与人脸图像数据库中的数据匹配成功则标记对应的学生出勤；如果数据匹配不成功，则标记对应的学生缺勤；
69.s1100，循环执行步骤s800到s1000直到人脸图像数据库中所有的学生都已经标记为出勤或者缺勤则转到步骤s1200；
70.s1200，将人脸图像数据库中所有的学生的出勤或者缺勤标记作为考勤表输出。
71.进一步地，学生姓名的点名语音为预存在数据库中的所有学生的姓名的朗读音频。
72.进一步地，所述监控为设置于教室侧壁的监控摄像头。
73.进一步地，在s200和s900中，所述动作检测算法为rmpe算法，rmpe算法使用对称空间变换网络sstn从不准确的候选框中抽取高质量的单人区域；然后使用了一个单人的姿态估计器sppe从抽取到的区域中估计此人的姿态骨；接着用一个空间逆变换网络sdtn将估计出的姿态重新映射到图像坐标系下；最后用一个参数化的姿态非极大抑制方法nms来处理重复预测的问题。
74.进一步地，在s300和s900中，所述人脸检测算法为retinaface算法。
75.进一步地，在s700和s1000中，所述人脸识别算法为arcface算法。
76.进一步地，在s800中，清晰度检测的方法为：
77.载入模板图像，所述模板图像为预先设置的一张清晰图像；
78.计算模板图像的模糊度作为第一模糊度，设置模糊阈值为第一模糊度的0.8倍；
79.计算待检测图像的模糊度作为第二模糊度；
80.当第二模糊度大于或等于阈值时，判断待检测图像的清晰度检测通过；当第二模糊度小于阈值时，判断待检测图像的清晰度检测没有通过；
81.其中，所述图像的模糊度的计算方法为：依次计算图像中相邻两个像素的灰度差平方，即d(f)＝∑
y
∑
x
|f(x+2,y)
‑
f(x,y)|2；其中，f(x,y)表示图像中像素点(x,y)的灰度值，d(f)为图像的模糊度。
82.本发明的实施例提供的一种基于动作检测与人脸识别的智能考勤系统，如图3所示为本发明的一种基于动作检测与人脸识别的智能考勤系统结构图，该实施例的一种基于动作检测与人脸识别的智能考勤系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于动作检测与人脸识别的智能考勤系统实施例中的步骤。
83.所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
84.语音播放单元，用于对教室中的学生依次播放各个学生姓名的点名语音；
85.视频监控单元，用于采集教室中的学生的监控视频的图像帧；
86.动作检测单元，用于通过动作检测算法定位监控视频的图像帧中举手的学生；
87.人脸检测单元，用于通过人脸检测算法采集所有通过动作检测算法定位到的学生的人脸图像数据；
88.人脸识别单元，用于对采集到的人脸图像数据与人脸图像数据库中的数据进行匹配识别；
89.图像数据库单元，用于存储采集到的人脸图像数据与各个学生的姓名的语音数据；
90.考勤表输出单元，用于将人脸图像数据库中所有的学生的出勤或者缺勤标记作为考勤表输出。
91.所述一种基于动作检测与人脸识别的智能考勤系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于动作检测与人脸识别的智能考勤系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于动作检测与人脸识别的智能考勤系统的示例，并不构成对一种基于动作检测与人脸识别的智能考勤系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于动作检测与人脸识别的智能考勤系统还可以包括输入输出设备、网络接入设备、总线等。
92.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于动作检测与人脸识别的智能考勤系统运行系统的控制中心，利用各种接口和线路连接整个一种基于动作检测与人脸识别的智能考勤系统可运行系统的各个部分。
93.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于动作检测与人脸识别的智能考勤系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
94.尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范
围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。