基于MIS系统和PTZ摄像头的人脸考勤系统的制作方法

本发明涉及基于mis系统和ptz摄像头的人脸考勤系统，属于考勤统计领域。

背景技术：

会议签到、学生上课等集会活动的场景需要进行考勤。除了常规的人工点名、手动签到的考勤方案外，随着技术的进步，还产生了一些自动考勤方案，而基于人脸识别技术进行考勤就是其中之一：

通过在房间出入口部署固定广角摄像头，采集人脸图像形成视频数据流，通过网络传输至gpu服务器，由gpu服务器通过人脸识别算法进行识别并匹配人员名单，获得出勤数据。

此方案存在以下缺陷：

（1）由于采用不具备移动、变焦功能的固定广角摄像头采集图像，在空间稍大的房间无法保证清楚采集远处人脸，无法完整覆盖房间，对考勤的准确性造成影响；

（2）由于人脸识别是由gpu服务器完成，受限于gpu服务器的性能，一台gpu服务器只能服务有限数量的摄像头，并且gpu服务器增加系统成本；

（3）将摄像头部署在房间出入口容易受运动、光照条件等不确定因素影响，系统可能无法获取到清晰、稳定的人脸图像，对考勤的准确性造成影响；

（4）在匹配人员名单时，将识别的人脸在整个组织范围内进行匹配，未考虑到如何应对房间内的人员变动，例如一个公司会议室在不同的时间由不同的人使用，一个教室在不同的时间有不同的学生上课。现有技术往往将人脸在整个组织（如公司、学校）的名单范围内进行匹配，造成匹配效率低，而由于加入无关匹配项，准确性也会受到影响。

技术实现要素：

本发明所要解决的技术问题是：提出一种基于mis系统和ptz摄像头的人脸考勤系统，解决传统技术中基于人脸识别的考勤方案存在的考勤准确性低、成本高、考勤效率低的问题。

本发明解决上述技术问题采用的技术方案是：

基于mis系统和ptz摄像头的人脸考勤系统，包括：mis系统（管理信息系统）和ptz摄像头；所述mis系统与ptz摄像头通过网络连接；

所述mis系统用于录入考勤对象的人脸特征、制定考勤任务，至少根据当前需要执行的考勤任务制定扫描任务并发送给对应的ptz摄像头，收集ptz摄像头的扫描结果并进行汇总生成考勤结果，所述扫描任务的信息中包括对应考勤任务的人员名单和相应人员的人脸特征；

所述ptz摄像头用于根据收到的扫描任务中的人员名单和相应人员的人脸特征设置对应扫描任务的特征库，在对应扫描任务开始后执行扫描，并在对应扫描任务的特征库中对扫描的人脸图像进行匹配，得到扫描结果。

作为进一步优化，所述ptz摄像头在收到扫描任务时，即开始执行当前扫描任务，以mis系统发送的扫描结束指令结束当前扫描任务；

或者，所述扫描任务的信息中还包括扫描任务的起止时间，所述ptz摄像头根据扫描任务的起止时间自动执行对应扫描任务。

作为进一步优化，所述ptz摄像头在扫描中仅在ptz摄像头的当前扫描任务的特征库进行人脸特征匹配，在任务结束后自动进入低功耗的空闲状态。

作为进一步优化，所述ptz摄像头设置于房间内的一面墙壁上，设置的高度和位置满足在室内人员在面向该面墙壁时，ptz摄像头能够采集到角度较合理、适于人脸特征化算法的人脸图像。

作为进一步优化，所述mis系统可管理多个ptz摄像头，其包括以下软件模块：人脸特征录入模块、考勤任务制定模块、任务调度模块、考勤结果生成模块；

所述人脸特征录入模块，用于对上传到mis系统中的考勤对象的人脸面部图像进行特征化录入，存储至mis系统的特征数据库中；

所述考勤任务制定模块，用于制定考勤任务，所述考勤任务包括参与人员名单、任务的执行场所和任务执行的起止时间；当系统应用于学校场景时，所述考勤任务根据课时表和对应课时学生名单自动生成；

所述任务调度模块，用于至少根据当前需要执行的考勤任务制定扫描任务并发送给对应的ptz摄像头，并控制ptz摄像头在规定的时间段内进行扫描；

所述考勤结果生成模块，用于收集ptz摄像头的多轮扫描结果并进行汇总生成考勤结果。

作为进一步优化，所述任务调度模块至少根据当前需要执行的考勤任务制定扫描任务并发送给对应的ptz摄像头，具体为：

所述任务调度模块根据考勤任务的执行场所定位到对应ptz摄像头，根据参与人员名单定位到至少包括当前考勤任务涉及到的人脸特征，并从mis系统的特征数据库中取出这些人脸特征；然后根据参与人员名单和相应人员的人脸特征生成扫描任务并发送给所述对应ptz摄像头。

作为进一步优化，所述考勤结果生成模块包括结果获取子模块和汇总子模块；

所述结果获取子模块，用于周期性从ptz摄像头获取当前扫描结果，或者，在通过指令结束扫描任务时或扫描任务自动结束后一次性从ptz摄像头获取扫描结果；

汇总子模块，用于将结果获取子模块获取的多轮扫描结果进行汇总，生成考勤结果。

作为进一步优化，所述考勤结果生成模块收集ptz摄像头的多轮扫描结果并进行汇总生成考勤结果，具体包括：

（1）为每一个参加考勤的人员i设置一个积累值ai，此值初始为0；

（2）mis系统从ptz摄像头中收集多轮扫描结果，对于一轮扫描结果，进行如下处理：

ⅰ.如果人员i的身份没有被匹配到，则ai保持不变；

ⅱ.如果人员i的身份正好被匹配到一次，则对ai累加1；

ⅲ.如果人员i的身份被匹配多次，则对ai累加一次值p，0＜p＜1；

（3）将各轮结果综合后，对于人员i，若ai/k低于设定的阈值，则判定此人员未出勤，k为ptz摄像头扫描的轮数。

作为进一步优化，所述ptz摄像头包括以下软件模块，各个软件模块单独或者以组合的形式提供api接口供外部系统调用：

查询模块，用于提供当前ptz摄像头中缓存的一轮或多轮扫描结果的查询功能，一轮扫描结果包含本轮扫描中对应找到的人脸匹配到的身份列表；

人脸特征库设置模块，用于提供ptz摄像头中的人脸特征库的设置功能：根据mis系统发送的扫描任务中的人员名单和相应人员的人脸特征组织对应扫描任务的人脸特征库。

作为进一步优化，所述ptz摄像头还包括以下软件模块：

扫描任务时间设置模块，用于提供扫描任务的起止时间设置功能；

系统时间设置模块，用于提供ptz摄像头系统时间的设置功能。

作为进一步优化，所述ptz摄像头执行扫描具体包括：

a.ptz摄像头规划一条保证覆盖房间内人脸位置的扫描路径；

b.ptz摄像头沿着规划的路径对房间进行一轮扫描，将视频流中捕捉到的人脸图像进行特征化，在ptz摄像头的人脸特征库进行识别匹配并计入本轮的扫描结果；

c.循环执行步骤b或者循环执行步骤a和b直至到达任务结束时间或者收到mis发送的终止扫描指令；

若循环执行步骤a和b，则步骤a中根据上一轮的扫描结果对当前规划的扫描路径进行更新。

作为进一步优化，该系统还包括考勤反馈接收终端，所述考勤反馈接收终端用于接收mis系统通过推送渠道推送的考勤结果。

本发明的有益效果是：

（1）由于ptz摄像头具有自动变倍和变焦功能，能够不遗漏远处和近处偏僻角度的人脸并且保证人脸的清晰度，从而提高识别的准确性，最终能够有效地减少点名的时间。

（2）在ptz摄像头中实现人脸探测以及特征化匹配，不再需要具有强大性能的中心服务器来实现此功能，从而降低成本。

（3）系统能够感知当前考勤任务的人员对象，因此为ptz摄像头制定的扫描任务中的人员名单可以仅包含当前考勤任务的人员对象，在ptz摄像头进行人脸识别匹配时，匹配范围仅限于扫描任务的人员对象的人脸特征，而非全组织的人员对象的人脸特征，从而减小人脸辨识名单，提高识别匹配效率和准确性。

（4）ptz摄像头在执行扫描过程中，在前一轮扫描时根据探测的人脸位置自动更新规划下一轮扫描的路径，从而在保证人员覆盖的同时节约扫描时间，提高了扫描效率。

（5）在考勤结果的生成上，综合ptz摄像机的多轮扫描结果进行算法统计，从而减小匹配错误的概率，提高考勤的准确性。

（6）ptz摄像头和mis系统各司其职，只需要ptz摄像头提供相关api接口供mis系统调用即可实现本发明的人脸识别考勤功能，mis系统完全不需要感知ptz摄像头如何实现图像处理工作、机械运动这些细节，减小了开发难度。

（7）整个系统从任务设置、图像采集到结果反馈都是无人参与的，方便快捷，并且减少人工参与，提高准确性。

附图说明

图1为本发明的基于mis系统和ptz摄像头的人脸考勤系统结构框图；

图2为mis系统中的软件模块框图；

图3为ptz摄像头中的软件模块框图；

图4为mis系统与ptz摄像头的一种交互过程示意图；

图5为mis系统与ptz摄像头的另一种交互过程示意图。

具体实施方式

本发明旨在提出一种基于mis系统和ptz摄像头的人脸考勤系统，解决传统技术中基于人脸识别的考勤方案存在的考勤准确性低、成本高、考勤效率低的问题。本发明是利用ptz摄像头和mis系统基于组织网络搭建的人脸考勤系统，由mis系统制定考勤任务，在感知考勤任务即将开始时，根据考勤任务制定扫描任务发送给对应场所的ptz摄像头，由对应场所中的ptz摄像头根据扫描任务进行人脸图像采集、识别和匹配，最后由mis系统对ptz摄像头的扫描结果进行综合计算出考勤结果。另外，通过对系统的进一步扩展，mis系统还可以将此考勤结果反馈给考勤反馈接收终端，以供相关人员方便查看考勤情况。

本发明的上述人脸考勤系统不仅适用于学校课堂（中小学、高中、职业院校、大学等）这种具有人员流动性和常规课堂点名需求的场景，同样适用于一些组织的会议签到场景。

如图1所示，本发明中的基于mis系统和ptz摄像头的人脸考勤系统包括mis系统和ptz摄像头；所述mis系统与ptz摄像头通过网络连接；

所述mis系统用于录入考勤对象的人脸特征、制定考勤任务，至少根据当前需要执行的考勤任务制定扫描任务并发送给对应的ptz摄像头，收集ptz摄像头的扫描结果并进行汇总生成考勤结果，所述扫描任务的信息中包括对应考勤任务的人员名单和相应人员的人脸特征；

所述ptz摄像头用于根据收到的扫描任务中的人员名单和相应人员的人脸特征设置对应扫描任务的特征库，在对应扫描任务开始后执行扫描，并在对应扫描任务的特征库中对扫描的人脸图像进行匹配，得到扫描结果。

在具体实现上，mis系统由组织（如公司、学校等）持有，ptz摄像头安装在考勤地点的房间内，mis系统与ptz摄像头之间通过网络建立连接，这里的“网络”可以为组织内部有线网络或者无线网络；一个mis系统可以管理多个ptz摄像头。

需要说明的是，在具体实施时，由于房间的形状、讲台位置等存在差异，本发明中对ptz摄像头的具体安装位置并不作限定，位置选取原则是保证在室内人员面向前方时，ptz摄像头能够采集到角度较合理、适于人脸特征化算法的人脸图像。对于室内有一个或多个主讲人，并有一系列听讲人的应用场景，一个较好的实施例中，ptz摄像头可以安装在房间的听讲人在听讲时脸部统一朝向的一面墙壁上，并且处于墙壁水平方向正中附近，垂直距地面参考高度为1.8-3m的位置，在这个位置基础上可以在水平方向正中位置一定程度向左/右偏移，但不应太远，参考偏移量不超过1m；采用该设置，使得主讲人在此面墙壁前方或一侧进行讲解时，能够让ptz摄像头采集到角度良好的正面图像。

图2示意了mis系统的软件模块构成，其包括：人脸特征录入模块、考勤任务制定模块、任务调度模块、考勤结果生成模块；

所述人脸特征录入模块，用于对上传到mis系统中的考勤对象的人脸面部图像进行特征化录入，存储至mis的特征数据库中；这个特征数据库是为了支撑向ptz摄像头提供考勤任务的人员对应的人脸特征；

所述考勤任务制定模块，用于制定考勤任务，所述考勤任务包括参与人员名单、任务的执行场所和任务执行的起止时间；当系统应用于学校场景时，所述考勤任务根据课时表和对应课时学生名单自动生成；

所述任务调度模块，用于至少根据当前需要执行的考勤任务制定扫描任务并发送给对应的ptz摄像头，并且控制ptz摄像头在规定的时间段内进行扫描；当考勤任务执行的开始时间即将到来时，mis系统自动调度：根据考勤任务的执行场所定位到对应ptz摄像头，根据参与人员名单定位到至少包括当前考勤任务涉及到的人脸特征，并从mis系统的特征数据库中取出这些人脸特征；然后根据参与人员名单和相应人员的人脸特征生成扫描任务发送给所述对应ptz摄像头；这里的“规定的时间段”是指扫描任务的开始、结束时间之间的时段。

需要说明的是，任务调度模块向对应ptz摄像头发送的扫描任务信息可以包含该ptz摄像头的多个扫描任务信息，比如：对于一个教室，任务调度模块可以向该教室的ptz摄像头发送当前课时任务的扫描任务信息（包含了当前在该教室准备上课的学生名单和对应人脸特征）以及下一个或几个课时任务的扫描任务信息（包含了下一个课时或几个课时在该教室准备上课的学生名单和对应人脸特征），这样便于ptz摄像头提前组织当前扫描任务的后面几个扫描任务的特征库。然而，一次发送的扫描任务数量越多，对ptz摄像头的存储要求也越高，因此，为了减少摄像头的存储空间的占用，可以仅向对应ptz摄像头发送当前扫描任务信息。

所述考勤结果生成模块，用于收集ptz摄像头的多轮扫描结果并进行汇总生成考勤结果。

基于上述软件模块的mis系统具备特征录入功能、考勤任务制定功能、对ptz摄像头的任务调度功能和考勤结果生成功能。当然，为了实现结果反馈，还可以设置考勤结果反馈模块，自动向考勤反馈接收终端推送考勤结果。

本发明中ptz摄像头的软件模块包括：查询模块和人脸特征库设置模块；

查询模块，用于提供当前ptz摄像头中缓存的一轮或多轮扫描结果的查询功能，一轮扫描结果包含本轮扫描中对应找到的人脸匹配到的身份列表；

人脸特征库设置模块，用于提供ptz摄像头中的人脸特征库的设置功能：根据mis系统发送的扫描任务中的人员名单和相应人员的人脸特征相应人员组织人脸特征库，比如以<身份-特征值>的形式组织人脸特征库，每一个人脸特征对应mis系统中的一个人员身份。

对应上述mis系统一次发送的一个或多个扫描任务，人脸特征库设置模块根据对应扫描任务的人员名单和相应人员的人脸特征组织对应考勤任务的人脸特征库。可以理解的是，一个扫描任务对应一个人脸特征库，而同一个人脸特征库可能对应多个扫描任务，这是由于不同时段的考勤人员名单可能相同，比如：对于一个教室，在上午9:00-9:45有一批学生在该教室学习一门课程，而在下午3:00-3:45同一批学生在该教室学习另一门课程，那么对于上午9:00-9:45的扫描任务和下午3:00-3:45的扫描任务而言，应当对应同一个人脸特征库。

此外，本发明中的ptz摄像头还可以基于时间感知自动执行考勤任务，对应的，其还可以包括扫描任务时间设置模块和系统时间设置模块，如图3所示；

其中，扫描任务时间设置模块，用于提供扫描任务的起止时间设置功能；

系统时间设置模块，用于提供ptz摄像头系统时间的设置功能，为扫描任务的自动执行提供准确的时间参考；

上述各个软件模块可以单独或者以组合的形式提供api接口供mis系统调用。api接口包括开始/结束扫描任务、查询扫描结果、设置人脸特征库。这些api接口不依赖具体的网络协议和实现形态。

本发明基于上述mis系统和ptz摄像头共同作用实现了房间内的人脸识别考勤功能，具体如下：

1.事先将组织中的人员的面部图像上传到mis系统进行特征化；mis系统采用与ptz摄像头内部相同的人脸特征化标准算法，从而实现mis系统中的人脸特征库中的人脸特征可以直接加载到ptz摄像头中。对于学校场景而言，此步骤实现比较方便，比如：新生入学办理手续时学校可以顺便拍照收集学生人像信息，录入mis系统中。

2.提前在mis系统中制定考勤任务，考勤任务的内容包括：参与人员的名单、任务的场所和任务的起止时间。对于学校场景而言，此步骤实现尤其方便，可以利用学校的课时表和对应的课时应当出勤的学生姓名、学号信息自动生成考勤任务，并且可以周期性自动执行，不需要人工参与。

3.mis系统检测到考勤任务即将开始则进行一系列工作：

①通过任务发生的场所定位到对应ptz摄像头；

②通过参与人员名单定位到至少包括当前考勤任务涉及到的人脸特征，从特征数据库中取出这些特征；

③根据任务的相关信息（至少包括当前考勤任务的人员名单和相应人员的人脸特征）生成扫描任务发送给对应ptz摄像头，控制ptz摄像头在规定的时间段内进行扫描。

需要说明的是，本发明中mis系统对ptz摄像头的扫描控制有两种典型策略，但不仅限于此两种策略：

（1）ptz摄像头内置时钟（能够感知时间）：mis系统告知ptz摄像头的时钟如何校准，发送给ptz摄像头的扫描任务信息中还包含扫描任务的起止时间，在到达相应时间时，ptz摄像头能够自动开始/结束扫描；

（2）ptz摄像头无需内置时钟（无需感知时间）：扫描任务信息中无需包含扫描任务的起止时间，mis系统发送扫描任务信息给ptz摄像头时，ptz摄像头根据扫描任务信息中的人员名单和相应人员的人脸特征组织特征库后就开始扫描，在收到mis系统发送的结束指令后，ptz摄像头扫描结束。

4、在任务定义的反馈时间或者结束时间，mis系统将收集到的ptz摄像头的扫描结果综合起来形成点名结果，通过短信/消息推送等方式自动汇报给考勤反馈接收终端，例如手机、组织的管理报表终端、课堂的讲台电脑等。

可以看出，本发明中，mis系统既可以通过指令控制ptz摄像头开始/结束扫描任务，也可以由ptz摄像头根据扫描任务的起止时间自动开始/结束扫描任务，那么二者之间的交互过程也对应有两种情况，具体说明如下：

参见图4，为mis系统与ptz摄像头的一种交互过程（ptz摄像头无时钟）：

a：mis系统根据当前考勤任务制定扫描任务并发送给对应ptz摄像头，并通知对应ptz摄像头开始执行扫描任务；对应ptz摄像头根据扫描任务中的参与人员名单和相应人员的人脸特征在本地组织人脸特征库即开始执行扫描；

b:在收到mis系统的结束扫描指令之前，ptz摄像头周期性进行房间空间扫描。每一个周期扫描后形成一轮扫描结果并缓存下来，直到被外部请求（由mis系统发送）读取；

c:mis系统从ptz摄像头获取扫描结果，具体实现可有两种方式：一种为在任务结束时一次性从ptz摄像头获取缓存的所有轮的扫描结果进行汇总；而出于节省ptz缓存空间以及提高可靠性的考虑，另一种实现方式为：mis系统周期性地询问ptz摄像头当前的扫描结果，在任务结束时将mis系统多个周期获取的扫描结果汇总起来，形成考勤结果，因此，在mis系统每一次获取ptz摄像头当前的扫描结果后，ptz摄像头就可以将这些扫描结果清空，从而将缓存空间提供给后面的扫描；此方式还能避免ptz摄像头或者网络产生故障后，mis系统直至最后才发现故障而无法获取到任何的扫描结果，以提高可靠性；

d:在考勤任务定义的结束时间，mis系统发送扫描结束请求给ptz摄像头（并获取ptz最后的扫描结果），ptz摄像头在反馈扫描结果后停止扫描，进入低功耗的空闲状态。

参见图5，为mis系统与ptz摄像头的另一种交互过程（ptz摄像头有时钟）：

a：mis系统根据考勤任务制定扫描任务，在这个交互场景中ptz摄像头具有时间感知功能，能够自动开始/结束扫描，mis系统可以提前（在考勤任务开始之前）将扫描任务发送给对应ptz摄像头，扫描任务中的信息除了参与人员名单和相应人员的人脸特征，还包括扫描任务的起止时间；ptz摄像头根据参与人员名单和相应人员的人脸特征在本地组织人脸特征库，并配置扫描任务的起止时间；

b:在扫描任务的开始时间到时，ptz摄像头自动执行扫描。每一个周期扫描后形成一轮扫描结果并缓存下来，直到被外部请求（由mis系统发送）读取；

c:mis系统从ptz摄像头获取扫描结果，具体实现可有两种方式：一种为在考勤任务结束后一次性从ptz摄像头获取缓存的所有轮的扫描结果进行汇总；而出于节省ptz缓存空间以及提高可靠性的考虑，另一种实现方式为：mis系统周期性地询问ptz摄像头当前的扫描结果，在考勤任务结束后将mis系统多个周期获取的扫描结果汇总起来，形成考勤结果，因此，在mis系统每一次获取ptz摄像头当前的扫描结果后，ptz摄像头就可以将这些扫描结果清空，从而将缓存空间提供给后面的扫描；此方式还能避免ptz摄像头或者网络产生故障后，mis系统直至最后才发现故障而无法获取到任何的扫描结果，以提高可靠性；

d:在扫描任务的结束时间到时，ptz摄像头自动结束扫描，进入一个低功耗的空闲状态，mis系统可以在此后发送请求获取ptz摄像头的扫描结果。

在ptz摄像头执行扫描方面，ptz摄像头扫描开始时，按照预先规划的扫描初始路径进行扫描；在扫描过程中根据探测到的人脸位置自动规划更新生成下一轮的扫描路径；在下一轮扫描时，根据上一轮规划更新的扫描路径执行扫描；循环执行上述扫描和路径规划更新过程，直至本次考勤任务结束或者收到终止扫描指令。通过该策略不断对扫描路径进行自动调整优化，从而在保证人员覆盖的同时节约扫描时间，提高了扫描效率。当然，作为另一种简化方案，ptz摄像头也可以一直按照预先规划的扫描路径进行扫描。

在mis系统的考勤结果生成方面，为了保证考勤的准确率，本发明通过收集ptz摄像头的多轮扫描结果并进行汇总加权判定，具体如下：

（1）为每一个参加考勤的人员i设置一个积累值ai，此值初始为0；

（2）mis系统从ptz摄像头中收集多轮扫描结果，对于一轮扫描结果，进行如下处理：

ⅰ.若人员i的身份没有被匹配到，则ai保持不变，即表示本轮扫描中未匹配到该人员；

ⅱ.若人员i的身份正好被匹配到一次，可以认为这个匹配为准确的匹配，则对ai累加1；

ⅲ.若人员i的身份被匹配多次，说明至少有一张人脸被错误匹配到人员的身份，因此削弱了此身份被正确匹配的可信度，则对ai累加一个小于1的值p，0＜p＜1；

（3）将各轮结果综合后，对于人员i，若ai/k低于设定的阈值，则判定此人员未出勤，k为ptz摄像头扫描的轮数。

综上所述，本发明实现了一种能够适用于多场景的人脸考勤系统，能够自动、高效、准确地完成考勤任务，从而达到代替常规的点名签到活动或者极大减少需要点名签到人员数量的效果。