基于用户人脸和二维码验证的智能门锁及其运行方法与流程

本发明涉及基于生物识别的门禁控制领域，尤其是一种基于用户人脸和二维码验证的智能门锁及其运行方法。

背景技术：

人脸识别门禁是跟随计算机网络技术，人工智能技术的发展而兴起的一种新型的门禁应用技术，由于其方便，非接触等优点逐步在门禁行业得到推广和使用。

目前，常用的人脸识别门禁由于安装环境差异很大，如在光线差的情况下需要考虑补光，在强光环境下需要考虑增加宽动态等技术，导致部分应用场景下需要独立配置人脸门禁相关的环节，比如摄像头，比如补光灯等，否则必然导致人脸识别门禁的识别率降低，降低用户体验。

另外，二维码技术也逐步被引入到门禁系统中，通过用户扫码进行开门也为用户带来便捷。但也应该看到，二维码扫码开门，存在二维码被转发、复制，盗用等安全隐患，为所在环境带来安全隐患。

常见的解决办法，比如申请号为201610078317.6的申请公开了一种基于二维码和人脸识别的门禁访问方法和系统。包括：住户通过门禁app智能终端向后台服务器申请访客通行二维码；访客通过门禁app智能终端从后台服务器获取访客通行二维码，并且将人脸图像上传到服务器与所述访客id关联；门禁控制器通过输入装置识读门禁app智能终端上呈现的访客通行证二维码，摄取访客的人脸图像；门禁控制器判断生成的界面信息与存储的授权信息的一致性。

上述方案需要先行对用户信息进行注册，使用人脸图像上传到服务器与访客的id关联，其完整过程都需要连接互联网使用，一旦缺乏网络或者网络失效，必然导致门禁功能的失效。

技术实现要素：

本发明的发明目的在于：针对上述存在的问题，提供一种基于用户人脸和二维码验证的智能门锁及其运行方法。以在不依赖无线网络的情况下，安全、快速地实现对用户身份进行准确认证。

本发明采用的技术方案如下：

一种基于用户人脸和二维码验证的智能门锁，包括：前端识别处理模块和其分别连接的图像采集模块、门禁白名单管理模块、用户连接模块和门禁控制模块，用户连接模块与用户终端连接；其中：

门禁白名单管理模块用于构建合法的白名单图像库，所述白名单图像库包括至少一个用户的白名单图像，所述白名单图像包含相互关联的：用户人脸图像和对应用户终端的终端标识；

用户终端用于与用户连接模块建立连接，还向图像采集模块展示门禁二维码，该门禁二维码由用户终端或前端识别处理模块在本地生成；该门禁二维码包含用户终端的终端标识，以及用户终端与用户连接模块建立连接的时间信息；

图像采集模块用于在用户终端与用户连接模块建立连接后，分别采集用户的人脸图像和所述门禁二维码，将人脸图像和门禁二维码发送给前端识别处理模块；

前端识别处理模块用于记录所述用户终端与用户连接模块建立连接的时间信息，还识别出所述门禁二维码中携带的时间信息和终端标识；并基于白名单图像库对该终端标识和接收的人脸图像进行验证，基于记录的时间信息对门禁二维码中携带的时间信息进行验证；在对终端标识、人脸图像和时间信息均验证通过后，向门禁控制模块发送开启信号，以使门禁控制模块开启门禁。

上述智能门锁的运行方法：包括以下步骤：

s1：管理员在门禁白名单管理模块中配置合法的白名单图像库；

s2：用户通过操作用户终端，使之与用户连接模块建立连接，还通过用户终端向图像采集模块展示门禁二维码；

s3：图像采集模块采集用户的人脸图像和所述门禁二维码；

s4：前端识别处理模块记录s2中，所述用户终端与用户连接模块建立连接的时间信息；识别出s3中采集的门禁二维码中携带的时间信息和终端标识；基于白名单图像库对该终端标识和s3中采集的人脸图像进行验证，基于记录的时间信息对门禁二维码中携带的时间信息进行验证；在对终端标识、人脸图像和时间信息均验证通过后，执行s5；

s5：门禁控制模块开启门禁。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本设计中的门禁二维码为在本地生成，无需后台服务器（远端服务器）的支持，对无线网络的依赖度低，在整体上保证了系统运行的连续性和安全性（防信号干扰和网络入侵）。

2、本设计对（门禁）二维码设定时效性，即设定二维码为动态二维码，避免了二维码被转发、盗用的情况，提高了使用环境的安全性。本设计对二维码和人脸的双重验证，可提高对用户合法性身份验证的准确性，同时，基于时效性的设定，本设计不再对人脸采集设备的安装和选材有高精度要求，只要识别结果能满足模糊识别（如80%或更低相似度）即可，极大地降低了安装难度，加强了白名单人员的识别精度和准确度，同时也降低了系统数据的运算负荷。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是智能门锁的模块构造图。

图2时智能门锁运行方法流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本实施例公开了一种基于用户人脸和二维码验证的智能门锁，包括前端识别处理模块和其分别连接的图像采集模块、门禁白名单管理模块、用户连接模块和门禁控制模块，用户连接模块与用户终端连接；其中：

门禁白名单管理模块用于根据管理员的配置，构建合法的白名单图像库，对应可通行的用户名单，该白名单图像库包括至少一个用户的白名单图像，该白名单图像包含相互关联的：用户人脸图像和对应用户终端的终端标识。终端标识作为人脸图像的标记，选用具有唯一标识性的参数，例如手机号、imei、入网标识、软件编号等。

用户终端用于与用户连接模块建立连接，用户连接模块可以理解为一种通信器和时钟的结合；用户终端还向图像采集模块展示门禁二维码，该门禁二维码由用户终端或前端识别处理模块在本地生成；该门禁二维码包含用户终端的终端标识，以及用户终端与用户连接模块建立连接的时间信息（即时间点）。对于用户终端与用户连接模块的连接方式，包括但不限于蜂窝移动网络、蓝牙、wlan、射频通信中的一种，也可以采用其它近场通信方式。用户终端可选用搭载有专用app的智能手机。

图像采集模块用于在用户终端与用户连接模块建立连接后，分别采集用户的人脸图像和所述门禁二维码，将人脸图像和门禁二维码发送给前端识别处理模块。对于图像采集模块，选用常规的数码摄像机即可，优选设立于用户请求开启门禁时，离用户0.8-1.5米，例如1.2米，进而保证人脸采集的质量。当然，由于本设计对于人脸识别结果的精度要求不高，设置其它距离也是完全可以实现识别效果的。而对于对图像采集模块的触发，可选为在门禁处设置有感应器，例如红外感应器或地感线圈，用户位于感应区域内则自动触发图像采集模块工作；或者为，用户终端与用户连接模块建立连接后，前端识别处理模块在记录此时的时间信息时，还控制图像采集模块工作。

前端识别处理模块用于记录所述用户终端与用户连接模块建立连接的时间信息，还识别出所述门禁二维码中携带的时间信息和终端标识；并基于白名单图像库对该终端标识和接收的人脸图像进行验证，基于记录的时间信息对门禁二维码中携带的时间信息进行验证；在对终端标识、人脸图像和时间信息均验证通过后，向门禁控制模块发送开启信号，以使门禁控制模块开启门禁。此处开启信号可以为单纯的触发信号，例如脉冲信号。

一般的，上述白名单图像库中的人脸图像，为以从人脸图像中提取的特征值所表征的人脸图像；对于采集的人脸图像的验证，同样为基于对采集的人脸图像所提取的特征值进行的验证。

对于提取人脸图像的特征值，其包括以下流程：对人脸图像中的人脸进行定位，标定人脸的位置和大小，再对定位的人脸图像进行预处理：光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等，再提取预处理后人脸图像的特征值，以字符串或矩阵形式表征。

本方案无需依赖稳定的无线网络即可实现用户终端与门禁系统间的连接，相较于传统方案中需要后台服务器集中派发二维码的方案，对无线网络的依耐性低，验证块速，私密性高。同时，无需远端服务器（后台服务器）注册二维码，过程简单，节省对二维码的存储空间。同时基于时间信息的验证，保证了二维码的时效性，避免了被转发、盗用的可能。

在另一种实施方式中，门禁白名单管理模块还根据管理员的配置，构建非法的黑名单图像库，对应禁止通行的用户名单，该黑名单图像库存储用户的黑名单图像，包括相互关联的用户人脸图像的特征值和对应用户终端的终端标识。前端识别处理模块在验证终端标识和人脸图像过程中，若基于黑名单图像库验证通过，则执行报警操作。

上述方案设定黑名单，可对非法用户进行预警。

本实施例公开了门禁二维码的生成方案：

用户终端根据记录的与用户连接模块建立连接的时间信息，再结合终端标识生成门禁二维码；或者，

用户终端与用户连接模块建立连接，并通过用户连接模块向前端识别处理模块发送门禁二维码请求，该请求中携带有终端标识；前端识别处理模块根据用户终端与用户连接模块建立连接时的时间信息，以及所述终端标识，生成门禁二维码，通过用户连接模块反馈给用户终端。

本实施例公开了前端识别处理模块对时间信息进行验证的方案：

前端识别处理模块获取当前时间，根据终端标识获取对应的用户终端与用户连接模块建立连接的时间信息，并计算当前时间与所述时间信息的时间差，在该时间差在预设阈值范围（如20s-2mins）内时，视为验证通过。对于前端识别处理模块所记录的时间信息，其与用户终端存在关联关系，通过确定终端标识即可确定对应用户终端与用户连接模块建立连接的时间信息。也就是说，对于时间信息的验证需要结合终端标识进行。

对二维码设定时效性，可有效防止二维码被转发、盗用，进而提高门禁控制的安全性。

本实施例公开了前端识别处理模块对终端标识和人脸图像进行验证的方案：

前端识别处理模块在白名单图像库中查找所述终端标识，在查找到终端标识时，视为对终端标识验证通过，再提取该终端标识所关联的人脸图像的特征值，计算采集的人脸图像的特征值与从白名单图像库中提取的人脸图像的特征值的相似度，在相似度达到预设阈值门限值（如80%-90%）时，视为对人脸图像验证通过。

传统的人脸识别门禁系统中，基于对安全性的要求，要求人脸相似度达到99%才视为同一人。而本方案中，仅需进行模糊识别即可满足安全性的要求，例如设定相似度为80%、85%或88%，该方案属于对时间和终端标识的第一层验证后的第二层验证，因此，设定一个可大概判断人像的阈值范围即可。通过该方式，既可以保证对用户合法性的高准确度识别，又可明显降低人脸识别环节的数据计算量，例如通过降低采样点数量进行特征值表征的方式，由此减小处理器符合，缩短验证时间。

如图2所示，本实施例公开了上述智能门锁的运行方法，包括以下步骤：

s1：管理员在门禁白名单管理模块中配置合法的白名单图像库；

s2：用户通过操作用户终端，使之与用户连接模块建立连接，还通过用户终端向图像采集模块展示门禁二维码；

s3：图像采集模块采集用户的人脸图像和门禁二维码；

s4：前端识别处理模块记录s2中，所述用户终端与用户连接模块建立连接的时间信息；识别出s3中采集的门禁二维码中携带的时间信息和终端标识；基于白名单图像库对该终端标识和s3中采集的人脸图像进行验证，基于记录的时间信息对门禁二维码中携带的时间信息进行验证；在对终端标识、人脸图像和时间信息均验证通过后，执行s5；对于终端标识和时间信息验证通过，则视为二维码为有效门禁二维码；

s5：门禁控制模块开启门禁。

该方式结合携带终端标识的二维码和用户人脸的双重验证实现对门禁的控制，并且该二维码还存在时效性，因此，在保证对用户的合法性验证的同时，避免了二维码被转发、盗用的可能性。

上述方法中，若对终端标识、人脸图像或时间信息验证不通过时，优选向用户终端提示验证失败/开启门禁失败的原因。

基于上一实施例，本实施例公开了智能门锁的另一种运行方法：

s1中，管理员还在门禁白名单管理模块中配置非法的黑名单图像库；

方法还包括s6：前端识别处理模块执行报警操作；

s4中，前端识别处理模块在验证终端标识和人脸图像过程中，若基于黑名单图像库验证通过，则执行s6。

本实施例公开了上述过程中，用户终端所展示的门禁二维码的生成方法：

s2-1：用户终端根据记录的与用户连接模块建立连接的时间信息，结合终端标识生成门禁二维码；或者为，

s2-1’：用户终端与用户连接模块建立连接，并通过用户连接模块向前端识别处理模块发送门禁二维码请求，该请求中携带有终端标识；前端识别处理模块根据用户终端与用户连接模块建立连接时的时间信息，以及所述终端标识，生成门禁二维码，通过用户连接模块反馈给用户终端。

本实施例公开了上述方法中，上述s4中，对时间信息的验证方法：

s4-1：前端识别处理模块获取当前时间，根据终端标识获取对应的用户终端与用户连接模块建立连接的时间信息，并计算当前时间与所述时间信息的时间差，在该时间差在预设阈值范围（如20s-2mins）内时，视为验证通过。

本实施例公开了上述方法中，上述s4中，对终端标识和人脸图像进行验证的方法：

s4-2：前端识别处理模块在白名单图像库中查找所述终端标识，在查找到终端标识时，视为对终端标识验证通过，执行s4-3；

s4-3：提取该终端标识所关联的人脸图像的特征值，计算采集的人脸图像的特征值与从白名单图像库中提取的人脸图像的特征值的相似度，在相似度达到预设阈值门限值（如80%-90%）时，视为对人脸图像验证通过。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。