基于人脸识别与活体检测技术的动态哈希密码键盘的制作方法

本发明涉及一种涉及安全输入方法的键盘，尤其是涉及一种基于人脸识别与活体检测技术的动态哈希密码键盘。

背景技术

密码键盘是一种广泛应用在金融、证券行业用户交易密码输入的计算机外部设备。其本质是一个通过接口电路与上位机联结的计算机外设，其中上位机可以为pc机也可以是云端服务器。交易用户在使用密码键盘时，键盘会将用户的键入操作按照预设的规则转化为相应的键值(一般为二进制串)，传给上位机的云服务器。

目前大多数密码键盘都是将字符印在塑料键帽上，类似于计算机用的键盘，每个键上的字符和键位都是固定的。当交易用户在输入密码的时候，会根据按键上固定的键码(即按键上的字符)键入自己预先设定的密码。不过这种输入方式存在很大的安全风险，犯罪分子可以在较近的距离内，非常轻易地偷窥到交易用户输入的密码内容，即使距离较远，也可以通过偷窥用户输入密码时手的动作和位置，推知用户密码。更有甚者，还可以在暗处安装微型摄像机达到以上非法的目的。为了解决上述问题，出现了防护罩、一米线等被动型的防偷窥手段，但效果始终不尽人意。更危险的是，一旦密码被人盗取，犯罪分子可以轻易地在atm机取走钱款，并不需要进行其他验证。

随着人工智能技术的发展，人脸识别等技术逐渐应用在一些商业领域中。通过对深度学习网络的训练，人脸识别系统可以较为准确地识别输入人脸和数据库中人脸的匹配程度。基于此技术，交易系统可以较为准确地识别交易用户是否为账户的主人，大幅降低密码被盗后的风险。但人脸识别也存在一些技术漏洞，如果犯罪者拿账户主人的照片去完成人脸识别，是有可能破解掉系统的。所以还需要活体监测技术，判断输入人脸是否是真实人脸。除此之外，为了防止犯罪者偷窥密码的输入键位和顺序，可以用哈希算法动态生成密码键盘的键值，根据规则不断刷新密码键盘键位排列，让偷窥者无从记录。

技术实现要素：

本发明提供了一种基于人脸识别与活体检测技术的动态哈希密码键盘，解决了用户在输入账户密码时，防止犯罪者偷窥密码的输入键位和顺序的问题，其技术方案如下所述：

一种基于人脸识别与活体检测技术的动态哈希密码键盘，包括控制处理电路和分别与其相连接的显示输入组件、内置摄像头、云服务器通讯模块，还包括人脸识别系统，所述内置摄像头实时获取交易用户及其邻近范围的影像，并通过云服务器通讯模块上传至云服务器中的人脸识别系统，进行人脸识别和活体检测，当摄像头每一次检测到除交易用户以外的人脸时刷新键盘上的键值，键值的设置通过与控制处理电路相连接的上位机来计算，每一次刷新上位机根据哈希算法生成一组键位，传给控制处理电路中的键位输入及运算电路，直到用户通过显示输入组件输入完密码，进入账户。

人脸识别系统的识别涉及两部分数据库：银行的用户信息数据库和公安部联网的黑名单数据库。

所述显示输入组件包括液晶键码显示器，液晶键码显示器在控制处理电路的控制下显示0-9十个数字键码及更正键、清除键；显示输入组件还包括与液晶键码显示器相应的键值输入装置、更正键、清除键。

所述液晶键码显示器设置有独立的液晶片，分别用于显示0-9十个数字键码及更正键、清除键，键值输入装置为独立开关器件，每个液晶片与一个相应的独立开关器件相配合，所述独立开关器件为机械按钮、电容开关或导电橡胶开关。

所述键位输入装置的按键联接为3×4矩阵电路，矩阵电路的行线与单片机ic1的输入脚连接，单片机ic1用于对键盘的矩阵电路扫描并在按键按下时作相应处理。

所述内置摄像头位于密码键盘前部，底部安装有角度调节装置，能够根据实际应用环境调节角度，内置摄像头的帧率30fps，分辨率640x480，采用cmos传感器。

所述人脸识别系统包括依次进行处理的人脸检测模块、人脸对齐模块、人脸识别模块和活体检测模块，其中人脸检测模块、人脸对齐模块、人脸识别模块实现人脸识别步骤，活体检测模块用于实现活体检测步骤。

所述云服务器通讯模块包括数据发送模块、数据查询模块、反馈接收模块，所述数据发送模块将内置摄像头捕捉到的二维人脸数据传输到云服务器中；所述数据查询模块能够对人类识别结果进行查询，同时对与云服务器联网的公安部黑名单进行查询；所述反馈接收模块用于获取人脸识别结果，若结果符合要求则激活密码键盘电路，否则锁死密码键盘。

键盘工作流程包括以下步骤：

(1)用户准备操作密码键盘；

(2)内置摄像头采集人脸图像；

(3)内置摄像头采集到的数据通过云服务器通讯模块传输到云服务器中；

(4)云服务器中的人脸识别系统进行信息比对，包括进行人脸识别和活体检测；

(5)与户主人脸一致开启键盘，否则锁死键盘；

(6)内置摄像头传输实时影像，输入过程检测到其他人脸，则刷新键位，上位机根据哈希算法生成动态键位，然后用户输入密码；

(7)用户进入账户，完成操作。

进一步的，步骤(4)中，若识别到的人脸和银行的用户信息数据库中用户人脸匹配，则云服务器发送消息至显示输入组件，允许交易用户进行输入；若识别结果与银行用户数据库中人脸不匹配，则锁死显示输入组件，避免银行卡被犯罪者盗刷；若识别到的人脸，与公安部联网的黑名单数据库中人脸相匹配，则触发报警。

本发明提供的该键盘可以通过内置摄像头获取交易用户的人脸，通过集成通信模块，将其和云服务器中银行数据库，和与公安部联网的黑名单数据库里的人脸进行比对，并进行活体检测，若与银行数据库中用户信息配对成功且活体检测结果为真实人脸，则可以输入密码进行交易，否则锁定密码键盘或触发报警。输入密码时，每当摄像头中检测到多于一个人脸时，键盘的键值排列会变化一次，用动态变化的键值确保密码键盘的安全性。为保证键值排列的客观性和随机性，本发明采用哈希算法生成各组键值排列。通过以上方式，本发明可以很好地解决密码被盗后银行卡被盗刷，以及输入密码时键位和输入顺序被偷窥等问题，大幅提升交易的安全程度。此外，云服务器内设置有黑名单查询功能，直接与公安部数据库关联，若识别到黑名单中的人脸会触发报警。

附图说明

图1是本发明中的功能模块结构图；

图2是本发明的系统流程图；

图3是人脸识别系统流程图；

图4是深度学习网络训练流程图；

图5是云服务器通讯模块运行流程图；

图6是密码键盘动态键位生成运行流程图。

具体实施方式

如图1所示，本发明提供的基于人脸识别与活体检测技术的动态哈希密码键盘包括显示输入组件、相应的控制处理电路、内置摄像头、人脸识别系统及云服务器通讯模块五部分。显示输入组件由液晶键码显示器及与之相应的键值输入装置、更正键、清除键组成；控制处理电路控制液晶键码显示器显示0-9十个数字键码及更正键、清除键，键值输入装置则将选定键所对应的键值送入控制处理电路，经处理后传输至上位机。内置摄像头可以实时获取交易用户及其邻近范围的影像，并通过云服务器通讯模块上传至云服务器中的人脸识别系统，进行人脸识别和活体检测。

本发明中，识别涉及两部分数据库：银行的用户信息数据库和公安部联网的黑名单数据库。若识别到的人脸和银行的用户信息数据库中用户人脸匹配，则发送消息至显示输入组件，允许交易用户进行输入，若识别结果与银行用户数据库中人脸不匹配，则锁死显示输入组件，避免银行卡被犯罪者盗刷。若识别到的人脸，与公安部联网的黑名单数据库中人脸相匹配，则触发报警。

所述液晶键码显示器包括0-9十个独立的液晶片，键值输入装置为独立开关器件，每个液晶片与一个相应的独立开关器件相配合。独立开关器件为机械按钮、电容开关或导电橡胶开关。更正键、清除键也如此对应设置。

所述控制处理电路包括键位输入及运算电路，键位输入装置的按键联接为3×4矩阵电路，矩阵电路的行线与单片机ic1的输入脚联接，单片机ic1的作用是对键盘矩阵电路扫描并在按键按下时作相应处理。键值的设置通过上位机来计算，每一次刷新根据哈希算法生成一组键位，传给键位矩阵电路。当摄像头每一次检测到除交易用户以外的人脸时刷新键值。

内置摄像头位于密码键盘前部，可根据实际应用环境调节角度，以获得有效视野。摄像头帧率30fps，分辨率640x480，采用cmos传感器。

所述相应的动态键值生成方法，首先确定随机数取值，在本发明中为0-9的10个整数；将此10个整数存储在数组中，通过哈希表对这10个整数随机分配位置，以达到随机生成密码键位的目的，防止密码被不法分子推测。

所述相应的人脸识别系统由四个依次进行操作的子模块组成，分别是：人脸检测(facedetection)、人脸对齐(facealignment)、人脸识别(facerecognition)和活体检测。

人脸检测(facedetection)部分，系统通过内置摄像头传输的实时影像，检测画面中的人脸，并记录整个画面中人脸的数量，如果超过一个人脸，则刷新一次键位。经过人脸检测步骤，可以将画面中的人脸与画面其他部分分隔开，再通过人脸对齐(facealignment)技术将人脸的各个关键点进行标注，如眼角、鼻尖、嘴角等，可以通过这些关键点确定五官和人脸轮廓。经过以上的预处理步骤，可进行人脸识别(facerecognition)。

本发明采用googlenet的卷积神经网络架构，此架构是近两年非常流行的深度学习网络架构，对于处理人脸识别和一些分类问题效果很好。本系统在其基础上进行了fine-tune训练，训练采用了casia人脸数据库。googlenet网络共有22层，另有三个全连接层，本系统在第21层提取了人脸特征用于识别，其准确率可达99+％，可以非常精准地判断交易用户实时影像是否和数据库中存储的用户影像(如身份证照片)相匹配。

最后一个步骤是活体检测，用于避免犯罪者用交易用户的照片应对人脸识别检测。系统会随机让交易用户完成眨眼、点头、摇头等操作，通过内置摄像头获取实时影像进行分析，人脸识别系统会根据眼睛或嘴巴等张合状态变化情况来区分照片和人脸。经验证，本发明的人脸活体检测模块可以发现非法的输入人脸(人脸照片、视频等)。

所述相应的云服务器通讯模块由数据发送模块、数据查询模块、反馈接收模块组成。数据发送模块将摄像头捕捉到的二维人脸数据传输到云服务器中；数据查询模块可对人类识别结果进行查询，同时对与云服务器联网的公安部黑名单进行查询；反馈接收模块则获取人脸识别结果，若结果符合要求则激活密码键盘电路，否则锁死密码键盘。

综上所述，本发明在传统密码键盘的基础上添加了人脸识别和活体检测功能，通过与云服务器中的数据进行比对，可以很好的判断交易用户是否为户主本人，避免银行卡被盗刷等财产损失。若人脸识别结果与公安部联网数据库中黑名单重合，则可以触发报警。同时，本发明用哈希算法设计了动态密码功能，当摄像头画面中出现可疑人员时刷新键位，有效防止由于犯罪者偷窥而导致的密码泄漏。

发明实例一：本发明工作流程如图2所示。当用户在柜台前准备操作键盘时，摄像头会首先采集操作者的人脸图像，并通过通讯模块上传至云服务器中。云服务器中的人脸识别系统会将采集到的人脸图像与数据库图像进行比对，数据库分为银行的用户信息数据库和公安部联网的黑名单数据库。若识别到的人脸和银行的用户信息数据库中用户人脸匹配，则发送消息至显示输入组件，允许交易用户进行输入，若识别结果与银行用户数据库中人脸不匹配，则锁死显示输入组件，避免银行卡被犯罪者盗刷。若识别到的人脸，与公安部联网的黑名单数据库中人脸相匹配，则触发报警。密码键盘通过哈希算法动态生成键位排列，如果用户输入过程中检测到其他人脸，则刷新一组新的键位，直到用户输入完密码，进入账户。

发明实例二：本发明所述人脸识别系统运行流程如图3所示。首先，系统通过内置摄像头传输的实时影像，检测画面中的人脸，并记录整个画面中人脸的数量，如果超过一个人脸，则刷新一次键位。经过人脸检测步骤，可以将画面中的人脸与画面其他部分分隔开，再通过人脸对齐技术将人脸的各个关键点进行标注，以确定五官和人脸轮廓。经过以上的预处理步骤，可进行人脸识别操作，将预处理过的人脸数据作为输入送入卷积神经网络，训练好的网络会检索出数据库中匹配的户主人脸图像。若卷积神经网络没有在数据库中找到相应的人脸，则操作者不是户主本人。若卷积神经网络在公安部联网黑名单数据库中找到相应的人脸，则触发报警。

发明实例三：本发明所述深度学习网络训练流程如图4所示。本发明采用googlenet的卷积神经网络架构，并在其基础上进行了fine-tune训练。googlenet网络共有22层，另有三个全连接层。首先输入一张经过预处理的人脸图像，在网络的第一层会进行一次归一化操作。之后会逐层进行多次卷积计算，在网络中段第12层的池化结果如图所示。池化后继续进行多次卷积计算，在第21层提取了人脸特征用于识别，其准确率可达99％以上，可以非常精准地判断交易用户实时影像是否和数据库中存储的用户影像(如身份证照片)相匹配。

发明实例四：本发明所述云服务器通讯模块运行流程图如图5所示。首先，由摄像头采集操作者人脸图像，由数据发送模块发送至云服务器。在云服务器中，由数据查询模块在数据库中识别人脸信息，查询结果经反馈接收模块传送回密码键盘，决定是否开启键盘锁。

发明实例五：本发明所述密码键盘动态键位生成运行流程图如图6所示。首先，建立随机数数组，本发明中即为0-9的10个键值。之后，用哈希表对10个键值进行随机派位，以获得随机的键值排列。排列好的键值会送到液晶显示模块等待用户下一步操作。同时，键位生成模块会监听来自人脸识别系统的信息，如果人脸识别系统识别到摄像头视野中多于一个人脸，则发送指令刷新一次键位。

本发明提供的该键盘可以通过内置摄像头获取交易用户的人脸，通过集成通信模块，将其和云服务器中银行数据库，和与公安部联网的黑名单数据库里的人脸进行比对，并进行活体检测，若与银行数据库中用户信息配对成功且活体检测结果为真实人脸，则可以输入密码进行交易，否则锁定密码键盘或触发报警。输入密码时，每当摄像头中检测到多于一个人脸时，键盘的键值排列会变化一次，用动态变化的键值确保密码键盘的安全性。为保证键值排列的客观性和随机性，本发明采用哈希算法生成各组键值排列。通过以上方式，本发明可以很好地解决密码被盗后银行卡被盗刷，以及输入密码时键位和输入顺序被偷窥等问题，大幅提升交易的安全程度。此外，云服务器内设置有黑名单查询功能，直接与公安部数据库关联，若识别到黑名单中的人脸会触发报警。