基于遮挡人脸的身份登录认证方法及系统、设备、介质与流程

本发明涉及人脸认证，尤其涉及一种基于遮挡人脸的身份登录认证方法及系统、设备、介质，用于通过建立遮挡人脸识别网络模型裁剪获得有障碍物遮挡的人脸区域图像，接着使用人脸识别网络模型中带有注意力机制的特征增强模块增强人脸识别效果，然后通过提取人脸图像中人眼的特征，识别遮挡人脸的身份，完成基于遮挡人脸的身份登录认证。

背景技术：

1、人脸识别在我们的日常生活之中非常常见，手机解锁需要通过人脸识别，进入学校图书馆、宿舍门禁也需要人脸识别，在付款的时候同样可以利用人脸识别进行线上支付。人脸识别方便了大家的生活，也让很多人在出门的时候甚至连手机都不用带，但是随着人们生活的需要，人们经常会戴口罩出行，一般情况下，当口罩遮挡住人脸大部分区域时，人脸识别系统无法提取到人脸完整的面部特征，只能捕捉到人脸部分信息，如果系统中保存的人脸图片是不戴口罩的完整人脸，那么两张图片之间的差异会很大，这时人脸识别就会失败。那么如何在戴口罩的情况下对人脸进行识别呢？深度学习人脸识别一般先进行人脸检测扣出人脸区域后,再进行特征点定位,然后根据定位特征点进行仿射变换来对齐人脸,最后将对齐后的人脸送入特征提取网络提取人脸特征,并用该特征进行人脸识别。以上是普通人脸识别的流程，其实对应到戴口罩的情况下也是如此，只不过此处最大的难点是如何检测到有障碍物遮挡的人脸区域。

2、基于上述问题，本发明提供了一种基于遮挡人脸的身份登录认证方法及系统、设备、介质，用于通过建立遮挡人脸识别网络模型裁剪获得有障碍物遮挡的人脸区域图像，接着使用人脸识别网络模型中带有注意力机制的特征增强模块增强人脸识别效果，然后通过提取人脸图像中人眼的特征，识别遮挡人脸的身份，完成基于遮挡人脸的身份登录认证。。

技术实现思路

1、本发明提供了一种基于遮挡人脸的身份登录认证方法及系统、设备、介质，用于通过建立遮挡人脸识别网络模型裁剪获得有障碍物遮挡的人脸区域图像，接着使用人脸识别网络模型中带有注意力机制的特征增强模块增强人脸识别效果，然后通过提取人脸图像中人眼的特征，识别遮挡人脸的身份，完成基于遮挡人脸的身份登录认证。

2、本发明通过下述技术方案实现：一种基于遮挡人脸的身份登录认证方法，包括以下步骤：

3、步骤s1，采集经过遮挡的人脸图像，对所述经过遮挡的人脸图像进行标注，生成数据集，生成训练集；

4、步骤s2，构建遮挡人脸识别网络模型，所述遮挡人脸识别网络模型包括特征提取模块、特征增强模块和特征输出模块；

5、步骤s3，使用l1损失函数指导所述网络模型学习；使用所述训练集训练人脸识别网络模型，获取训练好的人脸识别网络模型，实时采集人脸图像，将所述人脸图像输入进训练好的网络模型中，识别经过遮挡的人脸图像；

6、步骤s4，将识别到的遮挡人脸图像使用遮挡人脸识别分类器进行判断，识别遮挡人脸的身份

7、为了更好地实现本发明，进一步地，所述步骤s2中所述遮挡人脸识别网络模型的结构包括：

8、所述特征提取模块包括依次连接的卷积层、批归一化层和线性修正层；

9、所述特征增强模块包括并联的上分支结构和下分支结构，所述上分支结构包括依次连接的第一自适应层、第一残差层、平均池化层、第一全连接层、第一激活函数层、第二全连接层和第一特征相乘层；所述下分支结构包括依次连接的第二自适应层、第二残差层、最大池化层、第二全连接层、第二激活函数层、第二全连接层和第二特征相乘层；所述第一特征相乘层和第二特征相乘层分别和特征相加层连接，所述特征相加层连接第三激活函数层；

10、所述特征输出模块包括全连接层。

11、为了更好地实现本发明，进一步地，所述步骤s3中所述l1损失函数表示为：

12、

13、其中，ki表示原始的人脸图像，表示最终重建的高分辨率人脸图像，loss表示基于特征增强的人脸超分辨率损失。

14、为了更好地实现本发明，进一步地，所述步骤s3使用所述训练集训练人脸识别网络模型的方法包括：

15、使用所述特征提取模块中的所述卷积层提取训练集中人脸图像数据的特征，通过所述第一批归一化层对输入的不同的人脸图像数据的特征进行处理，调整中间输出参数，使用所述线性修正层调整参数的相互依存关系；

16、将经过所述特征提取模块进行处理后的数据输入进所述特征增强模块中，所述特征增强模块使用第一自适应层、第一残差层相结合以及第二自适应层、第二残差层相结合的方法，后续接入注意力机制网络的结构，以此来自适应增强人脸图像的高频细节信息；

17、所述注意力机制网络的结构为上分支结构中的平均池化层、第一全连接层、第一激活函数层、第二全连接层；下分支结构中的最大池化层、第二全连接层、第二激活函数层、第二全连接层；所述最大池化操作和平均池化操作均会压缩从残差模块传来的输入特征映射的空间维度，扩大感受野；第一全连接层和第三全连接层操作表示特征压缩，提纯重要的特征信息，第二全连接层和第四全连接层操作将压缩后的特征数量升至原来的数量；所述第一激活函数层和第二激活函数层用于保证卷积核的通道，所述第一激活函数层和第二激活函数层均为relu激活函数层；将两条分支结构的输出分别进行相乘加权；最后将加权后的结果相加并输入至第三激活函数层，所述第三激活函数层为sigmoid激活函数层，所述第三激活函数层将整合的数据输入至特征输出模块；

18、使用特征输出模块中的第五全连接层进行数据的特征提取和数据的特征整合。

19、为了更好地实现本发明，进一步地，所述步骤s4包括：

20、提取识别到的遮挡人脸图像中的人眼瞳孔间距，使用lbp特征提取方法获取人眼局部特征；

21、将所述人眼局部特征使用稀疏编码方法进行转换；

22、将编码后的人眼局部特征输入至人脸识别分类器中进行判断，识别遮挡人脸的身份。

23、为了更好地实现本发明，进一步地，所述使用lbp特征提取方法获取人眼局部特征的方法包括：

24、将有遮挡的人脸图像分割为相同大小的图像块，然后将局部区域的像素值映射至高亮度区域和低亮度区域，最后将二进制变为十进制，即可获取中心区域图像块的特征；

25、中心区域图像块的特征表示为：

26、

27、式中，(xc，yc)代表图像中心区域图像块的坐标，c＝1，2，…，n；p代表有遮挡人脸图像中心区域像素领域的第p个像素，p的取值是0-7；ua、up分别为中心像素与领域像素灰度值，a＝1，2，…，n；s(·)代表符号函数。

28、为了更好地实现本发明，进一步地，所述使用稀疏编码方法进行转换的方法包括：

29、首先，设定目标函数；

30、所述目标函数表示为：f0(eg)为概率密度函数；

31、其次，确定最大似然函数预测稀疏系数α并通过所述最大似然函数预测稀疏系数α建立稀疏编码模型；

32、所述稀疏编码模型的具体公式为：

33、

34、式中，eg为遮挡图像中第g个元素，g＝1，2，…，g；e代表遮蔽图像中各特征元素；θ为稀疏系数分布，rg为字典，ε代表某个常量；

35、接着，构建所述遮蔽图像中各特征元素e的稀疏函数，表示为对fθ(e0)求导，f′0(e0)为fθ(e0)的导数；

36、再将e0领域展开获得：

37、式中，a1(e)为高阶残差项；因为f′θ(0)＝0；

38、然后，用稀疏编码方法获得的特征权重值w表示为：

39、式中，e0，p代表遮挡人脸的第p个特征，运用权重值描述各特征对于遮挡人脸识别的重要程度；

40、最后，将遮挡人脸全部特征与w相乘，最终获得遮蔽人脸识别的特征向量。

41、本发明还提供了一种基于遮挡人脸的身份登录认证系统，包括采集人脸图像模块、识别遮挡人脸模块和遮挡人脸身份认证模块，其中：

42、采集人脸图像模块，用于采集经过遮挡的人脸图像，对所述经过遮挡的人脸图像进行标注，生成数据集，生成训练集；

43、识别遮挡人脸模块，用于构建遮挡人脸识别网络模型，所述遮挡人脸识别网络模型包括特征提取模块、特征增强模块和特征输出模块；用于使用l1损失函数指导所述网络模型学习；使用所述训练集训练人脸识别网络模型，获取训练好的人脸识别网络模型，实时采集人脸图像，将所述人脸图像输入进训练好的网络模型中，识别经过遮挡的人脸图像；

44、遮挡人脸身份认证模块，用于将识别到的遮挡人脸图像使用遮挡人脸识别分类器进行判断，识别遮挡人脸的身份。

45、本发明还提供了一种电子设备，该电子设备包括处理器和存储器；处理器中包括上述第二方面所记载的基于遮挡人脸的身份登录认证系统。

46、本发明还提供了一种计算机可读存储介质，该计算机可读存储介质包括指令；当指令在上述第三方面所记载的电子设备上运行时，使得电子设备执行上述第一方面所记载的方法。

47、本发明与现有技术相比，具有以下优点及有益效果：

48、本发明提供一种基于遮挡人脸的身份登录认证方法及系统、设备、介质，用于通过建立遮挡人脸识别网络模型裁剪获得有障碍物遮挡的人脸区域图像，接着使用人脸识别网络模型中带有注意力机制的特征增强模块增强人脸识别效果，然后通过提取人脸图像中人眼的特征，识别遮挡人脸的身份，完成基于遮挡人脸的身份登录认证。