一种基于皮肤区域的戴口罩的人脸识别方法和系统

本发明涉及计算机视觉，具体是一种基于皮肤区域的戴口罩的人脸识别方法和系统。

背景技术：

1、随着计算机技术的的迅速发展，给人们的生活带来了极大的便利，作为计算机视觉中相当成熟的人脸识别技术的发展也相当迅速，人脸识别技术已经广泛的运用到安防，金融，交通，教育等各个领域中，并且识别的准确率也十分的高。人脸识别技术一般包括人脸检测，人脸预处理，人脸特征提取，人脸比对四大部分。人脸识别的原理也是十分的简单：向人脸识别系统中输入一张人脸图，用已经训练好的主干网络提取其特征值，再将其放到已经建立好的人脸信息库进行相似度计算，输出得分最高的人脸的信息。然而在大面积的遮挡下，当前的人脸识别技术已经不能满足。

2、现阶段实现的戴口罩的人脸识别技术方案主要分为两大类，一种是基于图像修复的戴口罩的人脸识别，一种是基于消除遮挡的戴口罩的人脸识别。基于图像重建的戴口罩的人脸识别方法是利用未被遮挡的人脸信息预测遮挡部分的人脸信息，重组构建完整人脸信息，最后进行人脸识别。这种方法没有办法重组人脸关键信息，遇到大面积的遮挡物的时候重构效果不佳，识别准确率不大。基于消除遮挡的戴口罩的人脸识别大部分都是在卷积过程中加入注意力机制，效果不明显。总之，目前的戴口罩的人脸识别的技术方案还存在以下一些缺点：

3、1，戴口罩的人脸的真实数据集不够。

4、2，只是在网络中添加注意力机制，效果不够明显。

5、3，目前现有的戴口罩的人脸识别的准确率不是很高。

技术实现思路

1、本发明要克服现有技术的上述问题，提出一种基于皮肤区域的戴口罩的人脸识别方法和系统。

2、本发明利用基于高斯肤色模型的人脸肤色检测算法提取肤色区域，消除口罩和背景区域对识别结果的干扰。提出了一种改进的resnet网络模型，使其更加的适合戴口罩的人脸识别，提高戴口罩的人脸识别的准确率和速度，解决了上述的问题。

3、本发明解决其技术问题所采用的技术方案是：

4、一种基于皮肤区域的戴口罩的人脸识别方法，包括以下步骤：

5、s1，用摄像头获取待测人脸图片，用paddlehub技术进行人脸检测，再将其剪裁到112*112大小；

6、s2，运用基于高斯肤色模型的人脸肤色区域检测算法，提取人脸肤色区域；

7、s3，搭建改进的resnet网络并训练，然后用训练好的改进的resnet网络提取人脸特征；

8、s4，计算待测人脸的特征值和人脸数据库中的人脸特征值的相似度；

9、s5，设置特定的阈值，将阈值和相似度进行比较，并且输出对应的结果。

10、进一步，所述步骤s2中，运用基于高斯肤色模型的人脸肤色区域检测算法，提取人脸肤色区域，包括：

11、构建高斯肤色模型，根据肤色在crcb通道上符合的二维高斯分布的规律，统计人脸的数据图像建立高斯肤色模型；将待测人脸图片由颜色空间转换到ycrcb空间，输入高斯肤色模型，计算肤色概率，得到肤色概率图；设置自动调节的阈值，对肤色概率图进行分割，获取肤色区域，再进行孔洞填充滤除眼睛和眉毛部分的影响；计算原始特征图和孔洞填充后的肤色区域图的hadamard乘积，通过融合两者的结果提取人脸区域，消除背景区域和口罩区域对戴口罩的人脸识别的干扰。

12、进一步，所述步骤s3中，搭建改进的resnet网络并训练，然后用训练好的改进的resnet网络提取人脸特征；搭建改进的resnet网络：在原来的resnet网络的基础上，将原本的残差块进行分组，分别输入到卷积核大小为3*3,5*5和7*7的三个通道中，融合不同尺度的特征，获得更多的信息量；将网络的第一层的7*7的卷积核改成3个3*3的卷积核，在不改变感受野的大小的情况下降低网络的计算量，加快网络的速度；在第一层的conv后面增加注意力机制cmam，分别在通道上和空间上增加了注意力机制，使网络在训练的过程中更加关注重要区域，增加网络分类的准确率；将网络中的激活函数由relu改成prelu，降低神经元失去活性的概率，在不增加计算量的同时保持网络更加的稳定。

13、训练网络：利用paddlehub中的64点人脸关键点给公开人脸数据集casia带上口罩，然后将数据集送入网络中获取人脸特征值，然后根据arcface损失函数计算损失值，再将损失值反馈到网络中，更新网络的学习率和权重参数，以此获得最优的分类器。

14、将最优分类器中的学习率和权重参数加载到测试网络中提取待测人脸的特征值。

15、进一步，所述步骤s4中，计算待测人脸的特征值和人脸数据库中的人脸特征值的相似度包括：

16、构建人脸数据库，人脸数据库的构建是先将一组照片送到高斯肤色模型中滤除非人脸区域照片，然后输入到训练好的网络进行特征值提取。将提取的特征值保存，建立为人脸数据库。

17、计算待测图片和人脸数据库中的人脸的相似度，相似度计算方式是计算两者的余弦距离，余弦距离小的相似度就大，余弦距离大的对应的相似度就小。

18、进一步，所述步骤s5中，输出识别结果。设置合适的阈值，当两者的相似度大于当前阈值，则判定为同一张人脸，输出人脸数据库中的人脸对应的id为待测图片的id；当两者的相似度小于当前阈值时，判定为不同人脸，继续寻找相似度小于阈值的人脸，当遍历了人脸数据库都没有找到符合条件的人脸，则判定则判定为未知人脸。

19、为了解决问题一，本发明使用公开数据集casis,根据paddlehub上面的64关键点坐标，给人脸数据集戴口罩，创建戴口罩的人脸人脸数据集，然后将数据集进行清洗。

20、为了解决问题二：在训练网络之前运用高斯肤色模型对数据集提取人脸区域，使其更加关注人脸区域的特征信息。

21、为了解决问题三：本发明对网络进行更改，修改网络结构和增加注意力机制，使识别的准确率和速度达到最优的情况。

22、本发明还包括一种基于皮肤区域的戴口罩的人脸识别系统，包括：

23、获取待测人脸图片获取模块，用摄像头获取待测人脸图片，用paddlehub技术进行人脸检测，再将其按照设定的大小进行剪裁；

24、人脸肤色区域提取模块，运用基于高斯肤色模型的人脸肤色区域检测算法，提取人脸肤色区域；

25、人脸特征提取模块，用训练得到的改进的resnet网络提取人脸特征；

26、人脸特征匹配模块，用于计算待测人脸的特征值和人脸数据库中的人脸特征值的相似度；

27、识别结果输出模块，用于设置特定的阈值，将阈值和相似度进行比较，并且输出对应的结果。

28、本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种基于皮肤区域的戴口罩的人脸识别方法。

29、本发明还包括一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的一种基于皮肤区域的戴口罩的人脸识别方法。

30、本发明优点主要表现在：本发明采用深度学习技术，提出了一种基于皮肤区域的戴口罩的人脸识别方法，运用基于高斯肤色模型的人脸肤色区域检测算法提取肤色区域，消除非人脸区域对人脸识别的干扰；对经典resnet网络进行改进，将原残差块进行分组，分别输入到三个卷积核大小不同的通道中，融合不同尺度的特征值；在网络中加入cbma注意力机制，提高网络模型对戴口罩的人脸识别的准确率；将resnet网络中的激活函数由relu改成prelu，降低神经元失去活性的概率，在不增加计算量的前提下提高了网络的稳定性。