一种基于深度卷积神经网络的人脸识别方法与流程

本发明涉及图像处理识别技术，尤其涉及一种基于深度卷积神经网络的人脸识别方法。

背景技术：

在现代社会中，个人身份认证技术的应用无所不在，其中基于指纹、虹膜、以及人脸等人体生物特征的识别技术在多个领域有巨大的市场需求，例如：门禁系统、视频监控、机场安检、以及智能空间等。尽管基于指纹和虹膜的身份认证比人脸识别技术具有更高的准确性和可靠性，但人脸识别因具有自然、友好、对用户干扰少、易被用户接受等优势而有更广阔的应用前景。

人脸识别是基于数字图像处理、计算机视觉和机器学习等技术，借助于计算机处理技术，对数据库中人脸图像进行分析比较的过程。目前，人脸识别的方法主要是利用深度卷积神经网络通过反复卷积操作来完成识别，这种方法在实际使用中，往往会因为输入的图像混入背景过多而造成无法准备识别，因为图像在做裁剪时会存在一部分的背景混入，这个混入的背景会影响人脸识别的结果，造成识别精度低。

技术实现要素：

为了解决上述问题，本发明提供一种基于深度卷积神经网络的人脸识别方法，在图像输深度卷积神经网络前进行背景去除，采用做椭圆的形式将人脸部分提取出来，排出环境因素对图片内容的影响。

为达到上述目的，本发明的技术方案是：一种基于深度卷积神经网络的人脸识别方法，包括如下步骤：

步骤1）、利用摄像头获取原始人脸图像；

步骤2）、将原始人脸图像输入到mtcnn神经网络模型中，得到经过五官人脸切割后的人脸脸框图像；

步骤3）、将人脸正脸脸框图像做内接椭圆，提取出椭圆内的人脸图像；

步骤4）、将椭圆内人脸图像输入到lcnn神经网络模型中，得到人脸特征矩阵；

步骤5）、将人脸特征矩阵与人脸模板库中的人脸图像的特征矩阵进行比对识别得到人脸结果。

作为优选，所述步骤2）中利用mtcnn神经网络模型处理得到人脸脸框图像的过程包括：

步骤2-1、采用p-net网络获得候选窗体和边界回归量，同时候选窗体根据边界框进行校准，再利用nms方法去除重叠窗体；

步骤2-2、将p-net网络确定的包含候选窗体的图片在r-net网络中训练，利用边界框向量微调候选框体，再利用nms方法去除重叠窗体；

步骤2-3、利用o-net网络在去除候选窗体，同时显示五个人脸关键点定位。

作为优选，所述mtcnn神经网络模型的训练包括三个部分，人脸和非人脸的分类，边界框回归及五官位置点定位，其中：

人脸和非人脸的分类利用交叉熵损失函数确定：

；

其中，表示人脸概率，表示背景的真实标签，表示“预测人脸的概率”和“事实是不是人脸”的接近程度，值越小表示越接近，该部分的训练目标为获得最小值min（）；

边界框回归通过欧氏距离计算回归损失：

；

其中，为通过网络预测得到的背景坐标，为实际的真实的背景坐标，表示左上角、右上角、长、宽组成的四元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

五官位置点定位通过计算网络预测坐标与实际坐标的欧氏距离，并最小化该距离，其公式为：

；

其中，为通过网络预测得到的五官位置坐标，为实际的真实的五官位置坐标，表示五官的五个点组成的十元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

对上述三部分进行综合得到公式：

；

其中：n是训练项目的数量，表示不同任务的权重，在p-net网络和r-net网络中，=1，=0.5，=0.5，在o-net网络中，=1，=1，=0.5；表示样本类型的真实标签，，表示损失函数。

作为优选，所述步骤3）中内接椭圆后，循环人脸正脸脸框图像内的每个像素点，并判断该像素点是否在椭圆内，若在椭圆内则保留，若不在则忽略，从而得到椭圆人脸图像。

作为优选，所述步骤5）中人脸模板库内的人脸数据信息提前录入，且录入时也内接椭圆进行椭圆内图像提取。

作为优选，所述步骤5）中，将人脸特征矩阵与人脸模板库中人脸图像的特征矩阵做余弦相似度运算，得到原始图像与人脸模板库中图像的相似度值。

有益效果，本发明揭示的一种基于深度卷积神经网络的人脸识别方法，具有如下有益效果：

将方形人脸脸框图像内接椭圆，提取椭圆内人脸的人脸图像进行特征采集，可以有效排除图像中过多环境因素对图片内容的影响，避免采集的图片的背景对人脸识别的影响。

附图说明：

图1为本发明mtcnn神经网络级联架构示意图；

图2为本发明内接椭圆提取椭圆图像的示意图。

具体实施方式：

下面结合本发明所提供的附图对本发明的技术作进一步说明：

本发明所揭示的一种基于深度卷积神经网络的人脸识别方法，包括如下步骤：

步骤1）、利用摄像头获取原始人脸图像；

步骤2）、将原始人脸图像输入到mtcnn神经网络模型中，得到经过五官人脸切割后的人脸脸框图像；

步骤3）、将人脸正脸脸框图像做内接椭圆，提取出椭圆内的人脸图像；

步骤4）、将椭圆内人脸图像输入到lcnn神经网络模型中，得到人脸特征矩阵；

步骤5）、将人脸特征矩阵与人脸模板库中的人脸图像的特征矩阵进行比对识别得到人脸结果。

下面对上述步骤进行详细描述，其中步骤1）原始人脸图像的获取可以是智能手机或者其他智能设备进行获取；

如图1所示，所述步骤2）中利用mtcnn神经网络模型处理得到人脸脸框图像的过程包括：

步骤2-1、采用p-net网络获得候选窗体和边界回归量，同时候选窗体根据边界框进行校准，再利用nms方法去除重叠窗体；

步骤2-2、将p-net网络确定的包含候选窗体的图片在r-net网络中训练，利用边界框向量微调候选框体，再利用nms方法去除重叠窗体；

步骤2-3、利用o-net网络在去除候选窗体，同时显示五个人脸关键点定位。

mtcnn神经网络模型的训练过程包括三个部分，人脸和非人脸的分类，边界框回归及五官位置点定位，其中：

人脸和非人脸的分类利用交叉熵损失函数确定：

；

其中，表示人脸概率，表示背景的真实标签，表示“预测人脸的概率”和“事实是不是人脸”的接近程度，值越小表示越接近，该部分的训练目标为获得最小值min（）；

边界框回归通过欧氏距离计算回归损失：

；

其中，为通过网络预测得到的背景坐标，为实际的真实的背景坐标，表示左上角、右上角、长、宽组成的四元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

五官位置点定位通过计算网络预测坐标与实际坐标的欧氏距离，并最小化该距离，其公式为：

；

其中，为通过网络预测得到的五官位置坐标，为实际的真实的五官位置坐标，表示五官的五个点组成的十元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

对上述三部分进行综合得到公式：

；

其中：n是训练项目的数量，表示不同任务的权重，在p-net网络和r-net网络中，=1，=0.5，=0.5，在o-net网络中，=1，=1，=0.5；表示样本类型的真实标签，，表示损失函数。

获取到的是原始人脸图像经过mtcnn的处理之中得到了经过五官对齐人脸切割后的方形人脸脸框图像，由于在剪裁人脸的时候会有一部分的背景混入到人脸脸框图片中，实际运用中会影响人脸识别结果的得分，所以在生成人脸模板的时候，我们就直接将人脸的图片做椭圆形的，在模板中只显示人脸的部分，有效排除环境的因素对图片的内容的影响。当然对于人脸模板库中的人脸图像，在录入是也采用这种流程进行椭圆处理，故而模板库中的人脸图像也是只显示人脸部分内容，这样可以避免在后期比对时降低背景对人脸识别的影响。

具体的步骤3）中，人脸脸框图像内接椭圆后，循环人脸正脸脸框图像内的每个像素点，并判断该像素点是否在椭圆内，若在椭圆内则保留，若不在则忽略，从而得到椭圆人脸图像，其中内接椭圆的步骤为：

以原图片的左上角顶点为原点，水平向右建立x轴，竖直向下建立y轴，通过人脸检测的算法，如果图片中有人脸，那么就可以知道人脸矩形框的左上角坐标为（x1,y1)，右下角顶点的坐标为(x2,y2)，且任何小于0的坐标都赋值为0；

通过这四个坐标计算椭圆的长轴long=(y2-y1)/2；短轴short=(x2-x1)/2,同时计算椭圆圆心的坐标o(centerx,centery),其中：centerx=x1+short,centery=y1+long；

运用以下公式判断每一个像素点(m,n)是否在椭圆的内部，公式为：

若运算结构小于1.0，那么表示该点在椭圆的内部，保留像素点，哦否则就不在椭圆内部，进行像素点忽略。

所述步骤4）中采用lcnn神经网络模型，其为具有噪声标签的轻量级深度卷积神经网络，用于学习具有大量噪声标签的大规模人脸数据的紧凑嵌入，该模型将最大激活的变化（称为最大特征映射（mfm））引入cnn的每个卷积层，与使用许多特征映射线性逼近任意凸激活函数的最大输出值不同，mfm通过竞争关系来实现。mfm不仅可以分离噪声和信息信号，还可以在两个特征映射之间起到特征选择的作用，模型提出了一种语义自举方法，使网络预测与噪声标签更加一致。

所述步骤5）中，将人脸特征矩阵与人脸模板库中人脸图像的特征矩阵做余弦相似度运算，得到原始图像与人脸模板库中图像的相似度值。在实际使用过程中（如考勤系统），设定一个阈值，如果得到的相似度值高于阈值，则判断为相似图片，认定考勤成功，如果低于阈值，则判断为不同图片，表示考勤失败。

本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。