一种人脸识别方法、装置及存储介质与流程

本发明涉及人脸识别领域，具体涉及一种人脸识别方法、装置及存储介质。

背景技术：

人脸识别技术是人工智能机器视觉领域重要研究方向之一，最近几年由于人工智能相关领域技术的快速发展和不断突破，人脸识别技术已经发展得非常成熟，因此被广泛应用于安防、交通、金融、医疗等行业领域。

人脸识别技术可以分为两部分：人脸检测和人脸识别。人脸检测技术是对图像或视频采用目标检测技术检测人脸，并将检测到的人脸裁剪用于识别。人脸识别技术是通过深度学习算法将人脸图片进行特征提取，用n维度的特征向量表示人脸的特征点，将两个人脸的相似度的比对转换为计算两个n维度特征向量的相似度。人脸图像脸部的清晰度跟完整度会直接影响人脸识别的效果，在很多不可控的环境下，获取的人脸很多是侧脸图片。相对于正脸图片，侧脸图片的脸部特征丢失比较严重，人脸特征不全，因此导致实际应用中人脸识别的效果不好。而且随着抓拍图等情况下，图像采集过后可能获取到的是正脸也有可能是侧脸，基于这种情况下，判断正脸及侧脸也是具有一定的难度。

目前对侧脸的人脸识别有两种方式：1.侧脸图像的识别方式和正脸图像一样，采用深度学习算法直接对侧脸图像进行特征提取和比对识别；2.用生成对抗网络(gan)深度学习模型将侧脸图像转化成正脸图像，然后对转化后的正脸图像提取特征和比对识别。上面两种方式有如下不足：方式1侧脸图像本身携带脸部特征不完全，部分特征丢失，导致实际应用中人脸识别效果不好。方式2虽然通过gan技术将侧脸图像转化为正脸图像，用转化后的正脸图像进行人脸识别，虽然用gan技术补全一部分人脸特征，但丢弃了原来侧脸图像携带的那部分有效真实的特征，因此导致通过gan转换后的正脸图像的人脸特征的识别效果不好。

技术实现要素：

针对上述提到采集图像的人脸识别技术中识别难度大，正脸及侧脸分类困难，侧脸人脸特征丢失、准确度不高等问题，本申请的实施例的目的在于提出了一种人脸识别方法、装置及存储介质，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种人脸识别方法，包括以下步骤：

s1：通过人脸检测算法检测待识别图片，提取出人脸图像；

s2：通过卷积神经网络构建人脸正侧脸分类器来判断人脸图像是正脸图像还是侧脸图像；

s3：若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像转化为正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的侧脸特征向量和正脸图像的正脸特征向量进行特征融合生成融合向量；

s4：利用融合向量进行人脸比对识别。

在一些实施例中，步骤s2包括以下步骤：

s21：构建多层卷积层、池化层、全连接层和softmax层；s22：将人脸图像设置为n*n尺寸大小，然后输入多层卷积层和池化层，并输出人脸特征向量其中，l表示卷积神经网络第l层的输出，k表示输出人脸特征向量具有k个维度；s23：将人脸特征向量z^l输入全连接层，全连接层权重为偏置为输出全连接层的分类结果为s24：将全连接层的分类结果z^l+1输入到softmax层，分别将映射成范围在0～1的概率其中p正+p侧＝1，若p正＞p侧，则人脸图像是正脸图像，否则是侧脸图片。

通过卷积神经网络的应用可以方便快捷地将人脸图像进行正脸和侧脸的分类，提高人脸识别的效率和准确度。

在一些实施例中，步骤s3还包括：若人脸图像是正脸图像，则通过深度学习算法提取出正脸图像的人脸特征向量以进行人脸识别比对得到人脸识别结果。

在一些实施例中，生成对抗网络采用双通道生成对抗网络。双通道生成对抗网络可以有效地将侧脸转换成正脸。

在一些实施例中，步骤s3中的特征融合包括：通过人脸图像的人脸特征向量v侧和正脸图像的人脸特征向量v正计算融合向量v：

v＝αv侧+βv正

其中，0≤α,β≤1,a+β＝1，a,β表示v侧和v正在融合向量v中的权重。通过融合向量的计算可以有效保留侧脸图像和正脸图像的人脸特征，使得人脸识别的准确度更高。

在一些实施例中，α为0.5，β为0.5。

第二方面，本申请实施例提供了一种人脸识别装置，包括：

人脸检测模块，被配置为通过人脸检测算法检测待识别图片，得到人脸图像；

人脸分类模块，被配置为通过卷积神经网络构建人脸正侧脸分类器判断人脸图像是正脸图像还是侧脸图像；

特征融合模块，被配置为若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像生成正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的人脸特征向量和正脸图像的人脸特征向量进行特征融合生成融合向量；

识别模块，被配置为利用融合向量进行人脸比对识别。

在一些实施例中，人脸分类模块包括：

神经网络构建模块，被配置为构建多层卷积层、池化层、全连接层和softmax层；

人脸特征输出模块，被配置为将人脸图像设置为n*n尺寸大小，然后输入多层卷积层和池化层，并输出人脸特征向量其中，l表示卷积神经网络第l层的输出，k表示输出人脸特征向量具有k个维度；

分类模块，被配置为将人脸特征向量z^l输入全连接层，全连接层权重为偏置为输出全连接层的分类结果为

概率分布模块，被配置为将全连接层的分类结果z^l+1输入到softmax层，分别将映射成范围在0～1的概率其中p正+p侧＝1，若p正＞p侧，则人脸图像是正脸图像，否则是侧脸图片。

在一些实施例中，特征融合模块还被配置为若人脸图像是正脸，则通过深度学习算法提取出正脸图像的人脸特征向量以进行人脸识别比对得到人脸识别结果。

在一些实施例中，生成对抗网络采用双通道生成对抗网络。

在一些实施例中，步骤s3中的特征融合包括：通过人脸图像的人脸特征向量v侧和正脸图像的人脸特征向量v正计算融合向量v：

v＝αv侧+βv正

其中，0≤α,β≤1,a+β＝1，a,β表示v侧和v正在融合向量v中的权重。

在一些实施例中，α为0.5，β为0.5。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请实施例提供的人脸识别方法和装置，通过人脸检测算法检测待识别图片，提取出人脸图像；通过卷积神经网络构建人脸正侧脸分类器来判断人脸图像是正脸图像还是侧脸图像；若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像转化为正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的侧脸特征向量和正脸图像的正脸特征向量进行特征融合生成融合向量；最后利用融合向量进行人脸比对识别。首先通过正脸侧脸分类器将正脸和侧脸分类出来，再通过把侧脸图像的人脸特征跟侧脸图像经过gan技术生成正脸图像后的人脸特征进行融合，计算一个融合向量，该融合向量更能代表人脸图像的脸部特征，用于人脸识别能提高人脸识别的准确率。在不可控环境下，该人脸识别方法在不影响正脸图像的识别效果的情况下，可以提高侧脸图像的识别效果，达到准确有效的身份认证。这个方法能够推动人脸识别技术在不可控环境或者非限制环境下的应用，推动人脸识别技术在更多领域的落地，给人们生活带来便利跟智能化体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2为本发明的实施例的人脸识别方法的流程示意图；

图3为本发明的实施例的人脸识别方法的步骤s2的流程示意图；

图4为本发明的实施例的人脸识别装置的示意图；

图5为本发明的实施例的实验步骤中采用的人脸图像；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了可以应用本申请实施例的人脸识别方法或人脸识别装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果(例如包含标准标题行和对应的分段包含的数据的标准文件)。

需要说明的是，本申请实施例所提供的人脸识别方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，人脸识别装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只需服务器或终端设备。

继续参考图2，其示出了根据本申请的实施例的一种人脸识别方法，该方法包括以下步骤：

s1：通过人脸检测算法检测待识别图片，提取出人脸图像。

在本实施例中，人脸检测算法保留ssd算法、s3fd算法或mtcnn算法等检测算法，以准确地将在不可控环境下采集得到的待识别图片中的人脸图像提取出来。

s2：通过卷积神经网络构建人脸正侧脸分类器来判断人脸图像是正脸图像还是侧脸图像。

在本实施例中，如图3所示，步骤s2包括以下步骤：

s21：构建多层卷积层、池化层、全连接层和softmax层；

s22：将人脸图像设置为n*n尺寸大小，然后输入多层卷积层和池化层，并输出人脸特征向量其中，l表示卷积神经网络第l层的输出，k表示输出人脸特征向量具有k个维度；

s23：将人脸特征向量z^l输入全连接层，全连接层权重为偏置为输出全连接层的分类结果为

s24：将全连接层的分类结果z^l+1输入到softmax层，分别将映射成范围在0～1的概率其中p正+p侧＝1，若p正＞p侧，则人脸图像是正脸图像，否则是侧脸图片。

因此将人脸图像直接输入卷积神经网络构造成的人脸正侧脸分类器就可以直接、快速将人脸图像是正脸图像还是侧脸图像识别出来。在可选的实施例中，也可以选择其他方式构建正侧脸分类器从而达到将正脸图像和侧脸图像分类出来的效果，以便于后续进行分类处理及比对识别。此为本申请的重要发明点之一。

s3：若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像转化为正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的侧脸特征向量和正脸图像的正脸特征向量进行特征融合生成融合向量。此为本申请的重要发明点之一。

在本实施例中，生成对抗网络采用双通道生成对抗网络(tp-gan)。双通道生成对抗网络的生成器包含两条路径，一个处理全局结构生成，另一个处理局部细节生成，因此能够考虑整体和局部信息的对抗生成网络结构，能够根据单一的侧脸图像合成正面人脸视图。

在优选的实施例中，步骤s3中的特征融合包括：通过人脸图像的人脸特征向量v侧和正脸图像的人脸特征向量v正计算融合向量v：

v＝αv侧+βv正

其中，0≤α,β≤1,a+β＝1，a,β表示v侧和v正在融合向量v中的权重。在此情况下，优选的，α为0.5，β为0.5。在此基础上也可以采用其他特征融合的计算方式。

s4：利用融合向量进行人脸比对识别。

在本实施例中，步骤s3还包括：若人脸图像是正脸图像，则通过深度学习算法提取出正脸图像的人脸特征向量以进行人脸识别比对得到人脸识别结果。因此可以在不可控环境条件下，将人脸图像进行有效地分类，以不同的方式对正脸图像或侧脸图像采用不同的方式进行处理。

第二方面，如图4所示，本申请实施例提供了一种人脸识别装置，包括：

人脸检测模块1，被配置为通过人脸检测算法检测待识别图片，得到人脸图像；

人脸分类模块2，被配置为通过卷积神经网络构建人脸正侧脸分类器判断人脸图像是正脸图像还是侧脸图像；

特征融合模块3，被配置为若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像生成正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的人脸特征向量和正脸图像的人脸特征向量进行特征融合生成融合向量；

识别模块4，被配置为利用融合向量进行人脸比对识别。

在本实施例中，人脸分类模块2包括：

神经网络构建模块，被配置为构建多层卷积层、池化层、全连接层和softmax层；

人脸特征输出模块，被配置为将人脸图像设置为n*n尺寸大小，然后输入多层卷积层和池化层，并输出人脸特征向量其中，l表示卷积神经网络第l层的输出，k表示输出人脸特征向量具有k个维度；

分类模块，被配置为将人脸特征向量z^l输入全连接层，全连接层权重为偏置为输出全连接层的分类结果为

概率分布模块，被配置为将全连接层的分类结果z^l+1输入到softmax层，分别将映射成范围在0～1的概率其中p正+p侧＝1，若p正＞p侧，则人脸图像是正脸图像，否则是侧脸图片。

在本实施例中，特征融合模块3还被配置为若人脸图像是正脸，则通过深度学习算法提取出正脸图像的人脸特征向量以进行人脸识别比对得到人脸识别结果。

在优选的实施例中，生成对抗网络采用双通道生成对抗网络。

在本实施例中，步骤s3中的特征融合包括：通过人脸图像的人脸特征向量v侧和正脸图像的人脸特征向量v正计算融合向量v：

v＝αv侧+βv正

其中，0≤α,β≤1,a+β＝1，a,β表示v侧和v正在融合向量v中的权重。

在优选的实施例中，α为0.5，β为0.5。

在具体实施例中，通过采用上述方法及装置对待识别图片进行处理，如图5所示，将待识别图片5(a)进行人脸正侧脸分类器进行分类得到识别结果为侧脸图像，提取该侧脸图像5(a)的人脸特征f1。将该侧脸图像5(a)经过tp-gan技术转换成正脸图像5(b)，提取该正脸图像5(b)的人脸特征f2。待识别人员真实正脸图像为5(c),人脸特征为f3。本实施例的人脸识别采用余弦距离计算人脸相似度，因此得到结果如下：

(1)将经tp-gan技术转换的正脸图像5(b)的人脸特征f2与待识别人员真实正脸图像5(c)的人脸特征f3进行相似度计算，得到相似度结果为0.35；

(2)应用本申请实施例的人脸识别方法，将侧脸图像5(a)的人脸特征f1和经tp-gan技术转换的正脸图像5(b)进行特征融合，即0.5*f1+0.5*f2，再与待识别人员真实正脸图像5(c)的人脸特征f3进行相似度计算，得到相似度结果为0.46。

由此可以看出，采用本申请实施例的人脸识别方法可以有效，准确地对不可控环境下的图像进行分类、识别，并且对侧脸图像的识别准确度有了显著的提高。

本申请提供的人脸识别方法和装置，通过人脸检测算法检测待识别图片，提取出人脸图像；通过卷积神经网络构建人脸正侧脸分类器来判断人脸图像是正脸图像还是侧脸图像；若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像转化为正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的侧脸特征向量和正脸图像的正脸特征向量进行特征融合生成融合向量；最后利用融合向量进行人脸比对识别。首先通过正脸侧脸分类器将正脸和侧脸分类出来，再通过把侧脸图像的人脸特征跟侧脸图像经过gan技术生成正脸图像后的人脸特征进行融合，计算一个融合向量，该融合向量更能代表人脸图像的脸部特征，用于人脸识别能提高人脸识别的准确率。在不可控环境下，该人脸识别方法在不影响正脸图像的识别效果的情况下，可以提高侧脸图像的识别效果，达到准确有效的身份认证。这个方法能够推动人脸识别技术在不可控环境或者非限制环境下的应用，推动人脸识别技术在更多领域的落地，给人们生活带来便利跟智能化体验。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也可以根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括检测模块、分类模块和识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，识别模块还可以被描述为“利用特征向量进行人脸比对识别”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：s1：通过人脸检测算法检测待识别图片，提取出人脸图像；s2：通过卷积神经网络构建人脸正侧脸分类器来判断人脸图像是正脸图像还是侧脸图像；s3：若人脸图像是侧脸图像，则通过生成对抗网络将侧脸图像转化为正脸图像，并通过深度学习算法分别提取出侧脸图像和正脸图像的人脸特征向量，然后将侧脸图像的侧脸特征向量和正脸图像的正脸特征向量进行特征融合生成融合向量；s4：利用融合向量进行人脸比对识别。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。