用于提升人脸生成性能的系统以及方法与流程

本发明涉及人脸识别领域，特别涉及用于提升人脸生成性能的系统以及方法。

背景技术：

对抗生成网络(generativeadversarialnetwork,简称gan)是由iangoodfellow等人于2014年在论文《generativeadversarialnetworks》中提出的深度学习框架。

gan正在成为人脸生成的主流研究技术，gan由生成器网络和判别器网络组成，在人脸生成时，生成器网络生成的虚假人脸图片和输入的真实人脸图片一同输入到判别器网络,由判别器网络判断输入的图像是虚假图片或者真实图片，并确认生成器网络与判别器网络之间的对抗误差，通过反向传播算法训练gan生成器网络与判别器网络，当gan生成器网络对抗误差达到最小时，输出生成图像。

目前现有技术的方法大都使用预训练的通用模型比如vgg-16来提取图像对的特征，并只是最大化同源图像对的相似性。并且现有技术中生成人脸的真实性较低，以至识别效果低。

因此，寻找能提高人脸识别率的人脸生成技术已成为业内亟待解决的技术问题。

技术实现要素：

针对现有技术的上述问题，本发明提出了一种用于提升人脸生成性能的系统，所述系统包括用于存储真实人脸图片的存储器和对抗生成网络。所述对抗生成网络包括生成器网络、人脸识别模块和判别器网络。所述生成器网络用于生成虚假人脸图片；所述人脸识别模块用于接收由所述生成器网络生成的所述虚假人脸图片以及所述真实人脸图片组成的图像对，并分别提取所述图像对中的虚假人脸图片和真实人脸图片的人脸信息特征，并计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度。所述判别器网络基于所述人脸识别模块识别出的所述虚假人脸图片和所述真实人脸图片的人脸信息特征判断所述虚假人脸图片是否属于所述真实人脸图片；其中所述对抗生成网络基于所述人脸识别模块所计算的余弦相似度最大化同源图像对的相似性和最小化异源图像对的相似性，以提高所述生成器网络生成所述虚假人脸图片的真实性，使得所述生成器网络在生成虚假人脸图片时能够保留人脸身份特征，以便增强人脸识别率并获得所述对抗生成网络的训练目标。

在一实施例中，所述同源图像对中的虚假人脸图片和真实人脸图片为同一人的，所述异源图像对中的虚假人脸图片和真实人脸图片为不同人的。

在一实施例中，所述人脸识别模块包括人脸识别模型和分析模型，所述人脸识别模型包括基于人脸特征点的识别算法、基于整幅人脸图像的识别算法或基于模板的识别算法，所述分析模型构造成计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度。

在一实施例中，所述对抗生成网络包括更新模块，所述更新模块根据所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度生成损失函数，并基于所述损失函数利用反向传播算法，更新所述生成器网络的参数和所述判别器网络的参数。

本发明还提供一种用于提升人脸生成性能的方法，所述方法包括：存储真实人脸图片；由对抗生成网络的生成器网络生成虚假人脸图片；由人脸识别模块接收由所述生成器网络生成的所述虚假人脸图片以及所述真实人脸图片组成的图像对，并分别提取所述图像对中的虚假人脸图片和真实人脸图片的人脸信息特征，并计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度；以及由判别器网络基于所述人脸识别模块识别出的所述虚假人脸图片和所述真实人脸图片的人脸信息特征判断所述虚假人脸图片是否属于所述真实人脸图片；其中所述对抗生成网络基于所述人脸识别模块所计算的余弦相似度最大化同源图像对的相似性和最小化异源图像对的相似性，以提高所述生成器网络生成所述虚假人脸图片的真实性，使得所述生成器网络在生成虚假人脸图片时能够保留人脸身份特征，以便增强人脸识别率并获得所述对抗生成网络的训练目标。

在一实施例中，所述同源图像对中的虚假人脸图片和真实人脸图片为同一人的，所述异源图像对中的虚假人脸图片和真实人脸图片为不同人的。

在一实施例中，所述人脸识别模块包括人脸识别模型和分析模型，所述人脸识别模型包括基于人脸特征点的识别算法、基于整幅人脸图像的识别算法或基于模板的识别算法，所述分析模型构造成计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度。

在一实施例中，所述对抗生成网络包括更新模块，所述更新模块根据所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度生成损失函数，并基于所述损失函数利用反向传播算法，更新所述生成器网络的参数和所述判别器网络的参数。

与现有技术相比，本发明具有以下有益效果：本发明的用于提升人脸生成性能的系统以及方法通过在对抗生成网络中添加人脸识别或身份识别功能，以减少身份信息的丢失，通过本发明的系统和方法生成的人脸肉眼看起来更加真实，人脸识别率更高，本发明可最大化同源图片对的相似性的同时，也最小化异源图像对的相似性。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1为本发明的用于提升人脸生成性能的系统的实施例的组成结构示意图；

图2为本发明的用于提升人脸生成性能的方法的实施例的流程图。

具体实施方案

以下结合附图和具体实施例对本发明作详细描述，以便更清楚理解本发明的目的、特点和优点。应理解的是，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。

参见图1，其显示了本发明的用于提升人脸生成性能的系统的实施例的组成结构示意图，用于提升人脸生成性能的系统包括对抗生成网络1和存储器2。对抗生成网络（gan）1包括生成器网络10、人脸识别模块12、判别器网络14和更新模块16。对抗生成网络1是用对抗方法来生成数据的一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。存储器2用于存储真实人脸图片，为训练对抗生成网络1，存储器2中可存储尽可能多的真实人脸图片。

生成器网络10用于接收一个随机的噪声并通过所述噪声生成虚假人脸图片。人脸识别模块12用于接收由所述生成器网络10生成的所述虚假人脸图片以及所述真实人脸图片组成的图像对，分别提取所述图像对中的虚假人脸图片和真实人脸图片的人脸信息特征，并计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度。

人脸识别模块12包括人脸识别模型120和分析模型122，所述人脸识别模型122包括基于人脸特征点的识别算法、基于整幅人脸图像的识别算法或基于模板的识别算法等，所述分析模型122构造成计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度。

判别器网络14基于所述人脸识别模块12提取出的所述虚假人脸图片和所述真实人脸图片的人脸信息特征判断所述虚假人脸图片是否属于所述真实人脸图片。在其他实施例中，判别器网络14也可直接接收并比较由所述生成器网络10生成的所述虚假人脸图片和存储器2中所存储的真实人脸图片。判别器网络14输出是0或1值，0代表判定由所述生成器网络10生成图片是虚假人脸图片，1代表判定其生成的是真实人脸图片。

所述更新模块16根据所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度生成损失函数，并基于所述损失函数利用反向传播算法，更新所述生成器网络10的参数和所述判别器网络14的参数。所述更新模块16经过数千次更新迭代后，如果一切顺利，生成器网络10在生成逼真的虚假人脸图片方面变得完美，而判别器网络14在判断显示给它的图像是虚假人脸图片还是真实人脸图片方面也变得完美，此时判别器网络14会将生成器网络10生成的虚假人脸图片一半判别为假，一半判别为真。

相对于现有技术技术中的vgg-16只能最大化同源图片对的相似性，本发明中的所述对抗生成网络1通过引入人脸识别模块12并通过由此带来的人脸识别或身份验证功能最大化同源图像对的相似性和最小化异源图像对的相似性，以提高所述生成器网络10生成所述虚假人脸图片的真实性，使得所述生成器网络在生成虚假人脸图片时能够保留人脸身份特征，以便增强人脸识别率并获得所述对抗生成网络的训练目标。所述同源图像对中的虚假人脸图片和真实人脸图片为同一人的，所述异源图像对中的虚假人脸图片和真实人脸图片为不同人的。

参见图2，其示出了本发明的用于提升人脸生成性能的方法的实施例的流程图。图2的方法可在图1所示的用于提升人脸生成性能的系统上实施。

图2中的所述方法20首先进行步骤s210，存储真实人脸图片。为训练本发明中的对抗生成网络，步骤s210中可存储尽可能多的真实人脸图片。

所述方法20还包括步骤s220，由对抗生成网络的生成器网络生成虚假人脸图片。在一实施例中，可通过一个随机的噪声生成虚假人脸图片。

所述方法20还包括步骤s230，由人脸识别模块接收由所述生成器网络生成的所述虚假人脸图片以及所述真实人脸图片组成的图像对。如图1所示的，所述人脸识别模块12可包括人脸识别模型120和分析模型122。

所述方法20还包括步骤s240，由人脸识别模型分别提取所述图像对中的虚假人脸图片和真实人脸图片的人脸信息特征。在一实施例中，由图1所示的人脸识别模型120来识别所述人脸信息特征，步骤s240可基于人脸特征点的识别算法、基于整幅人脸图像的识别算法或基于模板的识别算法等算法来识别人脸信息特征。

所述方法20还包括步骤s250，由分析模型计算所提取的所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度，具体地，余弦相似度是通过计算所述虚假人脸图片和所述真实人脸图片的人脸信息特征对应向量的夹角余弦值来评估他们的相似度。

所述方法20还包括步骤s260，由所述对抗生成网络的判别器网络基于所识别出的所述虚假人脸图片和所述真实人脸图片的人脸信息特征判断所述虚假人脸图片是否属于真实人脸图片。

所述方法20还包括步骤s270，根据所述虚假人脸图片和所述真实人脸图片的人脸信息特征的余弦相似度生成损失函数，并基于所述损失函数利用反向传播算法，更新所述生成器网络的参数和所述判别器网络的参数，以提高所述生成器网络生成所述虚假人脸图片的真实性。

在所述方法20中，所述对抗生成网络基于所述人脸识别模块所计算的余弦相似度最大化同源图像对的相似性和最小化异源图像对的相似性，使得所述生成器网络在生成虚假人脸图片时能够保留人脸身份特征，以便增强人脸识别率并获得所述对抗生成网络的训练目标。所述同源图像对中的虚假人脸图片和真实人脸图片为同一人的，所述异源图像对中的虚假人脸图片和真实人脸图片为不同人的。

本发明的用于提升人脸生成性能的系统以及方法通过在对抗生成网络中添加人脸识别或身份识别功能，以减少身份信息的丢失，通过本发明的系统和方法生成的人脸肉眼看起来更加真实，人脸识别率更高，本发明可最大化同源图片对的相似性的同时，也最小化异源图像对的相似性。

上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应所述是符合权利要求书提到的创新性特征的最大范围。