人脸特征添加方法、装置及设备与流程

本发明涉及人脸特征添加技术领域，更具体地涉及一种人脸特征添加方法、装置及设备。

背景技术：

目前，一种人脸特征添加方法是通过多张不同角度二维照片生成三维模型，然后在三维模型上添加特征，诸如眼镜、刘海、口罩等，最后再渲染得到新的二维图像。另一种人脸特征添加方法是通过贴图注解在二维照片上贴上特征素材，从而得到新的二维图像。

然而，基于三维模型得到新的二维图像的方法，超时较大，效率较低，而且需要利用同一个体的诸多不同角度照片来进行三维建模，这在实际应用中往往不能得到满足。另一方面，二维贴图的方法虽然简便，但是得到的图像与真实照片存在明显差异。

因此，需要一种新的人脸特征添加方法和装置。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种。

根据本发明一方面，提供了一种人脸特征添加方法，包括：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。

根据本发明实施例，所述人脸特征添加方法还包括：利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；计算所述待叠加图像的L1范数；以及根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。

根据本发明实施例，所述人脸特征添加方法还包括：利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分；以及根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。

根据本发明另一方面，提供了一种人脸特征添加装置，包括：待叠加图像生成模块，被配置为：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及合成人脸图像生成模块，被配置为：将待叠加图像与给定人脸图像叠加，生成合成人脸图像。

根据本发明实施例，所述人脸特征添加装置还包括：人脸判定模块，被配置为：利用人脸判定深度卷积网络，基于所述合成人脸图像，生成第一人脸满足度评分；范数计算模块，被配置为：计算所述待叠加图像的L1范数；以及第一参数调整模块，被配置为：基于所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。

根据本发明实施例，所述人脸判定模块还被配置为：利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分。所述人脸特征添加装置还包括：第二参数调整模块，被配置为：基于所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。

根据本发明又一方面，提供了一种人脸特征添加设备，包括：一个或多个处理器；一个或多个存储器；其中存储了程序指令，在所述处理器执行所述程序指令时：基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像；以及将待叠加图像与给定人脸图像叠加，生成合成人脸图像。

根据本发明实施例的人脸特征添加方法及装置，通过基于给定人脸图像和在给定人脸图像上要添加的特征生成待叠加图像并将待叠加图像与给定人脸图像叠加，可以得到在给定人脸图像上包含要添加的特征的合成人脸图像。此外，通过利用人脸判定深度卷积网络基于合成人脸图像和带有所述要添加的特征的真实图像生成第一和第二人脸满足度评分，并且通过计算所述待叠加图像的L1范数，可以构建人脸特征图像提取网络和合成特征图像生成网络的损失函数、以及人脸判定深度卷积网络的损失函数，从而实现了人脸特征图像提取网络、合成特征图像生成网络、以及人脸判定深度卷积网络的同步训练。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的人脸特征添加方法的示意性流程图；

图2是根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的示意性原理图；

图3是根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的另一示意性原理图；

图4是根据本发明实施例的人脸特征图像提取网络的示意性结构图；

图5A是根据本发明实施例的合成特征图像生成网络的一个示意性结构图；

图5B是根据本发明实施例的合成特征图像生成网络的另一示意性结构图；

图6A是根据本发明实施例的与图5A对应的集成卷积神经网络的示意性结构图；

图6B是根据本发明实施例的与图5B对应的集成卷积神经网络的一个示意性结构图；

图6C是根据本发明实施例的与图5B对应的集成卷积神经网络的另一示意性结构图；

图7是根据本发明实施例的人脸特征添加方法的进一步示意性流程图；

图8是根据本发明实施例的合成人脸图像判定及网络训练方法的示意性原理图；

图9是根据本发明实施例的人脸判定深度卷积网络的示意性结构图；

图10是根据本发明实施例的人脸特征添加装置的示意性框图；

图11是根据本发明实施例的待叠加图像生成模块的示意性框图；以及

图12是用于实现根据本发明实施例的人脸特征添加及判定装置的电子设备的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

图1是根据本发明实施例的人脸特征添加方法100的示意性流程图。

在步骤S110，基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。所述待叠加图像是要与所述给定人脸图像进行叠加的图像，并且所述待叠加图像的尺寸可以与所述给定人脸图像的尺寸相同或不同。所述给定人脸图像的通道数量与所述待叠加图像的通道数量相同，例如均为R、G、B三通道。

在步骤S120，将待叠加图像与给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。

例如，所述待叠加图像的尺寸可以与所述给定人脸图像的尺寸相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同，在此情况下，所述待叠加图像中的像素与所述给定人脸图像中的像素一一对应，并且通过将所述待叠加图像与所述给定人脸图像中的对应像素的像素值直接求和或者将对应像素的像素值进行加权求和，可以得到合成人脸图像。

再例如，所述待叠加图像的尺寸可以小于所述给定人脸图像的尺寸，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同，在此情况下，所述给定人脸图像的部分图像中的像素与所述待叠加图像中的像素一一对应，通过将所述待叠加图像与所述给定人脸图像的部分图像中的对应像素的像素值直接求和或者将对应像素的像素值进行加权求和，并且保持所述给定人脸图像的其余部分图像的像素不变，可以得到合成人脸图像。

图2示出了根据本发明实施例的基于给定人脸图像和要添加的特征生成合成人脸图像的示意性原理图。

首先，根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像，所述部分图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分图像的尺寸小于等于所述给定人脸图像的尺寸。所述要添加的特征包括N个特征，每个特征的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，N为大于等于1的整数。例如，要添加的特征可以包括但不限于是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。

接下来，利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量。例如，所述人脸特征图像可以为M通道的4×4或8×8的小图像。

然后，利用合成特征图像生成网络，基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像，其中所述需求特征图像的尺寸与所述人脸特征图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。例如，在所述要添加的特征包括N个特征的情况下，所述需求特征图像包括N个通道，并且所述N个通道的需求特征图像与所述N个要添加的特征一一对应，例如，N个要添加的特征中某一特征的取值为a，则与其对应的需求特征图像的每个像素的取值均为a，并且该需求特征图像的尺寸与所述人脸特征图像的尺寸相同。

最后，将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。

可选地，可以对裁剪得到的部分图像进行线性变换，以将所述部分图像变换至第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同。例如，所述第一预定尺寸可以为128×128，或256×256，所述中间图像的通道数量可以为3，例如R、G、B三个通道。在此情况下，利用人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。例如，所述第二预定尺寸可以为4×4或8×8，并且所述人脸特征图像的通道数量可以为128等。

相应地，所述合成特征图像生成网络生成第三预定尺寸的合成特征图像，所述合成特征图像的通道数量与所述给定人脸图像的通道数量相同，并且所述第三预定尺寸大于所述第二预定尺寸并且可以与所述第一预定尺寸相同或不同。可选地，可以对所述第三预定尺寸的合成特征图像进行与裁剪处理之后的线性变换相对应的逆线性变换，以生成部分待叠加图像，所述待叠加图像的通道数量与所述合成特征图像的通道数量相同，并且所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同。进一步，可选地，可以对所述部分待叠加图像进行与所述裁剪操作相对应的填充操作，从而生成待叠加图像，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同。

图3示出了根据本发明实施例的包括上述裁剪、线性变换和填充操作的人脸特征添加方法的示意性原理图。

根据本发明实施例，可以对所述第三预定尺寸的合成特征图像进行线性变换，以生成所述部分待叠加图像，其中，所述部分待叠加图像的尺寸可以与所述裁剪出的所述部分图像相同，所述部分待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。

可选地，可以将所述部分待叠加图像用作待叠加图像。在此情况下，可以与对所述给定人脸图像进行的裁剪相对应地，将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。

可选地，根据本发明实施例，进一步地，可以与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像，其中，所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。此外，将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。

图4示出了根据本发明实施例的人脸特征图像提取网络的示意性结构图。

如图4所示，根据本发明实施例的人脸特征图像提取网络包括：级联的P层卷积神经网络，其中P为大于等于2的整数。第p层卷积神经网络的输出图像的尺寸小于其输入图像的尺寸，并且其输出图像的通道数量大于其输入图像的通道数量，其中p为大于等于1且小于等于P的整数。

例如，与图2相对应地，利用所述P层卷积神经网络中的第一层卷积神经网络接收所述部分图像，所述部分图像例如为三个(通道)尺寸为128×128的图像，例如R通道、G通道和B通道的尺寸为128×128的图像，第一层卷积神经网络输出的中间图像的通道数量大于所述部分图像的通道数量并且尺寸小于所述部分图像的尺寸，第P层卷积神经网络输出多个小图像，例如128个尺寸为4×4或8×8的小图像。

例如，与图3相对应地，利用所述P层卷积神经网络中的第一层卷积神经网络接收所述第一预定尺寸的中间图像，利用第P层卷积神经网络输出所述第二预定尺寸的人脸特征图像。例如，所述第一预定尺寸为128×128或256×256，所述第二预定尺寸为4×4或8×8，所述人脸特征图像的通道数量为128等。

图5A和图5B示出了根据本发明实施例的合成特征图像生成网络的示意性结构图。

如图5A和图5B所示，根据本发明实施例的合成特征图像生成网络包括至少一层全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数。所述集成卷积神经网络的层数K由所述合成特征图像的尺寸决定，所述合成特征图像的尺寸越大，所述集成卷积神经网络的层数K越多。例如，所述合成特征图像的尺寸为256×256，所需的集成卷积神经网络的层数K为3层；所述合成特征图像的尺寸为128×128，所需的集成卷积神经网络的层数K为2层。

如图5A所示，利用所述至少一层全连接神经网络接收M通道的人脸特征图像和N通道的需求特征图像，所述人脸特征图像的尺寸与所述需求特征图像的尺寸相同，所述至少一层全连接神经网络基于所述M通道的人脸特征图像和N通道的需求特征图像生成初始合成图像。然后，第一层卷积神经网络接收所述至少一层全连接神经网络输出的初始合成图像并生成第一层的合成图像；第k层卷积神经网络接收第k-1层卷积神经网络输出的第k-1层合成图像并生成第k层合成图像，其中k为大于等于2且小于等于K的整数，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的通道数量小于第k-1层合成图像的通道数量；最后，利用第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像并生成第K层合成图像，并且该第K层合成图像作为所述第三预定尺寸的合成特征图像。

如图5B所示，利用所述至少一层全连接神经网络接收M通道的人脸特征图像和N通道的需求特征图像，所述人脸特征图像的尺寸与所述需求特征图像的尺寸相同，所述至少一层全连接神经网络基于所述M通道的人脸特征图像和N通道的需求特征图像生成初始合成图像。然后，第一层集成卷积神经网络不仅可以从所述至少一层全连接神经网络接收所述初始合成图像，而且还可以接收N通道的初始映射图像，并且基于所述初始合成图像和所述初始映射图像生成第一层合成图像，其中，所述N通道的初始映射图像与所述N个要添加的特征一一对应，例如，N个要添加的特征中某一特征的取值为a，则与其对应的初始映射图像的每个像素的取值均为a，并且该初始映射图像的尺寸与所述初始合成图像的尺寸相同，下面，为了表述简单和统一，将初始合成图像称为第0层合成图像，并将初始映射图像称为第0层映射图像。类似地，第k层集成卷积神经网络不仅可以从第k-1层集成卷积神经网络接收所述第k-1层合成图像，而且还可以接收N通道的第k-1层映射图像，并且基于所述第k-1层合成图像和所述第k-1层映射图像生成第k层合成图像，其中，所述N通道的第k-1层映射图像与所述N个要添加的特征一一对应，所述第k-1层映射图像的尺寸与第k-1层合成图像的尺寸相同，所述第k层合成图像的尺寸大于第k-1层合成图像的尺寸，并且所述第k层合成图像的通道数量小于第k-1层合成图像的通道数量；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像，而且还可以接收N通道的第K-1层映射图像，并且基于所述第K-1层合成图像和所述第K-1层映射图像生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像，其中，所述N通道的第K-1层映射图像与所述N个要添加的特征一一对应，所述第K-1层合成图像的尺寸与第K-1层映射图像的尺寸相同，所述第K层合成图像的尺寸大于第K-1层合成图像的尺寸，并且所述第K层合成图像的通道数量小于第K-1层合成图像的通道数量。

应了解，所述K层集成卷积神经网络中的任一层(第k层，k为大于等于1且小于等于K的整数)的集成卷积神经网络都可以仅基于其接收的合成图像来生成该层的合成图像，或者也可以基于其接收的第k-1层合成图像和第k-1层映射图像来生成该层的合成图像。此外，应了解，第k-1层映射图像包括N通道的第k-1层映射图像，所述N通道的第k-1层映射图像与所述N个要添加的特征一一对应。

图6A示出了根据本发明实施例的与图5A对应的集成卷积神经网络的示意性结构图。

如图6A所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，将图6A所示的集成卷积神经网络称为第k层集成卷积神经网络。

与图5A所示的人脸生成深度卷积网络相对应，图6A所示的第k层集成卷积神经网络接收第k-1层合成图像，k为大于等于1且小于等于K的整数。

具体地，在k等于1的情况下，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像(初始合成图像，即第0层合成图像)；在k大于1的情况下，利用第k层集成卷积神经网络的放大网络接收第k-1层集成卷积神经网络的输出图像(第k-1层合成图像)。放大网络将所接收的输入图像(第k-1层合成图像)放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，第j层中间图像的通道数量可以大于、等于或小于第j-1层中间图像的通道数量，其中，j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

例如，所述放大网络将所接收的第k-1层合成图像放大两倍，即假设第k-1层合成图像的尺寸为32×32，则所述放大网络所生成的放大图像的尺寸为64×64。应了解，所述放大网络所生成的放大图像的通道数量与所述第k-1层合成图像的通道数量相同，并且所述第k层集成卷积神经网络生成的第k层合成图像的通道数量小于所述第k-1层合成图像的通道数量。例如，所述第k层集成卷积神经网络生成的第k层合成图像的通道数量为所述第k-1层合成图像的通道数量的1/2、1/3等。

图6B示出了根据本发明实施例的与图5B对应的集成卷积神经网络的示意性结构图。

如图6B所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，仍将图6B所示的集成卷积神经网络称为第k层集成卷积神经网络。

与图5B所示的人脸生成深度卷积网络相对应，图6B所示的第k层集成卷积神经网络接收第k-1层合成图像并且还接收第k-1层映射图像，k为大于等于1且小于等于K的整数。

具体地，在k等于1的情况下，利用第一层集成卷积神经网络的放大网络接收所述全连接神经网络的输出图像(初始合成图像，即第0层合成图像)和初始映射图像(即第0层映射图像)；在k大于1的情况下，利用第k层集成卷积神经网络的放大网络接收第k-1层集成卷积神经网络的输出图像(第k-1层合成图像)和第k-1层映射图像。放大网络接收第k-1层合成图像和第k-1层映射图像并将该第k-1层合成图像和第k-1层映射图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，并且第j层中间图像的通道数量可以大于、等于或小于第j-1层中间图像的通道数量，其中j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

图6C示出了根据本发明实施例的与图5B对应的集成卷积神经网络的另一示意性结构图。

与图6B所示的将第k-1层映射图像输入至放大网络不同，在图6C中，第k-1层映射图像被输入至第一层卷积神经网络。在此情况下，每个第k-1层映射图像的尺寸与放大网络输出的放大图像的尺寸相同。第一层卷积神经网络接收该放大图像和第k-1层映射图像并生成第一层中间图像，类似地，第j层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

可选地，除了第一层卷积神经网络之外，第k-1层映射图像还可以被输入至J层卷积神经网络中的任一层。应注意，无论第k-1层映射图像被输入至哪一层卷积神经网络，输入至该层的第k-1层映射图像的尺寸都与输入至该层的中间图像的尺寸相同。

根据本发明实施例，在生成了所述合成人脸图像之后，还进一步对所生成的合成人脸图像进行评估，并且可选地根据评估结果来更新所述人脸特征图像提取网络以及所述合成特征图像生成网络的参数。

图7示出了根据本发明实施例的人脸特征添加方法的进一步示意性流程图。

在步骤S710，基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。步骤S710的操作与步骤S110的操作相似，在此不再赘述。

在步骤S720，将待叠加图像与给定人脸图像叠加，生成合成人脸图像。所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同，所述合成人脸图像的尺寸与所述给定人脸图像的尺寸相同或不同。步骤S720的操作与步骤S110的操作相似，在此不再赘述。

然后，在步骤S730，利用人脸判定深度卷积网络，基于所述合成人脸图像，生成人脸满足度评分。所述人脸满足度评分用于表示所述合成人脸图像是否为人脸图像，并且其取值范围为0到1的实数。

在步骤S740，计算所述待叠加图像的L1范数。例如，所述待叠加图像的通道数量为3，对于每个通道而言，将该通道的待叠加图像的全部像素值求和以得到该通道的待叠加图像的像素值和，然后将各个通道的待叠加图像的像素值和再求和，以得到所述待叠加图像的L1范数。通过使用L1范数，可以使得所述生成的待叠加图像中值为零的像素点尽量多，以保证经过叠加后照片中任务的身份信息不变。

在步骤S750，根据所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。

作为示例，可以首先利用第一线性组合函数，基于所述人脸满足度评分和所述待叠加图像的L1范数，计算第一组合评分。例如，所述第一线性组合函数可以为Sg1＝a1*Sf1+b1*L1，其中Sg1表示所述第一组合评分，Sf1表示所述人脸满足度评分，L1表示所述待叠加图像的L1范数，a1和b1表示加权系数。

然后，再根据所述第一组合评分，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。例如，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。

此外，本发明实施例的人脸特征添加方法还可以进一步利用人脸判定深度卷积网络对带有所述要添加的特征的真实图像进行评估，从而根据评估结果来更新所述人脸判定深度卷积网络的参数。

在步骤S760，利用人脸判定深度卷积网络，基于带有所述要添加的特征的真实图像，生成第二人脸满足度评分。

在步骤S770，根据所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。

作为示例，首先，可以利用第二线性组合函数，基于所述第一人脸满足度评分和所述第二人脸满足度评分，计算第二组合评分。例如，所述第二线性组合函数可以为Sg2＝a2*Sf1+b2*Sf2，其中Sg2表示所述第二组合评分，Sf1表示所述第一人脸满足度评分，Sf2表示所述第二人脸满足度评分，a2和b2表示加权系数。可选地，a2＝b2＝1。

然后，再根据所述第二组合评分，更新所述人脸判定深度卷积网络的系数。例如，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。

图8示出了根据本发明实施例的合成人脸图像判定及网络训练方法的示意性原理图。

图9示出了根据本发明实施例的人脸判定深度卷积网络的示意性结构图。

如图9所示，所述人脸判定深度卷积网络包括：L层卷积神经网络和至少一层全连接神经网络。利用第一层卷积神经网络接收输入图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述人脸满足度评分。

具体地，利用第一层卷积神经网络接收所述合成人脸图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述第一人脸满足度评分；利用第一层卷积神经网络接收所述带有所述要添加的特征的真实图像，所述至少一层全连接神经网络接收第L层卷积神经网络的输出图像并输出所述第二人脸满足度评分。

此外，在本发明实施例的一个示例性实施例中，在上述人脸特征图像提取网络、合成特征图像生成网络、集成卷积神经网络、人脸判定深度卷积网络中，在各网络中的最后一层卷积神经网络上嵌套非线性函数层，并且除了各网络中最后一层卷积神经网络之外，在各网络中的各层卷积网络上都嵌套归一化与非线性函数层。本领域技术人员可以采用现有技术中的相关方法来实现这样的非线性函数层以及归一化与非线性函数层，在此不再赘述，并且本发明不受具体的归一化方法和非线性函数的限制。采用本示例性实现方式的实施例，相对其他实施例具有更好的技术效果，即合成的人脸更满足具体需求。

图10示出了根据本发明实施例的人脸特征添加装置的示意性框图。

如图10所示，所述人脸特征添加装置1000包括：待叠加图像生成模块1010以及合成人脸图像生成模块1020。

所述待叠加图像生成模块1010被配置为基于给定人脸图像和在给定人脸图像上要添加的特征，生成待叠加图像。

所述合成人脸图像生成模块1020被配置为将待叠加图像与所述给定人脸图像叠加，生成合成人脸图像。

此外，所述人脸特征添加装置1000还可以包括：人脸判定模块1030、范数计算模块1040、第一参数调整模块1050、以及第二参数调整模块1060。

所述人脸判定模块1030被配置为利用人脸判定深度卷积网络，基于所述合成人脸特征添加第一人脸满足度评分，并且可选地还基于带有所述要添加的特征的真实图像生成第二人脸满足度评分。

所述范数计算模块1040被配置为计算所述待叠加图像的L1范数。

所述第一参数调整模块1050被配置为基于所述第一人脸满足度评分和所述待叠加图像的L1范数，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。

所述第一参数调整模块1050可以包括第一组合模块和第一参数更新模块。所述第一组合模块被配置为利用第一线性组合函数，基于所述人脸满足度评分和所述待叠加图像的L1范数来计算第一组合评分，并且所述第一参数更新模块被配置为根据所述第一组合评分，更新所述人脸特征图像提取网络和所述合成特征图像生成网络的系数。

所述第二参数调整模块1060被配置为基于所述第一人脸满足度评分和所述第二人脸满足度评分，更新所述人脸判定深度卷积网络的系数。

所述第二参数调整模块1060可以包括第二组合模块和第二参数更新模块。所述第二组合模块被配置为利用第二线性组合函数，基于所述第一人脸满足度评分和所述第二人脸满足度评分来计算第二组合评分。所述第二参数更新模块被配置为根据所述第二组合评分，更新所述人脸判定深度卷积网络的系数。

图11示出了根据本发明实施例的待叠加图像生成模块的示意性框图。

如图11所示，所述待叠加图像生成模块1010包括：图像裁剪模块1011、特征提取模块1012以及待叠加图像合成模块1013。

所述图像裁剪模块1011被配置为根据在给定人脸图像上要添加的特征，从所述给定人脸图像中裁剪出与所述要添加的特征相关的部分图像，所述部分图像的通道数量与所述给定人脸图像的通道数量相同。

所述特征提取模块1012被配置为利用人脸特征图像提取网络，基于裁剪出的所述部分图像，提取出人脸特征图像，所述人脸特征图像的尺寸小于所述部分图像的尺寸，并且所述人脸特征图像的通道数量大于所述部分图像的通道数量。

所述待叠加图像合成模块1013被配置为利用合成特征图像生成网络，基于所述人脸特征图像和与所述要添加的特征相对应的需求特征图像，生成所述待叠加图像，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同。

可选地，所述特征提取模块1012可以包括第一线性变换子模块和特征图像提取子模块，并且所述待叠加图像合成模块1013可以包括特征图像合成子模块和第二线性变换子模块。

所述第一线性变换子模块被配置为：对裁剪出的所述部分图像进行线性变换，得到第一预定尺寸的中间图像，所述中间图像的通道数量与所述部分图像的通道数量相同。

所述特征图像提取子模块被配置为：利用人脸特征图像提取网络，基于所述第一预定尺寸的中间图像，提取出第二预定尺寸的人脸特征图像，所述第二预定尺寸小于所述第一预定尺寸，并且所述人脸特征图像的通道数量大于所述中间图像的通道数量。

所述特征图像合成子模块被配置为：利用合成特征图像生成网络，基于所述人脸特征图像和所述需求特征图像，生成第三预定尺寸的合成特征图像，所述第三预定尺寸大于所述第二预定尺寸，并且所述第三预定尺寸与所述第一预定尺寸相同或不同。

所述第二线性变换子模块被配置为：对所述第三预定尺寸的合成特征图像进行线性变换，以生成部分待叠加图像，所述部分待叠加图像的尺寸与裁剪出的所述部分图像的尺寸相同，所述部分待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述部分待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。

在此情况下，可以将所述部分待叠加图像作为所述待叠加图像，并且与对所述给定人脸图像进行的裁剪相对应地，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道在裁剪位置处逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。

此外，可选地，所述待叠加图像生成模块1010还可以包括：图像填充模块1014。

所述图像填充模块1014被配置为：与对所述给定人脸图像进行的裁剪相对应地，对所述部分待叠加图像进行图像填充，以生成所述待叠加图像。所述待叠加图像的尺寸与所述给定人脸图像的尺寸相同，所述待叠加图像的通道数量与所述给定人脸图像的通道数量相同，并且所述待叠加图像的任一通道唯一地与所述给定人脸图像的一个通道相对应。

在此情况下，所述合成人脸图像生成模块将待叠加图像与所述给定人脸图像中对应的通道逐像素地叠加，或者将待叠加图像与所述给定人脸图像中对应的通道逐像素地进行加权叠加，以生成合成人脸图像，所述合成人脸图像的通道数量与所述给定人脸图像的通道数量相同。

图12示出了用于实现根据本发明实施例的人脸特征添加及判定装置的电子设备的示意性框图。

所述电子设备包括：一个或多个处理器1210、存储装置1220、输入装置1230和输出装置1240，这些组件通过总线系统1280和/或其它形式的连接机构(未示出)互连。应当注意，图12所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。

所述存储装置1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如给定人脸图像、合成人脸图像、需求特征向量等以及所述应用程序使用和/或产生的各种数据等。

所述输入装置1230可以包括键盘等可供输入给定人脸图像或要添加的特征的装置。

所述输出装置1240可以包括显示器以输出合成人脸图像和/或各种评分结果，并且还可以包括扬声器等以输出各种评分结果。

通过处理器1210执行存储在存储装置1220中的计算机程序指令可以实现如上所述的人脸特征添加方法及装置、以及如上所述的人脸特征添加及判定方法及装置，并且具体地可以实现如上所述的人脸特征图像提取网络、合成特征图像生成网络以及人脸判定深度卷积网络。

应了解，根据本发明实施例，通过利用合成特征图像生成网络基于人脸特征图像和需求特征图像生成待叠加图像，无需利用三维模型，可以快速地生成包含要添加的特征的待叠加图像，然后通过将待叠加图像与给定人脸图像叠加便可以得到在给定人脸图像上包含要添加的特征的合成人脸图像。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸并生成相应的第一人脸满足度评分，并且通过计算所述待叠加图像的L1范数，可以利用该人脸满足度评分和L1范数的线性组合构建人脸特征图像提取网络和合成特征图像生成网络的损失函数，由此更新所述人脸特征图像提取网络和合成特征图像生成网络的参数。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定带有所述要添加的特征的真实图像的第二人脸满足度评分，并且可以利用第一和第二人脸满足度评分的线性组合构建人脸判定深度卷积网络的损失函数，由此更新所述人脸判定深度卷积网络的参数。

通过上述参数更新，可以将人脸特征图像提取网络、合成特征图像生成网络和人脸判定深度卷积网络同步地训练。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。