人脸图像生成方法、装置及设备与流程

本发明涉及人脸图像生成技术领域，更具体地涉及一种人脸图像生成方法、装置及设备。

背景技术：

目前的人脸图像生成与人脸重建都是通过多张不同角度二维照片生成三维模型，然后渲染得到新的二维图像。

然而，这种基于三维模型得到新的二维照片的方法，超时较大，效率较低，而且需要利用同一个体的诸多不同角度照片来进行三维建模，这在实际应用中往往不能得到满足。而且，这种方法只适用于生成已有个体的不同角度与光照的图像，并不能生成新的人脸图像。

因此，需要一种不仅能够基于需求特征从现有人脸图像重建带有所述需求特征的人脸图像，而且能够不基于现有人脸图像而仅基于需求特征生成新的人脸图像的方法和装置。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种人脸图像生成方法及装置，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，可以无需利用三维模型生成具有特定特征的人脸图像。

根据本发明一方面，提供了一种人脸图像生成方法，包括：生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。

此外，根据本发明实施例，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。

此外，根据本发明实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。

此外，根据本发明实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成方法还包括：基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。

根据本发明另一方面，提供了一种人脸图像生成装置，包括：人脸特征生成模块，被配置为生成M维人脸特征向量，其中M为大于1的整数；向量合成模块，被配置为将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；合成人脸生成模块，被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。

此外，根据本发明实施例，所述人脸图像生成装置还包括：需求判定模块，被配置为基于所述合成人脸图像与所述需求特征向量，利用需求判定深度卷积网络生成需求满足度评分；以及第一参数调整模块，被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。

此外，根据本发明实施例，在从给定人脸图像中提取所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第一人脸判定模块，被配置为基于所述合成人脸图像与所述给定人脸图像，利用第一人脸判定深度卷积网络生成人脸匹配度评分；以及第二参数调整模块，被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。。

此外，根据本发明实施例，在随机生成所述人脸特征向量的情况下，所述人脸图像生成装置还包括：第二人脸判定模块，被配置为基于所述合成人脸图像，利用第二人脸判定深度卷积网络生成人脸满足度评分；以及第三参数调整模块，被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。

根据本发明又一方面，提供了一种人脸图像生成设备，包括：一个或多个处理器；一个或多个存储器，存储程序指令，在处理器执行所述程序指令时，生成M维人脸特征向量，其中M为大于1的整数；将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数；利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。

根据本发明实施例的，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，无需利用三维模型，可以快速地生成具有需求特征向量所规定的特定特征的人脸图像。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用需求判定深度卷积网络判定所生成的合成人脸图像是否满足所述需求特征向量的要求并生成相应的需求满足度评分，并且继而根据需求满足度评分更新所述人脸生成深度卷积网络和需求判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和需求判定深度卷积网络同步地训练。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸或者是否与给定人脸图像属于同一人脸并生成相应的人脸满足度评分或人脸匹配度评分，并且继而根据所生成的人脸满足度评分或人脸匹配度评分更新所述人脸生成深度卷积网络和人脸判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和人脸判定深度卷积网络同步地训练。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的人脸图像生成方法的示意性流程图；

图2是根据本发明实施例的基于人脸特征向量和需求特征向量生成合成人脸图像的示意性原理图；

图3A是根据本发明实施例的人脸生成深度卷积网络的一个示意性结构图；

图3B是根据本发明实施例的人脸生成深度卷积网络的另一示意性结构图；

图4A是根据本发明实施例的与图3A对应的集成卷积神经网络的示意性结构图；

图4B是根据本发明实施例的与图3B对应的集成卷积神经网络的示意性结构图；

图4C是根据本发明实施例的与图3B对应的集成卷积神经网络的另一示意性结构图；

图5A是根据本发明第一实施例的人脸图像生成及判定过程的示意性原理图；

图5B是根据本发明第二实施例的人脸图像生成及判定过程的示意性原理图；

图6是根据本发明第一实施例的人脸特征提取深度卷积网络的示意性结构图；

图7A是根据本发明第一实施例的第一人脸判定深度卷积网络的示意性结构图；

图7B是根据本发明第二实施例的第二人脸判定深度卷积网络的示意性结构图；

图8是根据本发明实施例的判定特征向量提取网络的示意性结构图；

图9是根据本发明实施例的需求判定深度卷积网络的示意性结构图；

图10是根据本发明实施例的人脸图像生成装置的示意性框图；

图11A是根据本发明第一实施例的人脸图像生成及判定装置的示意性框图；

图11B是根据本发明第二实施例的人脸图像生成及判定装置的示意性框图；以及

图12是用于实现根据本发明实施例的人脸图像生成及判定装置的电子设备的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

图1是根据本发明实施例的人脸图像生成方法100的示意性流程图。

在步骤S110，生成M维人脸特征向量，其中M为大于1的整数。优选地，所述人脸特征向量为高维特征向量。

根据本发明实施例，可以从给定人脸图像中提取所述人脸特征向量。例如，可以利用根据本发明实施例的人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。替换地，根据本发明实施例，可以随机生成所述人脸特征向量，在此情况下，所述人脸特征向量表示随机生成的人脸。

例如，所述M维人脸特征向量的每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数。

在步骤S120，将所述M维人脸特征向量与N维需求特征向量连接以生成合成特征向量，其中N为大于等于1的整数。

例如，所述需求特征向量每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，并且表示不同的需求，例如，是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。

根据本发明实施例，M维人脸特征向量和N维需求特征向量连接以生成M+N维的合成特征向量。例如，可以将N维的需求特征向量放置在M维的人脸特征向量之后，或者可以将N维的需求特征向量放置在M维的人脸特征向量之前，或者可以将N维的需求特征向量插入至M维的人脸特征向量之中。

在步骤S130，利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。

图2示出了根据本发明实施例的基于人脸特征向量和需求特征向量生成合成人脸图像的示意性原理图。

首先，人脸特征向量和需求特征向量连接，以便生成合成特征向量。例如，M维的人脸特征向量和N维的需求特征向量连接以生成M+N维的合成特征向量。然后，人脸生成深度卷积网络基于所述M+N维的合成特征向量生成合成人脸图像。

图3A示出了根据本发明实施例的人脸生成深度卷积网络的一个示意性结构图，图3B示出了根据本发明实施例的人脸生成深度卷积网络的另一示意性结构图。

如图3A和图3B所示，所述人脸生成深度卷积网络包括至少一层全连接神经网络和K层集成卷积神经网络，其中K为大于等于2的整数。所述集成卷积神经网络的层数K由所述合成人脸图像的尺寸决定，所述合成人脸图像的尺寸越高，所述集成卷积神经网络的层数K越多。例如，所述合成人脸图像的尺寸为256×256，所需的集成卷积神经网络的层数K为3层；所述合成人脸图像的尺寸为128×128，所需的集成卷积神经网络的层数K为2层。

如图3A所示，利用所述至少一层全连接神经网络接收所述合成特征向量，并且基于所述合成特征向量生成初始合成图像。然后，第一层卷积神经网络接收所述至少一层全连接神经网络输出的初始合成图像并生成第一层的合成图像；第k层卷积神经网络接收第k-1层卷积神经网络输出的第k-1层合成图像并生成第k层合成图像，其中k为大于等于2且小于等于K的整数，所述第k层合成图像的尺寸(分辨率)大于第k-1层合成图像的尺寸(分辨率)，并且所述第k层合成图像的数量(通道数量)小于第k-1层合成图像的数量(通道数量)；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像并生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像。

如图3B所示，利用所述至少一层全连接神经网络接收所述合成特征向量，并且基于所述合成特征向量生成初始合成图像。然后，第一层集成卷积神经网络不仅可以从所述至少一层全连接神经网络接收所述初始合成图像，而且还可以接收由所述需求特征向量映射而成的初始映射图像，并且基于所述初始合成图像和所述初始映射图像生成第一层合成图像，其中，所述初始合成图像的尺寸与所述初始映射图像的尺寸相同；类似地，第k层集成卷积神经网络不仅可以从第k-1层集成卷积神经网络接收所述第k-1层合成图像，而且还可以接收由所述需求特征向量映射而成的第k-1层映射图像，并且基于所述第k-1层合成图像和所述第k-1层映射图像生成第k层合成图像，所述第k-1层合成图像的尺寸与第k-1层映射图像的尺寸相同，所述第k层合成图像的尺寸(分辨率)大于第k-1层合成图像的尺寸(分辨率)，并且所述第k层合成图像的数量(通道数量)小于第k-1层合成图像的数量(通道数量)；最后，第K层卷积神经网络接收第K-1层卷积神经网络输出的第K-1层合成图像，而且还可以接收由所述需求特征向量映射而成的第K-1层映射图像，并且基于所述第K-1层合成图像和所述第K-1层映射图像生成第K层合成图像，并且该第K层合成图像作为所述合成人脸图像，所述第K-1层合成图像的尺寸与第K-1层映射图像的尺寸相同。

应了解，所述初始合成图像包括多个初始合成图像，例如128个(通道)尺寸(分辨率)为32×32的初始合成图像；所述初始映射图像包括N个初始映射图像，所述N维需求特征向量中每一维各自分别对应于一个初始映射图像。例如，N维需求特征向量中某一维的取值为a，则与其对应的尺寸为32×32的初始映射图像的每个像素的取值均为a。下面，为了表述简单和统一，将初始合成图像称为第0层合成图像，并将初始映射图像称为第0层映射图像。。

应了解，所述K层集成卷积神经网络中的任一层(第k层，k为大于等于1且小于等于K的整数)的集成卷积神经网络都可以仅基于其接收的合成图像来生成该层的合成图像，或者也可以基于其接收的第k-1层合成图像和第k-1层映射图像来生成该层的合成图像。此外，应了解，第k-1层映射图像也包括N个第k-1层映射图像，所述N维需求特征向量中每一维各自分别对应于一个第k-1层映射图像。

图4A示出了根据本发明实施例的与图3A对应的集成卷积神经网络的示意性结构图。

如图4A所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，将图4A所示的集成卷积神经网络称为第k层集成卷积神经网络。

与图3A所示的人脸生成深度卷积网络相对应，图4A所示的第k层集成卷积神经网络接收第k-1层合成图像，k为大于等于1且小于等于K的整数。具体地，放大网络接收第k-1层合成图像并将该第k-1层合成图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，其中，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，第j层中间图像的数量(通道数量)可以大于、等于或小于第j-1层中间图像的数量(通道数量)，其中，j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

例如，所述放大网络将所接收的第k-1层合成图像放大两倍，即假设第k-1层合成图像的尺寸为32×32，则所述放大网络所生成的放大图像的尺寸为64×64。应了解，所述放大网络所生成的放大图像的数量(通道数量)与所述第k-1层合成图像的数量(通道数量)相同，并且所述第k层集成卷积神经网络生成的第k层合成图像的数量(通道数量)小于所述第k-1层合成图像的数量(通道数量)。例如，所述第k层集成卷积神经网络生成的第k层合成图像的数量(通道数量)为所述第k-1层合成图像的数量(通道数量)的1/2、1/3等。

图4B示出了根据本发明实施例的与图3B对应的集成卷积神经网络的示意性结构图。

如图4B所示，每一层集成卷积神经网络包括放大网络和J层卷积神经网络，其中J为大于等于2的整数。下面，为描述方便，仍将图4B所示的集成卷积神经网络称为第k层集成卷积神经网络。

与图3B所示的人脸生成深度卷积网络相对应，图4B所示的第k层集成卷积神经网络接收第k-1层合成图像并且还接收第k-1层映射图像，k为大于等于1且小于等于K的整数。具体地，放大网络接收第k-1层合成图像和第k-1层映射图像并将该第k-1层合成图像和第k-1层映射图像放大以生成放大图像，然后第一层卷积神经网络接收该放大图像并生成第一层中间图像，类似地，第j层卷积神经网络从第j-1层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，第j层中间图像的尺寸与第j-1层中间图像的尺寸相同，并且第j层中间图像的数量(通道数量)可以大于、等于或小于第j-1层中间图像的数量(通道数量)，其中j为大于等于2且小于等于J的整数；最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

图4C示出了根据本发明实施例的与图3B对应的集成卷积神经网络的另一示意性结构图。

与图4B所示的将第k-1层映射图像输入至放大网络不同，在图4C中，第k-1层映射图像被输入至第一层卷积神经网络。在此情况下，每个第k-1层映射图像的尺寸与放大网络输出的放大图像的尺寸相同。第一层卷积神经网络接收该放大图像和第k-1层映射图像并生成第一层中间图像，类似地，第j层卷积神经网络接收第j-1层中间图像并生成第j层中间图像，最后第J层卷积神经网络接收第J-1层中间图像并生成第J层中间图像，该第J层中间图像作为该第k层集成卷积神经网络输出的第k层合成图像。

可选地，除了第一层卷积神经网络之外，第k-1层映射图像还可以被输入至J层卷积神经网络中的任一层。应注意，无论第k-1层映射图像被输入至哪一层卷积神经网络，输入至该层的第k-1层映射图像的尺寸都与输入至该层的中间图像的尺寸相同。

根据本发明实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还进一步对所生成的合成人脸图像进行评估，并且可选地根据评估结果来更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。

图5A示出了根据本发明第一实施例的人脸图像生成及判定过程的示意性原理图。

在本发明第一实施例中，利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。

图6示出了根据本发明第一实施例的人脸特征提取深度卷积网络的示意性结构图。

根据本发明第一实施例，所述人脸特征提取深度卷积网络包括：P层卷积神经网络和至少一层全连接神经网络，其中P为大于等于2的整数。

利用所述P层卷积神经网络中的第一层卷积神经网络接收所述给定人脸图像，所述给定人脸图像例如为三个(通道)尺寸为128×128的给定人脸图像，例如R通道、G通道和B通道的尺寸为128×128的给定人脸图像，第一层卷积神经网络输出的中间图像的数量(通道数量)大于所述给定人脸图像的数量(通道数量)并且尺寸小于所述给定人脸图像的尺寸，第P层卷积神经网络输出多个小图像，例如128个尺寸为4×4或8×8的小图像。最后，利用所述至少一层全连接神经网络接收所述第P层卷积神经网络输出的多个小图像并生成所述人脸特征向量。

根据本发明第一实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，可以利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。此外，进一步地，可以基于所述需求满足度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。

此外，根据本发明第一实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还可以利用人脸判定深度卷积网络基于所述合成人脸图像与所述给定人脸图像生成人脸匹配度评分，以判定所述合成人脸图像与所述给定人脸图像是否为同一人脸。此外，进一步地，可以基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。

图5B示出了根据本发明第二实施例的人脸图像生成及判定过程的示意性原理图。

在本发明第二实施例中，随机地生成人脸特征向量。

根据本发明第二实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，还可以利用人脸判定深度卷积网络基于所述合成人脸图像生成人脸满足度评分，以判定所述合成人脸图像是否为人脸图像。此外，进一步地，可以基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述人脸判定深度卷积网络的参数。

此外，根据本发明第二实施例，在所述人脸生成深度卷积网络生成了合成人脸图像之后，可以利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。此外，进一步地，可以基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。

根据本发明实施例，可以利用梯度下降方法等更新各网络的参数，例如可以利用反向传导法则计算各参数的梯度。

图7A示出了根据本发明第一实施例的第一人脸判定深度卷积网络的示意性结构图。

如图7A所示，所述第一人脸判定深度卷积网络包括第一判定特征向量提取网络、第二判定特征向量提取网络和全连接神经网络。

利用所述第一判定特征向量提取网络从所述给定人脸图像中提取第一判定特征向量，利用所述第二判定特征向量提取网络从所述合成人脸图像中提取第二判定特征向量，利用所述全连接神经网络基于所述第一判定特征向量和所述第二判定特征向量，生成所述人脸匹配度评分。

所述第一判定特征向量提取网络和所述第二判定特征向量提取网络的参数相同，所述第一判定特征向量的维数和第二判定特征向量的维数相同且大于所述人脸特征提取深度卷积网络从所述给定人脸图像中所提取的人脸特征向量的维数。例如，所述第一判定特征向量的维数和第二判定特征向量的维数均为1000维，所述人脸匹配度评分的取值范围为0到1的实数。

图7B示出了根据本发明第二实施例的第二人脸判定深度卷积网络的示意性结构图。

如图7B所示，所述第二人脸判定深度卷积网络包括第三判定特征向量提取网络和全连接神经网络。

利用所述第三判定特征向量提取网络从所述合成人脸图像中提取第三判定特征向量，利用所述全连接神经网络基于所述第三判定特征向量，生成所述人脸满足度评分，其中所述第三判定特征向量的维数大于所述人脸特征向量的维数。

图7B中的第三判定向量提取网络的参数可以与图7A中的第二判定向量提取网络的参数相同，或者图7B中的第三判定向量提取网络可以与图7A中的第二判定向量提取网络为同一网络，然而图7B中的全连接神经网络的参数与图7A中的全连接神经网络的参数不同。

图8示出了根据本发明实施例的判定特征向量提取网络的示意性结构图。

根据本发明实施例，判定特征向量提取网络包括至少一层卷积神经网络、至少一层局部连接神经网络和至少一层全连接神经网络。

利用第一层卷积神经网络接收输入图像，所述至少一层卷积神经网络级联，最后一层卷积神经网络与第一层局部连接神经网络连接，所述至少一层局部连接神经网络级联，最后一层局部连接神经网络与第一层全连接神经网络连接，所述至少一层全连接神经网络级联，最后一层全连接神经网络输出判定特征向量。

根据本发明第一实施例的图7A中的第一判定特征向量提取网络和第二判定特征向量提取网络和根据本发明第二实施例的图7B中的判定特征向量提取网络可以采用图8所示的结构。

具体地，利用图7A中的第一判定特征向量提取网络的第一层卷积神经网络接收所述给定人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第一判定特征向量；利用图7A中的第二判定特征向量提取网络的第一层卷积神经网络接收所述合成人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第二判定特征向量。

具体地，利用图7B中的第三判定特征向量提取网络的第一层卷积神经网络接收所述合成人脸图像作为其输入图像，并且其最后一层全连接神经网络输出第三判定特征向量。

图9示出了根据本发明实施例的需求判定深度卷积网络的示意性结构图。

如图9所示，根据本发明实施例的需求判定深度卷积网络包括Q层卷积神经网络和至少一层全连接神经网络。

利用所述Q层卷积神经网络中的第一层卷积神经网络接收所述合成人脸图像以及需求映射图像，所述需求映射图像的尺寸与所述合成人脸图像的尺寸相同，所述合成人脸图像例如包括三个(通道)尺寸为128×128的合成人脸图像，即R通道尺寸为128×128的合成人脸图像、G通道尺寸为128×128的合成人脸图像、B通道尺寸为128×128的合成人脸图像，所述需求映射图像包括N个(通道)分辨为128×128的需求映射图像，所述N维需求特征向量中的每一维各自分别对应于一个需求映射图像，并且该需求映射图像中每个像素的取值为该维的取值。所述Q层卷积神经网络中的第Q层卷积神经网络输出多个(通道)尺寸为4×4或8×8的小图像。

然后，利用所述至少一层全连接神经网络，基于所述多个尺寸为4×4或8×8的小图像，生成需求满足度评分。

此外，在本发明实施例的一个示例性实现方式中，在上述人脸特征提取深度卷积网络、人脸特征生成深度卷积网络、集成卷积神经网络、人脸判定深度卷积网络、判定特征向量提取网络、需求判定深度卷积网络中，在各网络中的最后一层卷积神经网络上嵌套非线性函数层，并且除了各网络中最后一层卷积神经网络之外，在各网络中的各层卷积网络上都嵌套归一化与非线性函数层。本领域技术人员可以采用现有技术中的相关方法来实现这样的非线性函数层以及归一化与非线性函数层，在此不再赘述，并且本发明不受具体的归一化方法和非线性函数的限制。采用本示例性实现方式的实施例，相对其他实施例具有更好的技术效果，即合成的人脸更满足具体需求。

图10示出了根据本发明实施例的人脸图像生成装置的示意性框图。

根据本发明实施例的人脸图像生成装置1000包括：人脸特征生成模块1010、需求特征生成模块1020、向量合成模块1030、以及合成人脸生成模块1040。

所述人脸特征生成模块1010被配置为生成M维人脸特征向量，其中M为大于1的整数。根据本发明实施例，可以从给定人脸图像中提取所述人脸特征向量。例如，可以利用根据本发明实施例的人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。替换地，根据本发明实施例，可以随机生成所述人脸特征向量，在此情况下，所述人脸特征向量表示随机生成的人脸。

所述需求特征获取模块1020被配置为获取N维需求特征向量，其中N为大于等于1的整数。例如，所述需求特征向量每一维的取值都为在(－1，1)范围内的实数或者为在(0，1)范围内的实数，并且表示不同的需求，例如，是否戴眼镜，是否有刘海，光照强度，脸部旋转角度等等。

所述向量合成模块1030被配置为将所述M维人脸特征向量与N维需求特征向量连接生成合成特征向量。根据本发明实施例，M维的人脸特征向量和N维的需求特征向量连接以生成M+N维的合成特征向量。例如，可以将N维的需求特征向量放置在M维的人脸特征向量之后，或者可以将N维的需求特征向量放置在M维的人脸特征向量之前，或者可以将N维的需求特征向量插入至M维的人脸特征向量之中。

所述合成人脸生成模块1040被配置为利用人脸生成深度卷积网络，基于所述合成特征向量生成合成人脸图像。所述人脸生成深度卷积网络的结构如图3A和3B所示，在此不再赘述。

图11A示出了根据本发明第一实施例的人脸图像生成及判定装置的示意性框图。

根据本发明实施例的人脸图像生成及判定装置包括：人脸特征生成模块1110、需求特征生成模块1020、向量合成模块1030、合成人脸生成模块1040、第一人脸判定模块1150、第二参数调整模块1160、需求判定模块1170、以及第一参数调整模块1180。

所述人脸特征生成模块1110被配置为利用人脸特征提取深度卷积网络从给定人脸图像中提取所述人脸特征向量。所述人脸特征提取深度卷积网络的结构如图6所示，在此不再赘述。

所述第一人脸判定模块1150被配置为利用第一人脸判定深度卷积网络基于所述合成人脸图像与所述给定人脸图像生成人脸匹配度评分，以判定所述合成人脸图像与所述给定人脸图像是否为同一人脸。所述人脸判定深度卷积网络的结构如图7A和图8所示，在此不再赘述。

所述需求判定模块1170被配置为利用需求判定深度卷积网络基于所述合成人脸图像与所述需求特征向量生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。所述需求判定深度卷积网络的结构如图9所示，在此不再赘述。

所述第二参数调整模块1160被配置为基于所述人脸匹配度评分，更新所述人脸特征提取深度卷积网络、所述人脸生成深度卷积网络以及所述第一人脸判定深度卷积网络的参数。根据本发明实施例，所述第二参数调整模块1160可以利用梯度下降方法等更新各网络的参数。

所述第一参数调整模块1180被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。根据本发明实施例，所述第一参数调整模块1180可以利用梯度下降方法等更新各网络的参数。

图11B示出了根据本发明第二实施例的人脸图像生成及判定装置的示意性框图。

根据本发明实施例的人脸图像生成及判定装置包括：人脸特征生成模块1115、需求特征生成模块1020、向量合成模块1030、合成人脸生成模块1040、第二人脸判定模块1155、第三参数调整模块1165、需求判定模块1170、以及第一参数调整模块1180。

所述人脸特征生成模块1115被配置为随机地生成人脸特征向量。

所述第二人脸判定模块1155被配置为利用第二人脸判定深度卷积网络基于所述合成人脸图像生成人脸满足度评分，以判定所述合成人脸图像是否为人脸图像。所述人脸判定深度卷积网络的结构如图7B和图8所示，在此不再赘述。

所述需求判定模块1170被配置为利用需求判定深度卷积网络基于所述合成人脸图像与根据所述需求特征向量生成的需求映射图像生成需求满足度评分，以判定所述合成人脸图像是否满足所述需求特征向量的要求。所述需求判定深度卷积网络的结构如图9所示，在此不再赘述。

所述第三参数调整模块1165被配置为基于所述人脸满足度评分，更新所述人脸生成深度卷积网络以及所述第二人脸判定深度卷积网络的参数。根据本发明实施例，所述第二参数调整模块1165可以利用梯度下降方法等更新各网络的参数。

所述第一参数调整模块1180被配置为基于所述需求满足度评分，更新所述人脸生成深度卷积网络以及所述需求判定深度卷积网络的参数。根据本发明实施例，所述第一参数调整模块1180可以利用梯度下降方法等更新各网络的参数。

图12示出了用于实现根据本发明实施例的人脸图像生成及判定装置的电子设备的示意性框图。

所述电子设备包括：一个或多个处理器1210、存储装置1220、输入装置1230和输出装置1240，这些组件通过总线系统1280和/或其它形式的连接机构(未示出)互连。应当注意，图12所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。

所述存储装置1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如给定人脸图像、合成人脸图像、需求特征向量等以及所述应用程序使用和/或产生的各种数据等。

所述输入装置1230可以包括键盘等可供输入给定人脸图像或需求特征向量的装置。

所述输出装置1240可以包括显示器以输出合成人脸图像和/或各种评分结果，并且还可以包括扬声器等以输出各种评分结果。

通过处理器1210执行存储在存储装置1220中的计算机程序指令可以实现如上所述的人脸图像生成方法及装置、以及如上所述的人脸图像生成及判定方法及装置，并且具体地可以实现如上所述的人脸特征提取深度卷积网络、人脸生成深度卷积网络、人脸判定深度卷积网络以及需求判定深度卷积网络。

应了解，根据本发明实施例，通过利用人脸生成深度卷积网络基于人脸特征向量和需求特征向量生成人脸，无需利用三维模型，可以快速地生成具有需求特征向量所规定的特定特征的人脸图像。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用需求判定深度卷积网络判定所生成的合成人脸图像是否满足所述需求特征向量的要求并生成相应的需求满足度评分，并且继而根据需求满足度评分更新所述人脸生成深度卷积网络和需求判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和需求判定深度卷积网络同步地训练。

此外，根据本发明实施例，在生成了合成人脸图像之后，通过利用人脸判定深度卷积网络判定所生成的合成人脸图像是否是人脸或者是否与给定人脸图像属于同一人脸并生成相应的人脸满足度评分或人脸匹配度评分，并且继而根据所生成的人脸满足度评分或人脸匹配度评分更新所述人脸生成深度卷积网络和人脸判定深度卷积网络的参数，从而可以将人脸生成深度卷积网络和人脸判定深度卷积网络同步地训练。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。