带人脸属性的人脸图像生成方法以及装置与流程

本技术涉及it应用，具体涉及一种带人脸属性的人脸生成方法以及装置。

背景技术：

1、目前，循环生成对抗网络(cycle gan)首次将生成对抗网络应用于图像风格迁移，实现无配对图像之间的风格迁移，取得了一定的效果，广泛应用于生成带人脸属性的人脸图像，可以利用于如附加雀斑、戴眼镜、变换发型等场景。尤其目前公开的数据集中，戴眼镜的人脸数据相对较少，难以满足在人脸属性算法训练时的大量图像数据需求，此外，在公安缉拿画像生成或者其他场景中，也有生成戴眼镜人脸图像的需求。因此，循环生成对抗网络成为了解决带人脸属性的人脸图像数据生成问题的常用技术手段。

2、现有技术中的循环生成对抗网络通常设有两个生成器，分别将带有人脸属性的人脸图像和不带有人脸属性的人脸图像进行相互转换；同时，为了和生成器形成对抗，还设有两个判别器，分别对带有人脸属性的人脸图像和不带有人脸属性的人脸图像进行判别，判断输入判别器的是真实图像还是生成图像，从而配合循环一致性损失函数以及判别损失函数完成循环生成对抗网络的训练，使得循环生成对抗网络能够进行带人脸属性的人脸图像的生成。

3、上述现有技术存在以下缺点：

4、该方案由于没有输入关于人脸属性的图像信息，因此生成的人脸图像上的人脸属性的外观形态不可控，影响人脸图像的稳定性和多样性，降低带人脸属性的人脸图像的生成效率。

技术实现思路

1、本技术实施例提供一种带人脸属性的人脸图像生成方法，用以解决生成的人脸图像上的人脸属性的外观形态不可控的技术问题。

2、第一方面，本技术实施例提供一种带人脸属性的人脸图像生成方法，包括：

3、获取目标人脸属性图像以及待编辑人脸图像；

4、输入目标人脸属性图像以及待编辑人脸图像至人脸图像生成网络中，得到人脸图像生成网络生成的目标人脸图像；

5、其中，人脸图像生成网络基于人脸样本图像集、特征脸部样本图像集以及从特征脸部样本图像集中提取的样本人脸属性图像训练得到。

6、在一个实施例中，人脸图像生成网络是通过如下方式训练的：

7、获取人脸样本图像集以及特征脸部样本图像集；

8、将人脸样本图像集中的各个人脸样本图像，与特征脸部样本图像集中的各个特征脸部样本图像一一配对，得到多组配对图像；

9、分别提取每一组配对图像的特征脸部样本图像中的人脸属性外观特征，得到每一组配对图像对应的样本人脸属性图像；

10、构建人脸图像生成网络；

11、将每一组配对图像以及每一组配对图像对应的样本人脸属性图像依次输入人脸图像生成网络对人脸图像生成网络进行训练。

12、在一个实施例中，将每一组配对图像以及每一组配对图像对应的样本人脸属性图像依次输入人脸图像生成网络对人脸图像生成网络进行训练，其中，一组配对图像以及与当前配对图像对应的样本人脸属性图像输入人脸图像生成网络对人脸图像生成网络进行训练，包括：

13、将配对图像中的人脸样本图像以及样本人脸属性图像输入人脸图像生成网络中，得到人脸图像生成网络的第一单向损失函数值；

14、将配对图像中的特征脸部样本图像以及样本人脸属性图像输入人脸图像生成网络中，得到人脸图像生成网络的第二单向损失函数值；

15、根据第一单向损失函数值以及第二单向损失函数值确定损失函数总值；

16、根据损失函数总值更新人脸图像生成网络的模型参数。

17、在一个实施例中，人脸图像生成网络包括循环生成对抗网络以及相似度计算网络，相似度计算网络用于确定人脸属性图像与人脸生成图像中的人脸属性外观特征之间的相似程度；

18、将配对图像中的人脸样本图像以及样本人脸属性图像输入人脸图像生成网络中，得到人脸图像生成网络的第一单向损失函数值，包括：

19、将当前配对图像中的人脸样本图像以及样本人脸属性图像输入循环生成对抗网络的第一生成器中，得到第一生成器输出的第一人脸训练生成图像；

20、将第一人脸训练生成图像输入循环生成对抗网络的第一判别器中，得到第一判别器输出的第一训练概率值；

21、将第一人脸训练生成图像输入相似度计算网络，得到相似度计算网络输出的第一训练相似度值；

22、将第一人脸训练生成图像输入循环生成对抗网络的第二生成器中，得到第二生成器输出的第一人脸训练重建图像；

23、根据第一人脸训练生成图像、第一训练概率值、第一训练相似度值以及第一人脸训练重建图像确定第一单向损失函数值。

24、在一个实施例中，将配对图像中的特征脸部样本图像以及样本人脸属性图像输入人脸图像生成网络中，得到人脸图像生成网络的第二单向损失函数值，包括：

25、将当前配对图像中的特征脸部样本图像输入循环生成对抗网络的第二生成器中，得到第二生成器输出的第二人脸训练生成图像；

26、将第二人脸训练生成图像输入循环生成对抗网络的第二判别器，得到第二判别器输出的第二训练概率值；

27、将第二人脸训练生成图像以及样本人脸属性图像输入第一生成器中，得到第一生成器输出的第二人脸训练重建图像；

28、将第二人脸训练重建图像输入相似度计算网络，得到相似度计算网络输出的第二训练相似度值；

29、根据第二人脸训练生成图像、第二训练概率值、第二训练相似度值以及第二人脸训练重建图像确定第二单向损失函数值。

30、在一个实施例中，根据第一人脸训练生成图像、第一训练概率值、第一训练相似度值以及第一人脸训练重建图像确定第一单向损失函数值，包括：

31、将第一人脸训练生成图像、第一训练概率值、第一训练相似度值以及第一人脸训练重建图像输入第一单向损失函数，得到第一单向损失函数值；

32、第一单向损失函数为：

33、la→b(gab,gba,a,b，x)＝lcyc(gab,gba,a,b，x)+lgan(gab,db,dc,a,b,x)

34、其中，gab为第一生成器的输出图像，gba为第二生成器的输出图像，a为人脸样本图像集，b为特征脸部样本图像集，x为样本人脸属性图像的集合，x为样本人脸属性图像，db为第一判别器的输出值，dc为相似度计算网络的输出值；

35、第一单向损失函数的构建方法，具体包括：

36、根据样本人脸属性图像构建第一判别函数，第一判别函数为：

37、lgan(gab,db,a,b,x)＝eb～b[logdb(b)]+ea～a，x～x[log1-db(gab(a,x))]

38、其中，a为人脸样本图像，db(b)为第一判别器对特征脸部样本图像的判别值，db(gab(a,x))为第一训练概率值；

39、根据相似度计算网络构建第二判别函数，第二判别函数为：

40、lgan(gab,dc,a,x)＝ea～a,x～x[logdc(x,gab(a,x))]

41、其中，dc(x,gab(a,x))为第一训练相似度值；

42、将第一判别函数与第二判别函数求和，得到判别损失函数；

43、根据样本人脸属性图像构建循环一致性损失函数，循环一致性损失函数为：

44、lcyc(gab,gba,a,b,x)＝ea～a,x～x[||gba(gab(a,x))-a||1]

45、其中，gba(gab(a,x))为第一人脸训练重建图像；

46、将判别损失函数与循环一致性损失函数求和，得到第一单向损失函数。

47、在一个实施例中，根据第二人脸训练生成图像、第二训练概率值、第二训练相似度值以及第二人脸训练重建图像确定第二单向损失函数值，包括：

48、将第二人脸训练生成图像、第二训练概率值、第二训练相似度值以及第二人脸训练重建图像输入第二单向损失函数，得到第二单向损失函数值；

49、第二单向损失函数为：

50、lb→a(gba,gab,b,a，x)＝lcyc(gba,gab,b,a,x)+lgab(gba,da,dc,b,a,x)

51、其中，da为第二判别器的输出值。

52、第二方面，本技术实施例提供一种带人脸属性的人脸图像生成装置，包括：

53、图像获取模块，用于获取目标人脸属性图像以及待编辑人脸图像；

54、人脸图像生成模块，用于输入目标人脸属性图像以及待编辑人脸图像至人脸图像生成网络中，得到人脸图像生成网络生成的目标人脸图像；

55、人脸图像生成网络用于基于目标人脸属性图像以及待编辑人脸图像生成目标人脸图像；

56、其中，人脸图像生成网络基于人脸样本图像集、特征脸部样本图像集以及从特征脸部样本图像集中提取的样本人脸属性图像训练得到。

57、第三方面，本技术实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的带人脸属性的人脸图像生成方法的步骤。

58、第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的带人脸属性的人脸图像生成方法的步骤。

59、本技术实施例提供的带人脸属性的人脸图像生成方法以及装置，通过获取目标人脸属性图像以及待编辑人脸图像，输入目标人脸属性图像以及待编辑人脸图像至人脸图像生成网络中，得到人脸图像生成网络生成的目标人脸图像，人脸图像生成网络用于基于目标人脸属性图像以及待编辑人脸图像生成目标人脸图像，其中，人脸图像生成网络基于人脸样本图像集、特征脸部样本图像集以及从特征脸部样本图像集中提取的样本人脸属性图像训练得到，使得训练得到的人脸图像生成网络具有受样本人脸属性图像引导，而可控地生成所需的目标人脸图像的能力，从而人脸图像生成网络能够受到目标人脸属性图像的引导，生成带人脸属性的目标人脸图像，且目标人脸图像上的人脸属性外观特征可控，有效提升目标人脸图像的稳定性，提升带人脸属性的人脸图像的生成效率。