一种人脸图像生成方法、装置、电子设备和存储介质与流程

本技术涉及图像生成，特别是涉及一种人脸图像生成方法、装置、电子设备和存储介质。

背景技术：

1、在一些应用场景下，需要根据用户的想法生成符合用户需求的人脸画像，例如，影视作品中的人脸图像生成，可以避免使用真实人脸带来的肖像侵权问题；游戏中的形象融合照，可以提升玩家的diy乐趣，可以自主决定游戏中的角色形象等等。

2、然而，相关技术中，通常，所生成的人脸图像并不能很好地符合用户的想法，从而，与用户所希望得到的人脸图像的差距较大，即所生成的人脸图像的精度较低，因此，当前亟需一种人脸图像生成方法以提高所生成的人脸图像的精度。

技术实现思路

1、本技术实施例的目的在于提供一种人脸图像生成方法、装置、电子设备和存储介质，以提高所生成的人脸图像的精度。具体技术方案如下：

2、第一方面，本技术实施例提供了一种人脸图像生成方法，所述方法包括：

3、获取待生成人脸图像的目标描述信息，并基于预设的描述信息与特征序列的对应关系，确定所述目标描述信息所对应的目标特征序列；

4、基于预设的特征序列与人脸特征的对应关系，确定所述目标特征序列所对应的目标人脸特征，并利用所述目标人脸特征，生成初始人脸图像；

5、获取针对所述初始人脸图像的目标调整信息，并基于预设的第一人脸图像、调整信息和第二人脸图像的对应关系，确定所述目标调整信息和所述初始人脸图像对应的目标人脸图像；其中，所述第二人脸图像和所述第一人脸图像为同一对象的人脸图像；所述调整信息是基于所述第一人脸图像确定的。

6、可选的，一种具体实现方式中，所述基于预设的第一人脸图像、调整信息和第二人脸图像的对应关系，确定所述目标调整信息和所述初始人脸图像对应的目标人脸图像，包括：

7、将所述初始人脸图像和所述目标调整信息输入至预设的人脸调整模型，并获取所述人脸调整模型输出的目标人脸图像；

8、其中，所述人脸调整模型的训练方式，包括：

9、将预设的第一人脸图像、调整信息和第二人脸图像输入到预设的第一初始模型中，并获取所述第一初始模型生成的样本调整图像，以及基于所述样本调整图像和所述第一人脸图像确定的所述第一初始模型的第一损失函数；其中，所述样本调整图像是通过对所述第二人脸图像和所述调整信息进行特征融合得到的；

10、若所述第一损失函数满足第一损失条件，则停止训练，得到人脸调整模型；

11、若所述第一损失函数不满足第一损失条件，根据所述第一损失函数，调整所述第一初始模型的模型参数，并返回所述获取所述第一初始模型生成的样本调整图像的步骤。

12、可选的，一种具体实现方式中，所述基于预设的特征序列与人脸特征的对应关系，确定所述目标特征序列所对应的目标人脸特征，并利用所述目标人脸特征，生成初始人脸图像，包括：

13、将所述目标特征序列输入至预设的图像重构模型中，并获取所述图像重构模型输出的初始人脸图像；

14、其中，所述图像重构模型的训练方式，包括：

15、将样本人脸图像输入预设的第二初始模型，并获取所述第二初始模型生成的预测人脸图像，以及基于所述样本人脸图像和所述预测人脸图像，确定的所述第二初始模型的第二损失函数；

16、若所述第二损失函数满足第二损失条件，则停止训练，得到图像重构模型；

17、若所述第二损失函数不满足所述第二损失条件，则根据所述第二损失函数，调整所述第二初始模型的模型参数，并返回所述获取所述第二初始模型生成的预测人脸图像的步骤；

18、所述图像重构模型包括：解码器、码本和编码器；

19、所述编码器用于对所述样本人脸图像进行特征提取，得到样本特征序列；

20、所述解码器用于对所述码本中所述样本特征序列对应的样本人脸特征进行解码，得到所述预测人脸图像。

21、可选的，一种具体实现方式中，所述基于预设的描述信息与特征序列的对应关系，确定所述目标描述信息所对应的目标特征序列，包括：

22、将所述目标描述信息输入预设的序列特征提取模型，并获取所述序列特征提取模型输出的特征序列，作为所述目标描述信息所对应的目标特征序列；

23、其中，所述序列特征提取模型的训练方式，包括：

24、将样本描述信息输出到预设的第三初始模型中，并获取所述第三初始模型输出的样本特征序列；

25、将所述样本特征序列输入到所述图像重构模型中，并获取所述图像重构模型输出的样本重构图像，以及基于所述样本描述信息对应的样本描述图像和所述样本重构图像，确定的所述第三初始模型的第三损失函数；

26、若所述第三损失函数满足第三损失条件，则停止训练，得到序列特征提取模型；

27、若所述第三损失函数不满足第三损失条件，则根据所述第三损失函数，调整所述第三初始模型的模型参数，并返回所述获取所述第三初始模型输出的样本特征序列的步骤。

28、可选的，一种具体实现方式中，在所述获取针对所述初始人脸图像的目标调整信息之前，所述方法还包括：

29、检测是否获取到所述初始人脸图像的新增描述信息；

30、如果是，将所述新增描述信息添加至所述目标描述信息，并返回所述基于预设的描述信息与特征序列的对应关系，确定所述目标描述信息所对应的目标特征序列的步骤；

31、否则，获取针对所述初始人脸图像的目标调整信息。

32、可选的，一种具体实现方式中，所述获取待生成人脸图像的目标描述信息，包括：

33、获取待生成人脸图像的语音描述信息，作为所述待生成人脸图像的目标描述信息。

34、第二方面，本技术实施例提供了一种人脸图像生成设备，所述设备包括：语音采集装置和图像生成装置；

35、所述语音采集装置，用于获取待生成人脸图像的语音描述信息，作为所述待生成人脸图像的目标描述信息，并将所述目标描述信息传输至所述图像生成装置；

36、所述图像生成装置，用于执行上述任一所述的人脸图像生成方法。

37、第三方面，本技术实施例提供了一种人脸图像生成装置，所述装置包括：

38、序列确定模块，用于获取待生成人脸图像的目标描述信息，并基于预设的描述信息与特征序列的对应关系，确定所述目标描述信息所对应的目标特征序列；

39、特征确定模块，用于基于预设的特征序列与人脸特征的对应关系，确定所述目标特征序列所对应的目标人脸特征，并利用所述目标人脸特征，生成初始人脸图像；

40、图像确定模块，用于获取针对所述初始人脸图像的目标调整信息，并基于预设的第一人脸图像、调整信息和第二人脸图像的对应关系，确定所述目标调整信息和所述初始人脸图像对应的目标人脸图像；其中，所述第二人脸图像和所述第一人脸图像为同一对象的人脸图像；所述调整信息是基于所述第一人脸图像确定的。

41、可选的，一种具体实现方式中，所述图像确定模块具体用于：

42、将所述初始人脸图像和所述目标调整信息输入至预设的人脸调整模型，并获取所述人脸调整模型输出的目标人脸图像；

43、其中，所述人脸调整模型的训练方式，包括：

44、将预设的第一人脸图像、调整信息和第二人脸图像输入到预设的第一初始模型中，并获取所述第一初始模型生成的样本调整图像，以及基于所述样本调整图像和所述第一人脸图像确定的所述第一初始模型的第一损失函数；其中，所述样本调整图像是通过对所述第二人脸图像和所述调整信息进行特征融合得到的；

45、若所述第一损失函数满足第一损失条件，则停止训练，得到人脸调整模型；

46、若所述第一损失函数不满足第一损失条件，根据所述第一损失函数，调整所述第一初始模型的模型参数，并返回所述获取所述第一初始模型生成的样本调整图像的步骤。

47、可选的，一种具体实现方式中，所述特征确定模块具体用于：

48、将所述目标特征序列输入至预设的图像重构模型中，并获取所述图像重构模型输出的初始人脸图像；

49、其中，所述图像重构模型的训练方式，包括：

50、将样本人脸图像输入预设的第二初始模型，并获取所述第二初始模型生成的预测人脸图像，以及基于所述样本人脸图像和所述预测人脸图像，确定的所述第二初始模型的第二损失函数；

51、若所述第二损失函数满足第二损失条件，则停止训练，得到图像重构模型；

52、若所述第二损失函数不满足所述第二损失条件，则根据所述第二损失函数，调整所述第二初始模型的模型参数，并返回所述获取所述第二初始模型生成的预测人脸图像的步骤；

53、所述图像重构模型包括：解码器、码本和编码器；

54、所述编码器用于对所述样本人脸图像进行特征提取，得到样本特征序列；

55、所述解码器用于对所述码本中所述样本特征序列对应的样本人脸特征进行解码，得到所述预测人脸图像。

56、可选的，一种具体实现方式中，所述序列确定模块具体用于：

57、将所述目标描述信息输入预设的序列特征提取模型，并获取所述序列特征提取模型输出的特征序列，作为所述目标描述信息所对应的目标特征序列；

58、其中，所述序列特征提取模型的训练方式，包括：

59、将样本描述信息输出到预设的第三初始模型中，并获取所述第三初始模型输出的样本特征序列；

60、将所述样本特征序列输入到所述图像重构模型中，并获取所述图像重构模型输出的样本重构图像，以及基于所述样本描述信息对应的样本描述图像和所述样本重构图像，确定的所述第三初始模型的第三损失函数；

61、若所述第三损失函数满足第三损失条件，则停止训练，得到序列特征提取模型；

62、若所述第三损失函数不满足第三损失条件，则根据所述第三损失函数，调整所述第三初始模型的模型参数，并返回所述获取所述第三初始模型输出的样本特征序列的步骤。

63、可选的，一种具体实现方式中，所述装置还包括：

64、信息检测模块，用于检测是否获取到所述初始人脸图像的新增描述信息；

65、信息添加模块，用于如果是，将所述新增描述信息添加至所述目标描述信息，并返回所述基于预设的描述信息与特征序列的对应关系，确定所述目标描述信息所对应的目标特征序列的步骤；

66、信息获取模块，用于否则，获取针对所述初始人脸图像的目标调整信息。

67、可选的，一种具体实现方式中，所述序列确定模块具体用于：

68、获取待生成人脸图像的语音描述信息，作为所述待生成人脸图像的目标描述信息。

69、第四方面，本技术实施例提供了一种电子设备，包括：

70、存储器，用于存放计算机程序；

71、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的人脸图像生成方法。

72、第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的人脸图像生成方法。

73、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的人脸图像生成方法。

74、本技术实施例有益效果：

75、以上可见，应用本技术实施例提供的方案，可以先获取待生成人脸图像的目标描述信息，并基于预设的描述信息与特征序列的对应关系，确定目标描述信息所对应的目标特征序列；进而，基于预设的特征序列与人脸特征的对应关系，可以确定目标特征序列所对应的目标人脸特征，并利用所得到的目标人脸特征，生成初始人脸图像；然后，获取针对初始人脸图像的目标调整信息，并基于预设的第一人脸图像、调整信息和第二人脸图像的对应关系，确定目标调整信息和初始人脸图像对应的目标人脸图像。

76、基于此，应用本技术实施例提供的方案，可以根据待生成人脸图像的目标描述信息，生成初始人脸图像，然后再根据目标调整信息对初始人脸图像进行优化，从而得到目标人脸图像。由于上述第一人脸图像和第二人脸图像为同一对象的人脸图像，调整信息是基于第一人脸图像确定的，且第一人脸图像、调整信息和第二人脸图像可以存在一个预设的对应关系，进而，基于该预设的对应关系，根据调整信息和第二人脸图像，便可以得到第一人脸图像。因此，上述第二人脸图像可以为初始人脸图像，上述第一人脸图像可以为用户希望得到的待生成人脸图像，目标调整信息可以为用户根据其希望得到的待生成人脸图像所提供的调整信息，在得到初始人脸图像后，根据目标调整信息和初始人脸图像确定目标人脸图像，可以使所得到的目标人脸图像更接近于用户所希望得到的待生成人脸图像，也就是说，应用本技术实施例提供的方案，可以提高所生成的人脸图像的精度。