数字人面部资产生成方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及数字人面部资产生成方法、装置、电子设备及存储介质。

背景技术：

1、数字人作为一种基于真实人类外貌、动作、表情和行为的高逼真虚拟化身，无论是作为用户的化身或人工智能的代理，都能够为用户提供真实、自然的交互。伴随虚拟现实(vr)、混合现实(mr)以及元宇宙的发展，用户对于个性化三维构建的数字人有了更高的追求。而在数字人的个性化三维构建中，其核心是脸部的三维构建。

2、在相关技术中，数字人三维脸部的个性化生成是在通用的三维面部模型上进行调节以个性化地生成目标三维脸部。但是这种个性化生成方法每调节一个参数实质上就需要进行相应的三维建模，而为了满足用户的个性化需求，通常需要进行多次调节，因此花费较大的时间成本和运算成本，以造成生成效率较低。

技术实现思路

1、本技术实施例的提供了一种数字人面部资产生成方法、装置、电子设备及存储介质，能够提高个性化生成数字人三维脸部的生成效率。

2、为实现上述目的，本技术实施例的第一方面提出了一种数字人面部资产生成方法，所述方法包括：

3、从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征；

4、将所述至少一个脸部特征输入图像生成模型进行图像生成，得到至少一张特征图像；

5、获取从所述特征图像中选取的第一目标图像；

6、获取对所述第一目标图像进行参数调整的至少一个调整参数，基于所述调整参数和所述第一目标图像得到第二目标图像；所述调整参数包括结构特征参数和面容特征参数；

7、基于所述第二目标图像，生成多个视角下的面部视角图像，并根据所述面部视角图像进行三维构建，得到数字人面部资产。

8、在一些实施例，所述面容特征参数包括面容颜色参数和面容形状参数；所述获取对所述第一目标图像进行参数调整的至少一个调整参数，基于所述调整参数和所述第一目标图像得到第二目标图像，包括：

9、获取结构修改数据，并从所述结构修改数据中得到结构特征点的移动位置，基于所述移动位置得到所述结构特征点的结构修改参数；所述结构修改参数用于对所述第一目标图像的第一区域进行结构调节；

10、获取针对面容颜色进行修改的面容颜色参数，并从所述面容颜色参数中得到颜色修改范围和颜色属性；所述面容颜色参数用于根据所述颜色属性对所述第一目标图像的所述颜色修改范围进行颜色调节；

11、获取针对面容形状进行修改的面容形状参数；所述面容形状参数用于对所述第一目标图像的第二区域进行形状调节；

12、从所述结构修改参数、所述面容颜色参数和所述面容形状参数中选取至少一个目标修改参数，基于所述目标修改参数对所述第一目标图像进行调节，得到所述第二目标图像。

13、在一些实施例，所述根据所述面部视角图像进行三维构建，得到数字人面部资产，包括：

14、从每个所述面部视角图像中提取所述结构特征点和轮廓线信息；

15、利用所述结构特征点和所述轮廓线信息进行曲面重建，生成初始面部三维模型；

16、获取预设表情模式，并根据所述预设表情模式和所述初始面部三维模型生成多个目标面部三维模型；

17、基于所述面容特征参数获取面部纹理数据，并将所述面部纹理数据映射到所述目标面部三维模型中，得到所述数字人面部资产。

18、在一些实施例，所述脸部特征包括：特征名称、特征值和特征权重；所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征，包括：

19、从所述脸部描述信息中获取预先设定的所述特征名称的所述特征值和所述特征权重；

20、若所述脸部描述信息中不包括所述特征名称，则将默认特征值作为所述特征名称的所述特征值，将默认特征权重作为所述特征名称的所述特征权重；

21、将所述特征名称、对应的所述特征值和所述特征权重作为所述脸部特征。

22、在一些实施例，所述获取从所述特征图像中选取的第一目标图像，包括：

23、响应于重新生成请求，利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成，得到至少一张更新特征图像；

24、从所述更新特征图像中选取所述第一目标图像。

25、在一些实施例，所述重新生成请求包括：重新生成指令和指示指令；所述响应于重新生成请求，利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成，得到至少一张更新特征图像，包括：

26、根据所述指示指令得到特征调节范围；

27、在所述特征调节范围内，调节所述脸部特征的所述特征值和/或所述特征权重，得到更新脸部特征；

28、根据所述脸部特征和所述更新脸部特征得到调节脸部特征；

29、利用所述调节脸部特征在所述图像生成模型中进行图像生成，得到所述更新特征图像。

30、在一些实施例，所述获取对所述第一目标图像进行参数调整的至少一个调整参数，包括：

31、获取由历史面部资产确定的特征偏好数据；

32、基于所述特征偏好数据得到所述结构特征参数和所述面容特征参数。

33、为实现上述目的，本技术实施例的第二方面提出了一种数字人面部资产生成装置，所述装置包括：

34、特征获取模块，用于从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征；

35、特征图像生成模块，用于将所述至少一个脸部特征输入图像生成模型进行图像生成，得到至少一张特征图像；

36、图像获取模块，用于获取从所述特征图像中选取的第一目标图像；

37、参数调整模块，用于获取对所述第一目标图像进行参数调整的至少一个调整参数，基于所述调整参数和所述第一目标图像得到第二目标图像；所述调整参数包括结构特征参数和面容特征参数；

38、资产生成模块，用于基于所述第二目标图像，生成多个视角下的面部视角图像，并根据所述面部视角图像进行三维构建，得到数字人面部资产。

39、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的数字人面部资产生成方法。

40、为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数字人面部资产生成方法。

41、本技术实施例提出的数字人面部资产生成方法、装置、电子设备及存储介质，该方法通过首先，从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征；然后，将至少一个脸部特征输入图像生成模型进行图像生成，得到至少一张特征图像；接下来，获取从特征图像中选取的第一目标图像；此外，获取对第一目标图像进行参数调整的至少一个调整参数，基于调整参数和第一目标图像得到第二目标图像；调整参数包括结构特征参数和面容特征参数；最后，基于第二目标图像，生成多个视角下的面部视角图像，并根据面部视角图像进行三维构建，得到数字人面部资产。本技术实施例利用自然语言的脸部描述信息预选生成的多张特征图像中选取了一个初步满足用户个性化需求的第一目标图像。然后利用调整参数对第一目标图像进行调节，得到更满足用户个性化需求的第二目标图像；相比较直接调节三维面部图像，在二维图像中进行参数调节的运算复杂度更低且运算速度快，更无需在每次调节时就需要立即重新生成对应的三维面部模型，因此其调节速度也更快。另外，在得到满足个性化需求的二维的第二目标图像后，直接对第二目标图像进行三维生成对应的数字人面部资产，能够极大地降低数字人面部资产的生成时间和成本，提高个性化生成数字人面部资产的生成效率。

42、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。