三维数字人生成方法及装置、电子设备和存储介质与流程

本公开涉及动画制作领域，尤其涉及一种三维数字人生成方法及装置、电子设备和存储介质。

背景技术：

1、在工业界面、电影、游戏等多个行业应用场景中，都有建立三维数字人的需求。

2、通常，工程师先进行三维数字人脸重建，再将三维数字人脸与三维数字人体对接。由于二维图像质量参差不齐，所以三维数字人脸的准确性不高。因此还需要人工手动捏脸，准确性较低。且，降低了生成三维数字人的效率。

技术实现思路

1、有鉴于此，本公开提出了一种三维数字人生成方案，可以提升生成三维数字人的准确性和效率。

2、根据本公开的一方面，提供了一种三维数字人生成方法，包括：对待处理人脸图像进行关键点检测，得到第一特定关键点数据；确定所述待处理人脸图像对应的第一人脸特征向量；根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。

3、在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据，包括：使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。

4、在一种可能的实现方式中，所述确定所述待处理人脸图像对应的第一人脸特征向量，包括：对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；在所述第一人脸分割结果中，确定所述第一人脸特征向量。

5、在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述方法还包括：根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；根据所述第一反射特征向量，得到纹理贴图。

6、在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述根据所述第一人脸特征向量，生成初始数字人脸数据，包括：根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。

7、在一种可能的实现方式中，所述利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人，包括：基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。

8、在一种可能的实现方式中，所述方法应用于第一神经网络，所述第一神经网络的训练过程，包括：对图像样本进行第一下采样操作，确定第三潜在特征向量；对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。

9、在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。

10、根据本公开的另一方面，提供了一种三维数字人生成装置，包括：

11、关键点检测单元，用于对待处理人脸图像进行关键点检测，得到第一特定关键点数据；

12、第一人脸特征向量确定单元，用于确定所述待处理人脸图像对应的第一人脸特征向量；

13、三维数字人脸数据确定单元，用于根据所述第一人脸特征向量，生成初始数字人脸数据，并利用所述第一特定关键点数据对所述初始数字人脸数据进行更新，得到三维数字人脸数据；

14、目标三维数字人生成单元，用于利用数字人生成软件对所述三维数字人脸数据进行处理，得到目标三维数字人。

15、在一种可能的实现方式中，所述第一特定关键点数据包括：第一特定关键点的坐标，所述初始数字人脸数据包括：初始三维人脸关键点的坐标，所述三维数字人脸数据确定单元，包括：

16、坐标替换单元，用于使用所述第一特定关键点的坐标替换掉与所述第一特定关键点对应的初始三维人脸关键点的坐标，得到所述三维数字人脸数据。

17、在一种可能的实现方式中，所述第一人脸特征向量确定单元，包括：

18、分割单元，用于对所述待处理人脸图像进行第一分割操作，获得第一人脸分割结果；

19、第一人脸特征确定子单元，用于在所述第一人脸分割结果中，确定所述第一人脸特征向量。

20、在一种可能的实现方式中，所述第一人脸特征向量包括：第一反射特征向量、第一细节特征向量，第一姿势特征向量、第一表情特征向量，所述装置还包括：

21、法线贴图生成单元，用于根据所述第一细节特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到法线贴图；

22、纹理贴图生成单元，用于根据所述第一反射特征向量，得到纹理贴图。

23、在一种可能的实现方式中，所述第一人脸特征向量还包括：第一形状特征向量，所述三维数字人脸数据确定单元，包括：

24、初始数字人脸数据生成单元，用于根据所述第一形状特征向量、所述第一姿势特征向量、所述第一表情特征向量，得到所述初始数字人脸数据。

25、在一种可能的实现方式中，所述目标三维数字人生成单元，包括：

26、第一坐标确定单元，用于基于所述三维数字人脸数据中关键点的坐标，对标准三维数字人的脸部关键点的坐标进行调整，得到目标三维数字人的脸部关键点的第一坐标；

27、渲染单元，用于基于所述第一坐标，将所述纹理贴图和/或法线贴图，与所述目标三维数字人进行渲染，确定所述目标三维数字人。

28、在一种可能的实现方式中，所述装置应用于第一神经网络，所述第一神经网络的训练过程，包括：

29、对图像样本进行第一下采样操作，确定第三潜在特征向量；

30、对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像；

31、对所述图像样本进行第二下采样操作，确定图像样本的第三细节特征向量，所述第三细节特征向量表征图像样本人脸的细节关键点的坐标；

32、对所述第三细节特征向量、第三潜在特征向量进行第二上采样操作，确定第四人脸图像；

33、基于所述图像样本与所述第三人脸图像的第一差异、所述图像样本与所述第四人脸图像的第二差异，调节所述第一神经网络的参数。

34、在一种可能的实现方式中，所述第三潜在特征向量包括：图像样本的第三相机特征向量、第三反射特征向量、第三光线特征向量、第三形状特征向量、第三姿势特征向量、第三表情特征向量，

35、所述对所述第三潜在特征向量进行第一上采样操作，确定第三人脸图像，包括：

36、对所述第三反射特征向量进行第三上采样操作，确定样本纹理贴图，所述样本纹理贴图表征图像样本中各人脸关键点的颜色；

37、对所述第三光线特征向量进行第四上采样操作，确定图像样本的光线信息，所述光线信息表征图像样本入射光线强度；

38、对所述第三形状特征向量、所述第三姿势特征向量、所述第三表情特征向量进行第五上采样操作，确定第四人脸关键点的坐标、第四人脸关键点的反射光强度；

39、将所述第三相机特征向量、所述光线信息、所述样本纹理贴图、所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度进行渲染，获得所述第三人脸图像；

40、所述对所述第三细节特征向量、第三潜在特征向量进行上采样操作，确定第四人脸图像，包括：

41、对所述第三细节特征向量、第三姿势特征向量、第三表情特征向量进行第六上采样操作进行上采样操作，确定样本法线贴图，所述样本法线贴图表征图像样本中各细节关键点的反射光线强度；

42、将所述第四人脸关键点的坐标、所述第四人脸关键点的反射光强度、所述样本纹理贴图、所述样本法线贴图进行渲染，确定所述第四人脸图像。

43、根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

44、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

45、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

46、在本公开实施例中，可以单独对待处理人脸图像进行关键点检测，得到第一特定关键点。并且，确定出待处理人脸图像对应的第一人脸特征向量。根据所述第一人脸特征向量，生成初始数字人脸数据。并且，利用第一特定关键点数据对初始人脸数据进行更新，以获得表征更准确信息的三维数字人脸数据，提高后续生成目标三维数字人的准确性。然后，利用数字人生成软件对三维数字人脸数据进行处理，得到目标三维数字人。由于，可以利用第一特定关键点更新初始人脸数据，所以提高了三维数字人脸数据的准确性，无需人工捏脸。所以，总体上提高了生成三维数字人的准确性和效率。

47、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。