虚拟对象的面部渲染方法及点云特征提取模型的训练方法与流程

本技术涉及计算机，特别涉及一种虚拟对象的面部渲染方法及点云特征提取模型的训练方法。

背景技术：

1、随着计算机技术的发展，用户在终端上能够随时打开游戏客户端进行游戏。在3d（3 dimension，三维）游戏中，虚拟对象的面部表情在动态渲染过程中经常会出现卡顿，导致渲染失败。

2、这是由于在游戏中通常虚拟对象种类繁琐，且需要搭配头饰、面饰、特效等，变量因素较多，使得渲染阶段的计算量很高，即，虚拟对象的面部表情其渲染开销大、易卡顿，影响游戏性能。

技术实现思路

1、本技术实施例提供了一种虚拟对象的面部渲染方法及点云特征提取模型的训练方法，能够降低渲染开销、提升渲染速度、避免动态表情卡顿，优化游戏性能。

2、一方面，提供了一种虚拟对象的面部渲染方法，所述方法包括：

3、基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特征点的规范点云特征，所述规范点云特征表征所述面部特征点与表情姿态无关的规范特征；

4、基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征，所述偏移点云特征表征所述面部特征点在设定表情姿态下的偏移特征；

5、基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在所述设定表情姿态下与所述虚拟对象的面部外观资源进行适配的形变特征；

6、基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域。

7、一方面，提供了一种点云特征提取模型的训练方法，所述方法包括：

8、将样本对象的面部点云数据输入点云特征提取模型，得到所述样本对象的面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在设定表情姿态下与所述样本对象的面部外观资源进行适配的形变特征；

9、基于所述形变点云特征，对所述样本对象进行面部渲染，得到所述样本对象呈现所述设定表情姿态的预测面部图像；

10、基于所述预测面部图像和所述样本对象呈现设定表情姿态的参考面部图像，获取所述点云特征提取模型的训练损失值；

11、基于所述训练损失值，对所述点云特征提取模型进行训练。

12、一方面，提供了一种虚拟对象的面部渲染装置，所述装置包括：

13、特征提取模块，用于基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特征点的规范点云特征，所述规范点云特征表征所述面部特征点与表情姿态无关的规范特征；

14、特征变换模块，用于基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征，所述偏移点云特征表征所述面部特征点在设定表情姿态下的偏移特征；

15、加权变换模块，用于基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在所述设定表情姿态下与所述虚拟对象的面部外观资源进行适配的形变特征；

16、面部渲染模块，用于基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域。

17、在一些实施例中，所述规范点云特征包括所述虚拟对象的多个面部特征点在规范空间中的规范点云坐标；

18、所述特征提取模块用于：

19、对所述多个面部特征点中的任一面部特征点，基于所述面部点云数据，确定所述面部特征点的原始点云坐标；

20、将所述原始点云坐标输入规范特征提取模型，通过所述规范特征提取模型对所述原始点云坐标进行变换，得到所述面部特征点的规范点云坐标，所述规范特征提取模型用于将面部特征点从点云空间投影到所述规范空间。

21、在一些实施例中，所述偏移点云特征包括所述虚拟对象的多个面部特征点在偏移空间中的偏移点云坐标；

22、所述特征变换模块包括：

23、扭曲子模块，用于对所述多个面部特征点中的任一面部特征点，将所述面部特征点的规范点云坐标输入偏移特征提取模型，通过所述偏移特征提取模型对所述规范点云坐标按照所述设定表情姿态进行扭曲，得到所述面部特征点的偏移点云坐标，所述偏移特征提取模型用于将面部特征点从所述规范空间投影到所述偏移空间。

24、在一些实施例中，所述扭曲子模块用于：

25、基于所述设定表情姿态关联的面部偏移指示信息，确定所述面部特征点的面部偏移量，所述面部偏移指示信息表征所述虚拟对象在所述设定表情姿态下的面部偏移情况；

26、基于所述面部特征点的面部偏移量，对所述面部特征点的规范点云坐标施加偏移，得到所述面部特征点的偏移点云坐标。

27、在一些实施例中，所述形变点云特征包括所述虚拟对象的多个面部特征点在形变空间中的形变点云坐标；

28、所述加权变换模块包括：

29、提取子模块，用于基于所述虚拟对象的面部外观资源，提取所述面部外观资源的姿态指示信息，所述姿态指示信息指示按照所述面部外观资源对所述偏移点云特征的形变系数；

30、形变子模块，用于对所述多个面部特征点中的任一面部特征点，将所述面部特征点的偏移点云坐标输入形变特征提取模型，通过所述形变特征提取模型对所述偏移点云坐标按照所述姿态指示信息进行形变，得到所述面部特征点的形变点云坐标，所述形变特征提取模型用于将面部特征点从所述偏移空间投影到所述形变空间。

31、在一些实施例中，所述姿态指示信息包括所述面部外观资源的姿态修正向量和表情修正向量；

32、所述提取子模块用于：

33、基于所述面部外观资源的表情动画系数，确定所述面部外观资源的附加姿态信息、表情偏移信息、混合形状信息和转换混合形状信息；

34、基于所述附加姿态信息和所述混合形状信息，提取所述面部外观资源的姿态修正向量；

35、基于所述表情偏移信息和所述转换混合形状信息，提取所述面部外观资源的表情修正向量。

36、在一些实施例中，所述形变子模块用于：

37、基于所述姿态修正向量和所述表情修正向量，对所述偏移点云坐标进行修正，得到修正点云坐标；

38、将所述表情偏移信息输入所述形变特征提取模型中的第一线性回归器，得到表情回归信息，所述第一线性回归器用于对表情偏移信息进行线性回归；

39、将所述修正点云坐标、所述表情回归信息、所述附加姿态信息和蒙皮权重系数输入所述形变特征提取模型中的第二线性回归器，得到所述形变点云坐标，所述第二线性回归器用于对所述修正点云坐标按照蒙皮权重系数进行加权。

40、在一些实施例中，所述面部渲染模块包括：

41、确定子模块，用于对所述面部区域中的任一像素点，确定深度缓冲区中待绘制到所述像素点的多个按照深度值排序的面部特征点；

42、预测子模块，用于基于所述形变点云特征，预测每个所述面部特征点的颜色向量、透明度系数和透射率系数；

43、积分子模块，用于基于所述透明度系数和所述透射率系数，对所述多个按照深度值排序的面部特征点的颜色向量进行积分，得到所述像素点的像素值；

44、着色子模块，用于基于所述像素值对所述像素点进行颜色写入，以在所述面部区域中对所述像素点完成着色。

45、在一些实施例中，所述预测子模块包括：

46、获取单元，用于基于所述面部外观资源的反照率贴图，获取所述面部特征点的反照率向量；

47、阴影预测单元，用于基于所述面部特征点在所述形变点云特征中的形变点云坐标，预测所述面部特征点的阴影向量；

48、颜色预测单元，用于基于所述反照率向量和所述阴影向量，预测所述面部特征点的颜色向量。

49、在一些实施例中，所述阴影预测单元包括：

50、预测子单元，用于基于所述面部特征点在所述规范点云特征中的规范点云坐标和所述形变点云坐标，预测所述面部特征点的点法线向量；

51、变换子单元，用于将所述点法线向量输入阴影特征提取模型，通过所述阴影特征提取模型对所述点法线向量进行变换，得到所述面部特征点的阴影向量，所述阴影特征提取模型用于基于面部特征点的点法线向量预测阴影向量。

52、在一些实施例中，所述预测子单元用于：

53、将所述规范点云坐标和所述形变点云坐标输入视觉距离函数，通过所述视觉距离函数对所述规范点云坐标和所述形变点云坐标进行空间梯度运算，得到所述面部特征点的点法线向量，所述视觉距离函数用于获取所述面部特征点到网格曲面的最近距离。

54、在一些实施例中，所述预测子模块包括：

55、透明度确定单元，用于基于所述面部特征点的渲染半径和渲染偏移量，确定所述面部特征点的透明度系数，所述渲染偏移量表征所述面部特征点的渲染中心与所述像素点的像素中心之间的距离。

56、在一些实施例中，所述预测子模块包括：

57、特征点确定单元，用于对每个所述面部特征点，确定深度值排序位于所述面部特征点之前的至少一个前序特征点；

58、透射率预测单元，用于基于所述至少一个前序特征点的透明度系数，预测所述面部特征点的透射率系数。

59、在一些实施例中，所述积分子模块用于：

60、将每个面部特征点的所述颜色向量、所述透明度系数和所述透射率系数相乘，得到所述面部特征点的待积分颜色向量；

61、将所述多个按照深度值排序的面部特征点的待积分颜色向量进行积分，得到所述像素点的像素值。

62、一方面，提供了一种点云特征提取模型的训练装置，所述装置包括：

63、特征提取模块，用于将样本对象的面部点云数据输入点云特征提取模型，得到所述样本对象的面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在设定表情姿态下与所述样本对象的面部外观资源进行适配的形变特征；

64、面部渲染模块，用于基于所述形变点云特征，对所述样本对象进行面部渲染，得到所述样本对象呈现所述设定表情姿态的预测面部图像；

65、损失值获取模块，用于基于所述预测面部图像和所述样本对象呈现设定表情姿态的参考面部图像，获取所述点云特征提取模型的训练损失值；

66、模型训练模块，用于基于所述训练损失值，对所述点云特征提取模型进行训练。

67、在一些实施例中，所述点云特征提取模型包括：规范特征提取模型，偏移特征提取模型和形变特征提取模型；

68、所述特征提取模块用于：

69、将所述样本对象的任一面部特征点在所述面部点云数据中的原始点云坐标输入所述规范特征提取模型，得到所述面部特征点的规范点云坐标，所述规范特征提取模型用于将面部特征点从点云空间投影到规范空间；

70、将所述规范点云坐标输入所述偏移特征提取模型，得到所述面部特征点的偏移点云坐标，所述偏移特征提取模型用于将面部特征点从所述规范空间投影到偏移空间；

71、将所述偏移点云坐标输入所述形变特征提取模型，得到所述面部特征点的形变点云坐标，所述形变特征提取模型用于将面部特征点从所述偏移空间投影到形变空间；

72、将所述样本对象的多个面部特征点的形变点云坐标确定为所述形变点云特征。

73、在一些实施例中，所述训练损失值包括以下至少一项：图像颜色损失项，图像特征损失项，面部掩码损失项，形变姿态损失项；其中，所述图像颜色损失项表征所述预测面部图像和所述参考面部图像之间的像素颜色误差，所述图像特征损失项表征所述预测面部图像和所述参考面部图像之间的图像特征误差，所述面部掩码损失项表征所述预测面部图像和所述参考面部图像之间的面部掩码误差，所述形变姿态损失项表征所述形变特征提取模型拟合所述设定表情姿态的训练误差。

74、一方面，提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的虚拟对象的面部渲染方法或点云特征提取模型的训练方法。

75、一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述任一种可能实现方式的虚拟对象的面部渲染方法或点云特征提取模型的训练方法。

76、一方面，提供一种计算机程序产品，所述计算机程序产品包括一条或多条计算机程序，所述一条或多条计算机程序存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条计算机程序，所述一个或多个处理器执行所述一条或多条计算机程序，使得电子设备能够执行上述任一种可能实施方式的虚拟对象的面部渲染方法或点云特征提取模型的训练方法。

77、本技术实施例提供的技术方案带来的有益效果至少包括：

78、通过在虚拟对象的面部点云数据的基础上，依次将虚拟对象的面部特征点从点云空间投影到规范空间，得到规范点云特征，再将面部特征点从规范空间投影到偏移空间，得到偏移点云特征，再将面部特征点从偏移空间投影到形变空间，得到形变点云特征，这样利用形变点云特征能够预测出来面部特征点的深度值和颜色向量，进而对面部区域中的每个像素点进行着色，得到虚拟对象最终的面部区域，这一面部区域不但呈现出来设定表情姿态，而且能够与虚拟对象自身的面部外观资源相适配，并且由于在点云基础上调整得到的形变点云特征，再预测出来的颜色向量具有可微的性质，因此在着色阶段只需要很低的计算开销，从而能够降低渲染开销、提升渲染速度、避免动态表情卡顿，优化游戏性能。