生成3D虚拟形象的方法及电子设备与流程

本技术涉及3d虚拟形象，特别是涉及生成3d虚拟形象的方法及电子设备。

背景技术：

1、一些应用中会为用户提供基于3d虚拟形象的互动类小游戏，可以创建属于自己的卡通风格的虚拟形象，在创建角色的时候不仅可以使用推荐形象，用户还可以通过系统提供的“捏脸”(五官调节)功能来调整3d虚拟形象的五官，以使其更接近自己的样貌或者自己想要的样子。之后，还可以基于这种3d虚拟形象进行装扮、喂食等互动。

2、其中，关于“捏脸”功能，通常会提供多个五官调节项(一般可以称为“捏脸项”)，这些“捏脸项”可以按照眼睛、耳朵、鼻子、嘴巴、脸颊等五官区域进行细分，例如，脸型对应多个“捏脸项”，鼻子、嘴巴、眉毛等还分别对应多个不同的“捏脸项”。其中，具体的“捏脸项”中可以包括一些选择项，另外还可以包括滑杆项，在选中某个选择项之后还可以进一步通过滑杆项进行精修，等等。一个完善的捏脸系统可以拥有近百个甚至更多的“捏脸项”。

3、大量的“捏脸项”的存在，可以满足不同用户对3d虚拟形象的多种不同需求，但是，也正是由于“捏脸项”的数量比较多，手动捏脸较为耗时，用户需要每次进入各个“捏脸项”的界面去调节每个值，同时每个捏脸项对应还有各个细分区域的子调节项，整体“捏”一张比较像的人脸，不算上细节上的微调，大概需要半小时左右。

4、因此，如何帮助用户更高效地完成“捏脸”，得到其想要的3d虚拟形象，成为需要本领域技术人员解决的技术问题。

技术实现思路

1、本技术提供了生成3d虚拟形象的方法及电子设备，能够帮助用户更高效地完成“捏脸”。

2、本技术提供了如下方案：

3、一种生成3d虚拟形象的方法，包括：

4、确定目标人物形象的2d图像；

5、对所述2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有所述目标人物形象的面部特征、具有第一风格的3d人脸模型，及其第一人脸控制器参数；

6、利用预先训练得到的神经网络模型，将所述第一人脸控制器参数映射为第二风格的3d虚拟形象生成引擎中定义的第二人脸控制器参数，以便利用所述第二人脸控制器参数生成带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像。

7、其中，所述神经网络模型是从多个由第一人脸控制器参数与第二人脸控制器参数组成的训练数据对中，学习获得两者之间的非线性映射关系，其中，同一训练数据对中，第一人脸控制器参数对应的3d人脸模型与第二人脸控制器参数对应的3d虚拟形象的面部特征的相似度符合预置条件。

8、其中，通过以下方式获取所述训练数据对：

9、收集多个目标人物形象的2d图像；

10、对所述多个2d图像分别进行以下处理，以生成多个训练数据对：

11、对2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有目标人物形象的面部特征、具有第一风格的3d人脸模型，及其相对于基底3d人脸模型的第一人脸控制器参数；

12、利用图形学算法，将所述具有第一风格的3d人脸模型迁移到具有第二风格的3d虚拟形象的人脸模型上，得到带有所述目标人物形象的面部特征、具有第二风格的3d人脸模型；

13、利用数学求解算法，求解出所述带有所述目标人物形象的面部特征、具有第二风格的3d人脸模型对应的第二人脸控制器参数；

14、将该2d图像对应的第一人脸控制器参数以及第二人脸控制器参数组成训练数据对。

15、其中，还包括：

16、在完成从第一风格的3d人脸模型到具有第二风格的3d虚拟形象的人脸模型的迁移后，对得到的第二风格的3d虚拟形象的人脸模型进行微调，以提高其与从第一风格的3d人脸模型的面部特征的相似度后，进行第二人脸控制器参数的求解。

17、其中，还包括：

18、利用发型分割算法对所述2d图像进行发型分割处理，获得发型掩膜mask图；

19、根据所述2d图像中的人脸关键点坐标，将所述发型mask图划分为多个区域；

20、通过对比不同区域之间发型mask图的占比，确定发型类型，以便从所述第二风格对应的发型素材库中，确定匹配的发型素材，以用于生成所述具有第二风格的3d虚拟形象的发型图像。

21、其中，所述根据所述2d图像中的人脸关键点坐标，将所述发型mask图划分为多个区域，包括：

22、根据所述2d图像中的人脸关键点坐标定位出所述2d图像中的耳朵上沿位置，以及下巴下沿位置；

23、根据所述耳朵上沿位置以及下巴下沿位置生成两条水平方向的分割线，将所述发型mask图划分为三个区域，以便根据三个区域内的发型mask图面积占比，确定头发长度的类别。

24、其中，所述根据所述2d图像中的人脸关键点坐标，将所述发型mask图划分为多个区域，包括：

25、根据所述2d图像中的人脸关键点坐标定位到2d图像中的额头区域；

26、将所述额头区域进行纵向的三等分，得到三个区域，以便根据三个区域内的发型mask图面积占比，确定刘海的类别。

27、其中，还包括：

28、利用配饰识别算法对所述2d图像进行配饰识别；

29、在识别出配饰类别后，利用所述配饰类别下多个分类维度分别对应的细分粒度分类网络，确定眼镜在各个分类维度下分别所属的细分粒度的类别，以便从所述第二风格对应的配饰素材库中，确定匹配的配饰素材，以用于生成所述具有第二风格的3d虚拟形象的配饰图像。

30、其中，所述配饰包括眼镜，所述多个分类维度包括边框维度、形状维度、镜片透明度维度。

31、一种模型生成方法，包括：

32、收集多个目标人物形象的2d图像：

33、对所述多个2d图像分别进行以下处理，以生成多个训练数据对：

34、对2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有目标人物形象的面部特征、具有第一风格的3d人脸模型，及其相对于基底3d人脸模型的第一人脸控制器参数；

35、利用图形学算法，将所述具有第一风格的3d人脸模型迁移到具有第二风格的3d虚拟形象的人脸模型上，得到带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像；

36、利用数学求解算法，求解出所述带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像对应的第二人脸控制器参数；

37、将该2d图像对应的第一人脸控制器参数以及第二人脸控制器参数组成训练数据对；

38、利用所述多个训练数据对，对神经网络模型进行训练，以使得所述神经网络模型从所述多个训练数据对中，学习获得第一人脸控制器参数与第二人脸控制器参数之间的非线性映射关系，以便在需要基于目标目标人物形象的2d图像生成第二风格的3d虚拟形象时，通过人脸控制器参数映射的方式，获得第二人脸控制器参数，并生成带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像。

39、其中，还包括：

40、在完成从第一风格的3d人脸模型到具有第二风格的3d虚拟形象的人脸模型的迁移后，对得到的第二风格的3d虚拟形象的人脸模型进行微调，以提高其与从第一风格的3d人脸模型的面部特征的相似度后，进行第二人脸控制器参数的求解。

41、一种生成3d虚拟形象的装置，包括：

42、2d图像确定单元，用于确定目标人物形象的2d图像；

43、3d人脸模型重建单元，用于对所述2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有所述目标人物形象的面部特征、具有第一风格的3d人脸模型，及其第一人脸控制器参数；

44、参数映射单元，用于利用预先训练得到的神经网络模型，将所述第一人脸控制器参数映射为第二风格的3d虚拟形象生成引擎中定义的第二人脸控制器参数，以便利用所述第二人脸控制器参数生成带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像。

45、一种模型生成装置，包括：

46、2d图像收集单元，用于收集多个目标人物形象的2d图像：

47、训练数据对生成单元，用于对所述多个2d图像分别进行以下处理，以生成多个训练数据对：

48、对2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有目标人物形象的面部特征、具有第一风格的3d人脸模型，及其相对于基底3d人脸模型的第一人脸控制器参数；

49、利用图形学算法，将所述具有第一风格的3d人脸模型迁移到具有第二风格的3d虚拟形象的人脸模型上，得到带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像；

50、利用数学求解算法，求解出所述带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像对应的第二人脸控制器参数；

51、将该2d图像对应的第一人脸控制器参数以及第二人脸控制器参数组成训练数据对；

52、模型训练单元，用于利用所述多个训练数据对，对神经网络模型进行训练，以使得所述神经网络模型从所述多个训练数据对中，学习获得第一人脸控制器参数与第二人脸控制器参数之间的非线性映射关系，以便在需要基于目标目标人物形象的2d图像生成第二风格的3d虚拟形象时，通过人脸控制器参数映射的方式，获得第二人脸控制器参数，并生成带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像。

53、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。

54、一种电子设备，包括：

55、一个或多个处理器；以及

56、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。

57、根据本技术提供的具体实施例，本技术公开了以下技术效果：

58、通过本技术实施例，可以基于目标人物形象的2d图像进行3d虚拟形象的智能生成，具体的，首先可以对所述2d图像进行面部特征提取，并基于提取到的面部特征进行3d人脸模型重建，得到带有所述目标人物形象的面部特征、具有第一风格的3d人脸模型，及其第一人脸控制器参数。之后，可以利用预先训练得到的神经网络模型，将所述第一人脸控制器参数映射为第二风格的3d虚拟形象生成引擎中定义的第二人脸控制器参数，以便利用所述第二人脸控制器参数生成带有所述目标人物形象的面部特征、具有第二风格的3d虚拟形象的面部图像。这样，可以省去用户手动执行多个“捏脸项”的调节过程，并且，使得生成的3d虚拟形象能够具有目标人物形象的面部特征，并且具有第二风格。另外，在“智能捏脸”的过程中，不需要利用图形学算法进行模型迁移，而是通过不同风格之间的人脸控制器参数映射的方式，可以实现更快速更高效的3d虚拟形象生成。

59、当然，实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。