一种3D头部模型重建方法及电子设备与流程

本技术涉及三维重建，提供一种3d头部模型重建方法及电子设备。

背景技术：

1、随着3d数字人时代的到来，人们都希望拥有自己个性化的虚拟角色，尤其是逼真的3d数字人的avatar形象，为虚拟社交行业注入了很大活力。为保证虚拟社交体验，高逼真、高效率建模是3d数字人广泛应用的关键环节之一，而3d数字人的个性化头部模型，决定了3d数字人的真实感及表情驱动效果，因此，是整个3d数字人重建过程中重要的一环。

2、目前，常见的3d头部模型的重建方法主要有两种：方法一、基于三维可变形人脸模型(3d morphable face model，3dmm)的重建方法，方法二、基于高精度扫描设备的重建方法。其中，方法一是通过2d人脸图像进行的3d头部重建，而从2d到3d的映射中模糊是一个病态问题，容易陷入不好的局部解，进而导致头部几何模型精度较低，与真实头部的误差较大，这样，在实时交互过程中会出现面部驱动失真的问题，使得重建的3d头部模型不像真人，降低了3d头部模型重建的真实性，难以满足3d数字人的应用需求。方法二是通过高精度扫描设备扫描的带有深度信息的数据进行的3d头部重建，而高精度扫描设备的成本较高，且重建的3d头部模型的拓扑结构不固定，需要动画师手工调整，效率低且时间成本高。

3、3d头部模型的逼真还原且支持表情驱动作为3d数字人重建的重要一环，一方面，面临着3d头部模型能够支持表情驱动，但是重建精度不高的问题，另一方面，面临生成支持表情驱动的3d头部模型精度高，但是需手动处理效率低下的问题，即人物真实度不高或者制作周期太久等痛点。因此，提高3d头部模型重建的精度和效率，成为推进3d数字人广泛应用过程中亟待解决的问题。

技术实现思路

1、本技术实施例提供了一种3d头部模型重建方法及电子设备，用于提高3d头部模型重建的精度和效率。

2、一方面，本技术实施例提供了一种3d头部模型重建方法，包括：

3、获取预先重建的目标头部扫描模型和初始头部参考模型，其中，所述目标头部扫描模型的精度高于所述初始头部参考模型，所述目标头部扫描模型和所述初始头部参考模型的尺度大小一致；

4、根据所述目标头部扫描模型的五官3d关键点，以及，所述初始头部参考模型的五官3d关键点构成的多个语义约束点对，对所述初始头部参考模型进行粗略变形；

5、采用循环迭代方式对所述初始头部参考模型进行精细变形，并将变形后收敛的中间头部模型，作为用于表情驱动的目标头部参考模型，其中，每次迭代执行以下操作：

6、根据所述初始头部参考模型中每个顶点的三维坐标，建立每个顶点与对应的三角形面片间的编码关系；

7、计算所述初始头部参考模型中，每个顶点的拉普拉斯坐标；

8、根据所述多个语义约束点对、所述编码关系和各拉普拉斯坐标，对所述初始头部参考模型进行精细变形，并逆计算出变形后的中间头部模型中每个顶点的三维坐标；

9、针对所述中间头部模型的每个特征点，在所述目标头部扫描模型中确定对应的投影点，获得投影点对，所述特征点为所述中间头部模型中的所述五官3d关键点或者三角形面片的顶点；

10、根据各投影点对确定所述中间头部模型是否收敛；

11、若不收敛，则将所述中间头部模型作为下一次迭代的初始头部参考模型。

12、另一方面，本技术实施例提供一种电子设备，包括处理器、存储器和显示屏，所述显示屏、所述存储器和所述处理器通过总线连接；

13、所述显示屏用于显示重建结果；

14、所述处理器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

15、获取预先重建的目标头部扫描模型和初始头部参考模型，其中，所述目标头部扫描模型的精度高于所述初始头部参考模型，所述目标头部扫描模型和所述初始头部参考模型的尺度大小一致；

16、根据所述目标头部扫描模型的五官3d关键点，以及，所述初始头部参考模型的五官3d关键点构成的多个语义约束点对，对所述初始头部参考模型进行粗略变形；

17、采用循环迭代方式对所述初始头部参考模型进行精细变形，并将变形后收敛的中间头部模型，作为用于表情驱动的目标头部参考模型，其中，每次迭代执行以下操作：

18、根据所述初始头部参考模型中每个顶点的三维坐标，建立每个顶点与对应的三角形面片间的编码关系；

19、计算所述初始头部参考模型中，每个顶点的拉普拉斯坐标；

20、根据所述多个语义约束点对、所述编码关系和各拉普拉斯坐标，对所述初始头部参考模型进行精细变形，并逆计算出变形后的中间头部模型中每个顶点的三维坐标；

21、针对所述中间头部模型的每个特征点，在所述目标头部扫描模型中确定对应的投影点，获得投影点对，所述特征点为所述中间头部模型中的所述五官3d关键点或者三角形面片的顶点；

22、根据各投影点对确定所述中间头部模型是否收敛；

23、若不收敛，则将所述中间头部模型作为下一次迭代的初始头部参考模型。

24、可选的，所述处理器针对所述中间头部模型的每个特征点，在所述目标头部扫描模型中确定对应的投影点，获得投影点对，具体操作为：

25、分别建立所述目标头部扫描模型和所述中间头部模型的正方体包围盒，并将两个正方体包围盒按相同规则进行划分，获取相应的空间八叉树，其中，每个空间八叉树的根节点立方体为相应的正方体包围盒，子节点立方体为相应的正方体包围盒划分后的子立方，每个空间八叉树的节点层级为相应的正方体包围盒的划分层级；

26、所述针对所述中间头部模型的每个特征点，执行以下操作：

27、根据两个空间八叉树间的对应关系，确定所述特征点在所述目标头部扫描模型的空间八叉树中对应的子节点立方体；

28、将所述特征点所在平面的法线作为投影方向，结合所述特征点构建一条射线；

29、获取所述射线与所述子节点立方体包含的各个三角面片的交点，并将各交点中距离所述特征点最近的交点作为所述特征点的投影点，获得一个投影点对。

30、可选的，所述处理器根据各投影点对确定所述中间头部模型是否收敛，具体操作为：

31、针对每一投影点对，确定所述投影点对中特征点和投影点间的距离，若所述投影点对对应的距离大于预设距离阈值，则剔除所述投影点对；

32、当各投影点对中，剔除的投影点对的数量为零时，确定所述中间头部模型收敛，否则，确定所述中间头部模型不收敛。

33、可选的，所述目标头部扫描模型不包含3d头发区域，所述处理器通过以下方式生成目标头部扫描模型：

34、对预先生成的初始头部扫描模型对应于的2d纹理图像进行肤色区域提取；

35、根据所述初始头部扫描模型与所述2d纹理图像间的映射关系，将提取的肤色区域在所述初始头部扫描模型中对应的部分剔除，获得所述目标头部扫描模型。

36、可选的，所述初始头部参考模型的五官3d关键点是预先标注的，所述目标头部扫描模型的五官3d关键点，是通过将所述目标头部扫描模型对应的2d纹理图像中提取的五官2d关键点，向所述目标头部扫描模型投影后获得的。

37、可选的，针对所述初始头部参考模型中的任意一个顶点，拉普拉斯坐标计算公式如下：

38、

39、其中，vi表示第i个顶点的三维坐标，δi表示第i个顶点的拉普拉斯坐标，n(i)表示第i个顶点的邻接点集合，vj表示第i个顶点的第j个邻接点的三维坐标，di表示第i个顶点与第j个邻接点的关联关系。

40、可选的，所述编码关系公式表示为：

41、pi＝αivi，0+βivi，1+γivi，z

42、其中，αi+βi+γi＝1，(vi，0，vi，1，vi，2)表示第i个三角形面片包含的三个顶点的三维坐标，(αi，βi，γi)表示第i个三角形面片的重心坐标。

43、可选的，对所述初始头部参考模型进行精细变形的公式表示如下：

44、

45、其中，t表示所述初始头部参考模型，uj表示一个语义约束点对中所述初始头部参考模型中的五官3d关键点，u′j表示一个语义约束点对中所述目标头部扫描模型中的五官3d关键点，vi表示所述初始头部参考模型的一个顶点，ti表示顶点vi对应的一个三角形面片，δi表示变形前顶点vi对应的拉普拉斯坐标，δ′i表示变形后顶点vi对应的拉普拉斯坐标，gi表示δ′j与δj之间的仿射变换矩阵。

46、另一方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本技术实施例提供的3d头部模型重建方法的步骤。

47、本技术实施例提供的一种3d头部模型重建方法及电子设备中，将目标头部扫描模型和初始头部参考模型中的五官3d关键点，按照语义信息组成多个语义约束点对，并根据多个语义约束点对，对初始头部参考模型进行初步变形，获得个性化的初始头部参考模型，进一步地，以多个语义约束点对中，目标头部扫描模型中的五官3d关键点作为锚点，对初始头部参考模型进行拉普拉斯精细变形，并将根据精细变形后的中间头部模型与目标头部扫描模型组成的投影点对进行变形控制，以减少初始头部参考模型的错误变形，获得拓扑归一化后的目标头部参考模型，整个变形过程无需人工参与，提高了重建效率、降低了重建成本；且该方式获得的目标头部参考模型，能够较好的保持目标头部扫描模型的几何精度，且保持与初始头部参考模型的拓扑结构一致，从而能够在保证模型精度的条件下，支持表情动画和换发等下游应用，从而促进3d数字人的推广。

48、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。