面部贴图重建方法、装置、计算机可读介质及电子设备与流程

本技术涉及计算机及通信，具体而言，涉及一种面部贴图重建方法、装置、计算机可读介质及电子设备。

背景技术：

1、面部重建是计算机视觉比较热门的一个方向，其主要任务为根据输入的面部图片，重建其对应的3d形状与贴图，然后可以将重建的结果应用于与面部相关的应用，例如可以应用于短视频领域。在相关技术方案中，在进行面部重建时，往往存在得到的重建结果质量不佳的问题。

技术实现思路

1、本技术的实施例提供了一种面部贴图重建方法、装置、计算机可读介质及电子设备，进而可以克服重建结果质量不佳的问题。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供了一种面部贴图重建方法，所述方法包括：

4、获取目标对象不同视角的面部图像；

5、将所述不同视角的面部图像所对应的面部纹理信息映射到纹理空间，得到不同视角的纹理贴图；

6、将所述不同视角的纹理贴图进行拼接，得到拼接后的面部贴图；

7、将所述拼接后的面部贴图与贴图模板进行融合，得到贴图重建结果。

8、根据本技术实施例的一个方面，提供了一种面部贴图重建装置，所述装置包括：

9、获取模块，用于获取目标对象不同视角的面部图像；

10、映射模块，用于将所述不同视角的面部图像所对应的面部纹理信息映射到纹理空间，得到不同视角的纹理贴图；

11、拼接模块，用于将所述不同视角的纹理贴图进行拼接，得到拼接后的面部贴图；

12、融合模块，用于将所述拼接后的面部贴图与贴图模板进行融合，得到贴图重建结果。

13、在本技术的一些实施例中，基于以上技术方案，所述获取模块还用于，获取目标对象指定视角的面部图像；对所述指定视角的面部图像对应的面部姿势参数进行调整，得到所述目标对象不同视角的面部图像。

14、在本技术的一些实施例中，基于以上技术方案，所述获取模块还用于，对所述指定视角的面部图像进行特征提取，得到第一编码向量；对所述第一编码向量中的面部姿势向量进行参数调整，得到不同视角的面部图像所对应的编码向量；基于所述不同视角的面部图像所对应的编码向量，得到不同视角的面部图像。

15、在本技术的一些实施例中，基于以上技术方案，所述获取模块还用于，获取初始化编码向量；根据所述初始化编码向量，生成所述初始化编码向量对应的待调整图像；计算所述待调整图像与所述指定视角的面部图像的相似度，基于所述相似度对所述初始化编码向量进行调整，直至所述待调整图像与所述指定视角的面部图像之间的相似度大于或等于设定阈值；在所述待调整图像与所述指定视角的面部图像之间的相似度大于或等于设定阈值时，将所述待调整图像对应的编码向量作为所述第一编码向量。

16、在本技术的一些实施例中，基于以上技术方案，所述映射模块还用于，将各个视角的面部图像所对应的重建模型投影至图像平面，得到所述重建模型中包含的三角形区域在图像平面中的位置；将所述重建模型投影至纹理平面，得到所述重建模型中包含的三角形区域在纹理平面中的位置；根据所述重建模型中包含的三角形区域在图像平面中的位置与在纹理平面中的位置之间的对应关系，得到所述各个视角的面部图像与所述纹理空间之间的映射关系；根据所述映射关系将所述各个视角的面部图像映射到所述纹理空间，得到所述各个视角对应的纹理贴图。

17、在本技术的一些实施例中，基于以上技术方案，所述拼接模块还用于，根据所述不同视角的纹理贴图生成不同视角的纹理贴图所对应的掩膜图像；基于所述不同视角的纹理贴图所对应的掩膜图像，从所述不同视角的纹理贴图中提取出局部纹理信息；将从所述不同视角的纹理贴图中提取出的所述局部纹理信息进行拼接融合，得到拼接后的面部贴图。

18、在本技术的一些实施例中，基于以上技术方案，所述融合模块还用于，从贴图模板库中选择与所述拼接后的面部贴图匹配的贴图模板；将所述拼接后的面部贴图与所述匹配的贴图模板进行融合，得到所述贴图重建结果。

19、在本技术的一些实施例中，基于以上技术方案，所述融合模块还用于，对所述拼接后的面部贴图进行特征提取，得到第一面部特征；对所述贴图模板库中的贴图模板进行特征提取，得到第二面部特征；计算所述第一面部特征与所述第二面部特征之间的相似度，将相似度最接近的贴图模板作为所述匹配的贴图模板。

20、在本技术的一些实施例中，基于以上技术方案，所述融合模块还用于，将所述拼接后的面部贴图中的高低频信息进行分离，得到所述拼接后的面部贴图中的高频信息和低频信息；将所述匹配的贴图模板中的高低频信息进行分离，得到所述匹配的贴图模板中的高频信息和低频信息；将所述拼接后的面部贴图中的低频信息与所述匹配的贴图模板中的高频信息进行融合，得到所述贴图重建结果。

21、在本技术的一些实施例中，基于以上技术方案，所述融合模块还用于，采用边缘检测算法从所述拼接后的面部贴图的高频信息中提取轮廓特征，得到轮廓特征区域；将所述拼接后的面部贴图中的低频信息与所述匹配的贴图模板中的高频信息的融合结果与所述轮廓特征区域进行融合，得到所述贴图重建结果。

22、在本技术的一些实施例中，基于以上技术方案，所述融合模块还用于，采用高斯滤波提取所述拼接后的面部贴图中的低频信息；将所述拼接后的面部贴图减去所述低频信息，得到拼接后的面部贴图中的高频信息。

23、在本技术的一些实施例中，基于以上技术方案，所述装置还包括提取模块，用于从所述目标对象指定视角的面部图像中提取出眉毛特征；将所述眉毛特征与所述贴图重建结果进行融合，得到优化后的贴图重建结果。

24、在本技术的一些实施例中，基于以上技术方案，所述提取模块还用于，对所述指定视角的面部图像进行特征提取，得到第二编码向量；对所述第二编码向量中的头发长短特征向量进行参数调整，得到无遮挡的面部图像所对应的编码向量；基于所述无遮挡的面部图像所对应的编码向量，得到眉毛无遮挡的面部图像；对所述无遮挡的面部图像对应的面部纹理信息映射到纹理空间，得到与所述无遮挡的面部图像对应的贴图；提取所述无遮挡的面部图像对应的贴图中的眉毛区域，得到所述眉毛特征。

25、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的面部贴图重建方法。

26、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述实施例中所述的面部贴图重建方法。

27、根据本技术实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取并执行该计算机程序，使得该电子设备执行上述各种可选实施例中提供的面部贴图重建方法。

28、在本技术一些实施例所提供的技术方案中，先获取目标对象不同视角的面部图像，通过不同视角的面部图像得到不同视角的纹理贴图，从而可以保留得到目标对象对应的原始面部图像中较为全面的面部纹理信息。然后，将不同视角的纹理贴图进行拼接，得到拼接后的面部贴图，并将拼接后的面部贴图与贴图模板进行融合，使得可以利用高质量的贴图模板补全重建过程丢失的毛孔细节特征，从而可以还原得到质量较高的贴图重建结果。

29、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。