一种单张图像细节三维人脸重建方法、系统、设备和介质

本发明属于三维人脸识别，具体涉及一种单张图像细节三维人脸重建方法、系统、设备和介质。

背景技术：

1、近年来，人脸图像在人们的生活中得到了广泛应用，人脸识别、人脸美颜、人脸编辑等应用无处不在。“元宇宙”、“数字人”等概念也进入大众视野，给人们的生活、娱乐带来全新体验。三维人脸重建作为“数字人”技术的重要组成部分，也受到了广泛关注。现有方法主要分为两大类：基于隐空间编码的方法和基于显空间回归的方法。

2、然而现有的一些方法在几何细节及人脸纹理方面均存在一定缺陷。对于三维人脸几何，大多数方法基于线性的三维人脸可形变模型(3dmm)进行重建，其结果具有很强的线性化，重建结果缺乏个性化的几何细节，且不同个体存在视觉差异小的问题。对于三维人脸几何，多数方法通过回归逐顶点rgb值来构成三维人脸的纹理，其纹理缺乏真实性，且没有考虑到光照等问题。

3、此外，三维人脸重建的多数方法是基于数据集构建进行训练的，然而，三维人脸数据获取难度大，开源数据集较少且质量不一，不同数据集需要进行数据预处理及配准，耗费大量人力及时间，重建结果与预处理质量有很大的相关性。因此，探索富有个性化人脸几何细节及高保真纹理的三维人脸重建方法成为一个迫切而富有挑战性的问题。

技术实现思路

1、为克服现有技术中的问题，本发明的目的在于提供一种单张图像细节三维人脸重建方法、系统、设备和介质，该方法不需要训练数据且能够重建个性化人脸几何细节及高保真纹理。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种单张图像细节三维人脸重建方法，包括以下步骤：

4、获取二维人脸图像；

5、对二维人脸图像进行三维人脸重建、渲染与提取特征，得到全局特征；

6、对二维人脸图像进行三维人脸重建、渲染后的图片进行光线匹配，并计算人脸顶点的符号距离值以及局部位置特征；

7、根据全局特征以及局部位置特征，得到隐式双向反射函数；

8、采用自监督训练方法优化sdf-net以及隐式双向反射函数的各个分量网络；

9、根据优化后的sdf-net以及人脸顶点的符号距离值，计算细节的三维人脸几何模型；

10、根据优化后的双向反射函数的各个分量网络，计算得到每个顶点对应的颜色值；

11、将包含细节的三维人脸几何模型以及每个顶点对应的颜色值组合，构成带有高保真纹理的细节三维人脸模型。

12、进一步的，对二维人脸图像进行三维人脸重建、渲染与提取特征，得到全局图像特征以及全局深度特征，包括以下步骤：

13、对二维人脸图像进行三维人脸重建、渲染，得到多视角图像集合，根据多视角图像集合通过单目深度估计算法计算多视角深度图集合；对多视角图像集合和多视角深度图集合分别提取特征，得到全局图像特征以及全局深度特征。

14、进一步的，对二维人脸图像进行三维人脸重建、渲染后的图片进行光线匹配，并计算人脸顶点的符号距离值以及局部位置特征，包括以下步骤：

15、对二维人脸图像进行三维人脸重建、渲染后的图片进行光线匹配，获得光线与隐表面的交点；将光线与隐表面的交点三维坐标输入到sdf-net中计算人脸顶点的符号距离值以及局部位置特征。

16、进一步的，根据多视角图像集合通过单目深度估计算法计算多视角深度图集合。

17、进一步的，通过损失函数收敛，优化sdf-net以及隐式双向反射函数的各个分量网络；

18、损失函数为：

19、

20、其中，α1为第一系数，α2为第二系数，α3为第三系数，α4为第四系数；

21、像素级别损失

22、式中，p表示采样点所在像素，p为像素的结合，为采样点所在的像素，为图像i在像素p的掩码，为图像i在像素p的像素值，cp(i)为采用双向反射函数计算得到的像素值，i为图像序号；

23、掩码损失

24、式中，m表示掩码；为有颜色的像集合，si,α(p)为激活函数，α为超参数；

25、符号距离场损失

26、式中，表示期望；

27、为点p*的最邻近点，则配准损失可以表示为：

28、法向损失

29、进一步的，隐式双向反射函数为：

30、

31、其中，表示漫反射反照率，xp表示光线与隐表面的交点，表示光线与初始粗糙网格的交点，表示第j张图片对应的局部位置特征，表示第j张图片对应的全局图像特征，表示漫反射阴影，表示光线与初始粗糙网格的交点的法向，表示第j张图片对应的全局深度特征，as表示镜面反射反照率，表示镜面反射阴影，np表示光线与隐表面的交点xp的法向，v表示光线方向。

32、进一步的，细节的三维人脸几何模型为：

33、

34、其中，gd表示细节的三维人脸几何模型，表示人脸顶点集合，n表示人脸顶点的法向，表示人脸顶点的符号距离值，gc表示初始粗糙网格。

35、一种低质量三维人脸识别系统，包括：

36、二维人脸图像获取模块，用于获取二维人脸图像；

37、全局特征获取模块，用于对二维人脸图像进行三维人脸重建、渲染与提取特征，得到全局特征；

38、匹配与计算模块，用于对二维人脸图像进行三维人脸重建、渲染后的图片进行光线匹配，并计算人脸顶点的符号距离值以及局部位置特征；

39、隐式双向反射函数计算模块，用于根据全局特征以及局部位置特征，计算得到隐式双向反射函数；

40、优化模块，用于优化sdf-net以及隐式双向反射函数的各个分量网络；

41、细节的三维人脸几何模型计算模块，用于根据优化后的sdf-net以及人脸顶点的符号距离值，计算细节的三维人脸几何模型；

42、颜色值计算模块，用于根据优化后的双向反射函数的各个分量网络，计算得到每个顶点对应的颜色值；

43、组合模块，用于将包含细节的三维人脸几何模型以及每个顶点对应的颜色值组合，构成带有高保真纹理的细节三维人脸模型。

44、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述单张图像细节三维人脸重建方法的步骤。

45、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述单张图像细节三维人脸重建方法的步骤。

46、与现有技术相比，本发明具有的有益效果：

47、本发明通过二维人脸图像实现三维人脸重建，不需要额外的训练数据，由于在sdf-net及双向反射函数优化过程中采用了自监督训练方法，仅使用单张输入图片，通过本方法对二维人脸图像进行三维人脸重建的图像集合可以实现单张图像的三维人脸重建，省去了数据集构建及预处理等步骤；本方法使用隐式双向反射函数来表示人脸纹理，能够得到高保真的三维人脸纹理。

48、进一步的，本发明将局部的位置特征与全局的图像及深度特征进行融合，针对不同的隐式双向反射函数的各个分量网络，使用不同的融合特征进行引导计算，从而能够更好的重建出高保真的三维人脸。