一种多特征三维人脸重建方法、系统、设备及存储介质与流程

本发明涉及三维人脸重建，尤其涉及一种多特征三维人脸重建方法、系统、设备及存储介质。

背景技术：

1、随着计算机视觉和图像处理领域的不断发展，人脸重建技术在人脸识别、虚拟现实和游戏开发等众多领域日益重要，随着技术的进步，相对于传统的依赖专业技术美术工作人员的人脸重建方法，将正面2d人脸图像通过深度学习方法能够生成具有高度还原度的用户3d数字人脸，这种先进的技术不仅能够重建人脸的几何结构，而且能够对脸部细节进行细致优化，并配合渲染模块增强光影效果，从而使得重建的人脸更具真实感，极大地减少了人为因素对结果的影响。

2、在3d人脸模型中，每个顶点都具有三维坐标（x，y，z），该三维坐标精确地描述了人脸表面的形态，这些顶点之间通过三角面片相连，这些三角面片定义了顶点之间的关系和面的形状，通过调整这些顶点的坐标，就可以改变人脸模型的形态，从而实现对人脸的表情、姿态和形状的变化控制，由于构建一个具有广泛代表性的3d人脸模型通常需要大量的训练数据，这些数据来源于各种不同的人脸样本，并被用于学习和建模人脸的形状以及外观的变化模式，目前常用的方法是收集大量的人脸数据集，通过特征点标定和三维扫描等技术来获取人脸的形状和外观信息，并通过数据处理和分析步骤构建出3d人脸模型，一旦构建好完整的3d人脸模型，便能将其应用于各种场景，比如：人脸识别、人脸表情分析、虚拟现实和增强现实等，而且通过结合图像或视频数据，可以将2d的图像映射到3d的人脸模型上，从而实现对人脸的三维重建和深度分析。

3、然而，在实际应用中，当输入的人脸图片存在遮挡物或是侧脸时，会出现因为人脸纹理信息的不完整，导致生成的3d人脸模型会出现纹理缺失，使得最终的3d人脸模型视觉效果不够真实，影响角色的特征识别，无法准确反映真实人脸的外观。

技术实现思路

1、本发明提供了一种多特征三维人脸重建方法、系统、设备及存储介质，解决的技术问题是，现有的三维人脸重建方法忽略了人脸纹理信息存在不完整情况，导致出现人脸纹理信息缺失，使得3d人脸模型无法准确反映真实人脸。

2、为解决以上技术问题，本发明提供了一种多特征三维人脸重建方法、系统、设备及存储介质。

3、第一方面，本发明提供了一种多特征三维人脸重建方法，所述方法包括以下步骤：

4、通过dlib人脸检测器对输入人脸图像进行人脸关键点检测，并在人脸关键点中提取人脸特征信息；所述人脸关键点包括二维人脸关键点和三维人脸关键点；

5、根据人脸关键点和人脸特征信息，构建人脸重建参数空间，并从第三视角图像信息中获取监督三维点云；所述人脸重建参数空间包括三维姿态参数和人脸关键属性参数；

6、基于人脸重建参数空间和监督三维点云，生成指导信息和待优化信息，并以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间；所述指导信息包括人脸特征信息、监督三维点云和人脸关键点；所述待优化信息包括人脸图像特征、三维几何模型关键点和渲染对象关键点；

7、通过最小化可微渲染器渲染所述优化参数空间得到的渲染结果与输入人脸图像之间的差异，迭代优化渲染损失函数权重系数，得到三维人脸重建模型；所述渲染损失函数权重系数包括光度细节权重系数、优化参数空间权重系数、对称损失权重系数和细节正则化权重系数。

8、在进一步的实施方案中，所述根据人脸关键点和人脸特征信息，构建人脸重建参数空间的步骤包括：

9、根据人脸关键点提取出对应的旋转矩阵并将其转化为欧拉角，得到三维姿态参数；

10、将人脸特征信息输入生成对抗网络模型进行真实人脸补全，并通过整体判别器和局部判别器进行双重判别，得到补全人脸图像；

11、将resnet50网络与全连接层组建成为编码器，利用编码器对所述补全人脸图像进行编解码，提取出人脸关键属性参数，并将所述人脸关键属性参数和所述三维姿态参数组合构成人脸重建参数空间；所述人脸关键属性参数包括形状参数、表情参数、光照参数、相机参数、人脸纹理参数和人脸细节参数。

12、在进一步的实施方案中，所述基于人脸重建参数空间和监督三维点云，生成指导信息和待优化信息，并以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间的步骤包括：

13、将人脸重建参数空间中的三维姿态参数、形状参数和表情参数输入flame模型中，生成人脸几何模型，并根据所述人脸重建参数空间中的人脸细节参数，生成人脸细节uv图；

14、利用渲染器将所述人脸几何模型和所述人脸细节uv图融合，得到带有人脸细节的三维几何模型，并获取三维几何模型关键点；

15、将三维几何模型转换为三维几何点云数据，并利用三维姿态参数对三维几何点云数据进行姿态角度微调，生成三维几何点云校正数据，根据三维几何点云校正数据进行点云关键点检测，识别出渲染对象关键点；

16、根据人脸重建参数空间计算得到人脸形状和外貌特征，将人脸形状和外貌特征映射到输入人脸图像上，生成人脸图像特征；

17、将人脸特征信息、监督三维点云以及人脸关键点作为指导信息，将人脸图像特征、三维几何模型关键点和渲染对象关键点作为待优化信息，并通过以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间。

18、在进一步的实施方案中，所述通过以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间的步骤包括：

19、根据人脸特征信息和人脸图像特征之间的差异，计算得到特征损失值；

20、根据监督三维点云与三维几何点云校正数据之间的像素对应关系，计算得到点云损失值；

21、将人脸关键点和渲染对象关键点进行对比，确定关键点损失值；

22、将人脸重建参数空间中的人脸纹理参数和形状参数结合先验知识，确定调节损失值；

23、对人脸重建参数空间添加先验知识约束条件，根据由特征损失值、点云损失值、关键点损失值以及调节损失值构成的参数空间损失函数，以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，直至收敛得到优化参数空间；其中，参数空间损失函数的表达式为：

24、

25、式中，表示参数空间损失函数；表示特征损失权重；表示特征损失值；表示点云损失权重；表示点云损失值；表示关键点损失权重；表示关键点损失值；表示调节损失权重；表示调节损失值。

26、在进一步的实施方案中，所述从第三视角图像信息中获取监督三维点云的步骤包括：

27、获取第三视角图像信息，利用双目视觉方法对所述第三视角图像信息进行处理，得到人脸特征深度信息；

28、将人脸特征深度信息转换为深度信息三维坐标，并对深度信息三维坐标进行滤波和重建，生成监督三维点云。

29、在进一步的实施方案中，所述通过最小化可微渲染器渲染所述优化参数空间得到的渲染结果与输入人脸图像之间的差异，迭代优化渲染损失函数权重系数，得到三维人脸重建模型的步骤包括：

30、从所述优化参数空间中获取优化后的形状参数，根据优化后的形状参数和三维形状基进行线性组合，生成三维点云优化数据，并将三维点云优化数据转换为3d人脸模型；

31、根据优化参数空间中优化后的相机参数和优化后的表情参数，将输入人脸图像投影到3d人脸模型的uv空间，得到不完整uv纹理图；不完整uv纹理图包括眼睛和面部的uv纹理图；

32、对不完整uv纹理图进行光线自动校正，并通过人脸局部掩膜提取不完整uv纹理图的人脸面部颜色信息，将人脸面部颜色信息作为肤色填充，生成纯色图像；

33、将纯色图像与颈部纹理uv模板纹理图进行混合相加运算，得到与人脸肤色相同的颈部uv纹理图；

34、根据不完整uv纹理图的空白区域生成区域掩膜，通过区域掩膜对颈部uv纹理图进行提取，得到面部及眼睛空白的颈部uv纹理图，并将面部及眼睛空白的颈部uv纹理图与不完整uv纹理图进行叠加，得到全头uv纹理图；

35、根据区域掩膜，对全头uv纹理图进行边缘检测，并利用修复函数对全头uv纹理图边界处进行修复，得到完整头部uv纹理图；

36、根据优化参数空间中优化后的相机参数和优化后的光照参数，通过正交投影模型构建相机模型，通过球面谐波函数光照模型来构建光照模型；

37、将完整头部uv纹理图和3d人脸模型输入可微渲染器中，基于相机模型和光照模型，通过最小化可微渲染器渲染完整头部uv纹理图和3d人脸模型得到的渲染结果与输入人脸图像之间的差异，迭代优化渲染损失函数权重系数，得到三维人脸重建模型。

38、在进一步的实施方案中，渲染损失函数的表达式为：

39、

40、式中，表示渲染损失函数；表示光度细节权重系数；表示光度细节损失值；表示对称权重系数；表示对称损失值；表示细节正则化权重系数；表示细节正则化损失值表示优化参数空间权重系数；表示优化参数空间损失值；表示局部权重系数；表示局部损失值。

41、第二方面，本发明提供了一种多特征三维人脸重建系统，所述系统包括：

42、人脸特征检测模块，用于通过dlib人脸检测器对输入人脸图像进行人脸关键点检测，并在人脸关键点中提取人脸特征信息；所述人脸关键点包括二维人脸关键点和三维人脸关键点；

43、参数空间构建模块，用于根据人脸关键点和人脸特征信息，构建人脸重建参数空间，并从第三视角图像信息中获取监督三维点云；所述人脸重建参数空间包括三维姿态参数和人脸关键属性参数；

44、参数空间优化模块，用于基于人脸重建参数空间和监督三维点云，生成指导信息和待优化信息，并以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间；所述指导信息包括人脸特征信息、监督三维点云和人脸关键点；所述待优化信息包括人脸图像特征、三维几何模型关键点和渲染对象关键点；

45、三维人脸重建模块，用于通过最小化可微渲染器渲染所述优化参数空间得到的渲染结果与输入人脸图像之间的差异，迭代优化渲染损失函数权重系数，得到三维人脸重建模型；所述渲染损失函数权重系数包括光度细节权重系数、优化参数空间权重系数、对称损失权重系数和细节正则化权重系数。

46、第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方法的步骤。

47、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

48、本发明提供了一种多特征三维人脸重建方法、系统、设备及存储介质，所述方法通过对输入人脸图像进行人脸关键点检测，并在人脸关键点中提取人脸特征信息；根据人脸关键点和人脸特征信息，构建人脸重建参数空间，并从第三视角图像信息中获取监督三维点云；基于人脸重建参数空间和监督三维点云，生成指导信息和待优化信息，并以指导信息和待优化信息之间的误差最小为目标对人脸重建参数空间进行迭代优化，获得优化参数空间；通过最小化可微渲染器渲染优化参数空间得到的渲染结果与输入人脸图像之间的差异，迭代优化渲染损失函数权重系数，得到三维人脸重建模型。本发明提出的多特征三维人脸重建方法对人脸重建参数空间进行迭代优化，通过优化后的人脸重建参数空间实现纹理渲染，能够更加全面地对人脸纹理信息的提取和描述，从而重建生成更加逼真的三维人脸重建模型，使得3d人脸模型能够准确反映真实人脸。