人脸重建方法及装置、计算机可读存储介质、终端与流程

本发明涉及人脸重建，尤其涉及一种人脸重建方法及装置、计算机可读存储介质、终端。

背景技术：

1、当前，人脸重建技术逐渐成为计算机视觉领域的核心技术。该技术主要利用三维人脸重建技术，基于被测对象的单张或多张人脸图像重建出其三维人脸模型。三维重建技术在多种领域中得到广泛应用，比如在医学领域，通过三维重建技术完成肺部重建，可以帮助医生了解肺部病变的位置以及严重程度；又比如在测绘领域，通过三维重建技术可以精确重建出相应的实地场景等。

2、现有技术中，通常根据被测对象的多张二维平面人脸图像(例如，rgb图像)进行特征提取，并基于提取的人脸特征数据重建人脸的三维模型。但由于人脸具有极其复杂的几何形状，在利用现有的rgb摄像模组进行人脸图像采集过程中，只能捕捉被测人脸从三维空间投射至二维平面所形成的二维平面图像信息。因此，如果仅依赖于二维平面人脸图像中包含的信息进行三维人脸重建，将导致人脸重建的精度与效果不佳。

技术实现思路

1、本发明实施例解决的技术问题是如何改进人脸重建的效果。

2、为解决上述技术问题，本发明实施例提供一种人脸重建方法，包括以下步骤：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。

3、可选的，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，包括：将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置。

4、可选的，所述预设位置为所述深度图特征矩阵中最后一个深度特征编码的后一位置。

5、可选的，基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵，包括：基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型；根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵；基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数；采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，直至所述第一损失函数收敛或迭代次数达到第一预设次数，停止迭代并得到所述优化纹理矩阵和优化光照控制矩阵。

6、可选的，每次迭代中，基于下述过程确定当前次迭代后所述第一损失函数的函数值：采用当前次迭代优化的纹理矩阵和光照控制矩阵对所述待渲染人脸模型进行可微渲染，并采用所述仿射变换矩阵对渲染结果进行仿射变换，得到渲染图像；确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和，记为第一损失值；确定当前次迭代优化的纹理矩阵和光照控制矩阵的l2范数值，记为第二损失值；采用所述第一损失值与所述第二损失值的加权求和结果，作为当前次迭代后所述第一损失函数的函数值。

7、可选的，所述第一损失函数采用下述公式表示：

8、

9、其中，θ表示当前次迭代优化的纹理矩阵，δ表示当前次迭代优化的光照控制矩阵，p表示所述仿射变换矩阵，α表示所述优化形状矩阵，γ表示所述优化表情矩阵，im表示当前次迭代中得到的渲染图像的第m个像素的像素值，表示所述原始人脸图像的第m个像素的像素值，m表示像素数量，l2()表示l2范数计算函数，ω1和ω2分别表示第一权重值和第二权重值。

10、可选的，基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型，包括：确定所述优化形状矩阵与通用形状矩阵的乘积，记为第一矩阵乘积；确定所述优化表情矩阵与通用表情矩阵的乘积，记为第二矩阵乘积；对所述第一矩阵乘积、所述第二矩阵乘积以及平均形状矩阵进行求和，以确定所述待渲染人脸模型。

11、可选的，采用下述公式，确定所述待渲染人脸模型：

12、

13、其中，g(α,γ)表示所述待渲染人脸模型，α表示所述优化形状矩阵，s表示所述通用形状矩阵，γ表示所述优化表情矩阵，e表示所述通用表情矩阵，表示所述平均形状矩阵。

14、可选的，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵，包括：从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。

15、可选的，在确定所述仿射变换矩阵之后，以及在基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数之前，所述方法还包括：固定所述优化形状矩阵不变，对所述仿射变换矩阵和所述优化表情矩阵进行多次迭代更新，以确定更新后的仿射变换矩阵和更新后的待渲染人脸模型；其中，每次迭代过程中，当前次迭代使用的优化表情矩阵基于前一次迭代得到的仿射变换矩阵确定，当前次的迭代得到的仿射变换矩阵基于当前次迭代使用的优化表情矩阵确定。

16、可选的，在将所述融合特征矩阵输入预测模型之前，所述方法还包括：确定多张样本人脸图像，每张样本人脸图像具有预构建的第二损失函数；对所述多张样本人脸图像的各个预构建的第二损失函数进行加权运算，以构建第三损失函数；采用所述第三损失函数，将所述多张样本人脸图像输入预设的初始化预测模型进行迭代训练，直至所述第三损失函数收敛或迭代次数达到第二预设次数，停止迭代并得到所述预测模型。

17、可选的，每次迭代中，基于下述过程确定当前次迭代后所述第三损失函数的函数值：对于输入的每张样本人脸图像，基于当前优化的预测模型确定形状矩阵和表情矩阵；根据所述形状矩阵和所述表情矩阵，确定该张样本人脸图像的当前人脸预测矩阵；对所述当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和，得到该张样本人脸图像对应的第二损失函数的当前函数值；采用所述多张样本人脸图像各自对应的第二损失函数的当前函数值的加权求和结果，作为当前次迭代后所述第三损失函数的函数值。

18、可选的，所述第二损失函数采用下述公式表示：

19、

20、其中，(l2)j表示第j张样本人脸图像对应的第二损失函数，j表示样本人脸图像的序号，α表示每次迭代过程中基于当前优化的预测模型确定的形状矩阵，γ表示每次迭代过程中基于当前优化的预测模型确定的表情矩阵，gi(α,γ)表示每次迭代过程中当前人脸预测矩阵中的第i个元素，用于表示样本人脸图像的人脸标注矩阵中的第i元素，n表示矩阵元素个数，qi表示第i个元素差值的权重值；

21、所述第三损失函数采用下述公式表示：

22、

23、其中，l3表示所述第三损失函数，pj表示第j张样本人脸图像的第二损失函数的权重值，j表示样本人脸图像的总数。

24、可选的，在确定优化纹理矩阵和优化光照控制矩阵之后，所述方法还包括：根据所述优化形状矩阵和所述优化表情矩阵，确定待渲染人脸模型；采用所述优化纹理矩阵和所述优化光照控制矩阵，对所述待渲染人脸模型进行可微渲染，以得到人脸重建模型。

25、本发明实施例还提供一种人脸重建装置，包括：特征提取模块，用于分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；矩阵拼接模块，用于对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；第一重建系数确定模块，用于将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；第二重建系数确定模块，用于基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。

26、本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述人脸重建方法的步骤。

27、本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述人脸重建方法的步骤。

28、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

29、本发明实施例提供一种人脸重建方法，分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。

30、在本发明实施例中，不仅利用从原始人脸图像提取的像素特征信息，还利用原始人脸图像中包含的深度信息，然后基于两种特征的融合结果进行人脸重建。由于深度信息中包含图像采集设备至真实人脸的各点间的距离(深度)数据，可以直观反映真实人脸的可见表面的几何形状，因此，相较于仅依赖于原始人脸图像进行人脸重建，采用本实施方案有助于提高人脸重建的精度，改进人脸重建的效果。

31、进一步，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，包括：将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置。相较于分散式拼接或随机拼接的方式，本实施方案通过将深度图特征矩阵整体地拼接至人脸特征矩阵，有利于完整地保留这两个矩阵中各自包含的原始特征信息，使得后续重建得到人脸模型更加符合真实人脸的特征。

32、进一步，本发明实施例中，在采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化的过程中，所述第一损失函数包括两部分损失：一部分是渲染得到的渲染图像和所述原始人脸图像的像素差值的绝对值之和，另一部分是迭代更新的纹理矩阵和光照控制矩阵的l2范数值。其中，第一部分损失可以使得优化纹理矩阵和优化光照控制矩阵渲染出的人脸模型更加符合真实的人脸特征，避免两者差距过大的情况出现，而第二部分损失采用l2范数可以避免过拟合问题，提升模型的泛化能力。因此，相较于采用单一损失，本实施方案通过在每次迭代中采用前述两部分损失的加权求和结果确定损失函数值，有助于获得更好的迭代优化效果，获得精度更高的优化纹理矩阵和优化光照控制矩阵。

33、进一步，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵，包括：从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。通过关键点确定仿射变换矩阵，相较于基于原始人脸图像的全部像素点以及所述待渲染人脸模型的全部顶点确定仿射变换矩阵，可以大幅减少运算数据量，提高运算效率。

34、进一步，在对初始化预测模型进行迭代训练的过程中，采用的第三损失函数是对每张样本人脸图像对应的第二损失函数进行加权运算得到的。一方面，对于所述第二损失函数而言，每次迭代中，每张样本对应的第二损失函数的函数值是对当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和的结果。由此，可以结合实际场景需求，对不同的人脸区域或部位对应的元素设置适当权重值(例如，对于重点关注区域设置更大权重值)。另一方面，对于所述第三损失函数而言，也可以结合不同样本人脸图像中的人脸质量以及实际场景需求，对不同的样本人脸图像设置适当权重值。由此，通过采用双层损失函数结构以及各自的参数权重设置，有助于提高模型训练的精细化程度，改进模型训练效果。