人脸几何模型提取、3D人脸重建方法、设备及存储介质与流程

本发明属于3d人脸建模技术领域，具体涉及一种人脸几何模型提取、3d人脸重建方法、设备及存储介质。

背景技术：

基于图像的3d人脸重建是根据单张或有限数量的图像重建人脸，这些图像是在任意场景下，可以是任意设备拍摄的。基于图像的3d人脸重建现有常用的是基于可形变3d人脸模型(3dmorphablemodel，3dmm)的方案，通过从图像中求取合适的可形变3d人脸模型参数，获得3d人脸模型。

3d人脸模型通常表示为网格mesh格式，由顶点vertex和三角面片face构成。每个顶点有3d坐标[x,y,z]，三角面片则定义了顶点之间的连接关系。通常三角面片的连接关系是不变的，调整顶点的坐标可以得到不同形态的人脸模型。3dmm作为一种参数化统计模型，模型的顶点3d坐标可以由公式表达：

其中，s是最终的人脸3d模型的顶点(vertex)的3d坐标，是统计意义下的平均人脸3d模型(平均几何)，bid是根据统计模型得到的相互正交的一组线性基底，影响中性表情下的人脸几何形状，如脸型，五官形态等；bexp是根据统计模型得到的相互正交的一组线性基底，对应于表情的编辑，也称为blendshape。bid、bexp为3dmm模型给定的固定值，给定任意一组合法的系数α、β，就可以确定出一个相应人脸的3d几何形状。而所谓的从人脸图像恢复出3d几何信息，指的就是求解出合适的一组系数α和β，使得s表述的人脸形状渲染后和给定的人脸图像相符合。

一些3dmm模型也包括对纹理的统计模型t：

其中，是平均纹理，bt为3dmm模型给定的固定值，求取合适的系数δ可以获得不同的纹理，但纹理真实感偏低。

现有的从图像中估计可形变的3d人脸模型参数的方案，其利用神经网络从人脸图像中回归出模型参数，根据模型参数构建出人脸几何模型和纹理，在进行渲染。但是，现有技术中人脸形态的估计不准，使得渲染出的图像和实际图像感官差异大，导致计算视觉差异并不合理。如何减小渲染出的图像和实际图像感官差异，提高3d人脸模型的构建真实度，是值得研究的。

技术实现要素：

本发明为了解决现有人脸形态的估计不准导致3d人脸模型的构建真实度差的问题，提供一种人脸几何模型提取、3d人脸重建方法、设备及存储介质，其通过对人脸几何模型的相关参数的优化，提高人脸形态估计准确度，提高3d人脸模型的构建真实度，减小渲染出的图像和实际图像感官差异。

为了实现上述目的，本发明采用以下技术方案：

本发明第一方面提供一种人脸几何模型提取方法，包括以下步骤：

获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；

获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；

调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数r、平移参数t。

本方案通过将初始人脸几何模型转换为第二剪影图像，通过调节人脸几何模型的相关参数使得第二剪影图像与人脸图像转换得到的第一剪影图像的差异最小化，即调节初始人脸几何模型到最优模型，提高人脸形态的估计准确度，提高后续3d人脸模型的构建真实度。

在一个可能的设计中，所述方法还包括：

对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；

在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；

所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值。

本方案通过对至少一语义分割区域进行优化调节，达到局部最优。

在一个可能的设计中，所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

对分割出的每个语义分割区域依次进行以下迭代操作：在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值。

本方案通过依次对分割出语义分割区域进行优化调节，分别达到眼睛区域、眉毛区域、鼻子区域、嘴巴区域局部最优。

在一个可能的设计中，所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标还包括：

调整人脸几何模型的相关参数及与所有语义分割区域对应的人脸几何模型顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值。

本方案通过先分别对眼睛区域、眉毛区域、鼻子区域、嘴巴区域进行局部优化，再进行整体端到端优化，进一步的提高人脸形态估计准确度。

在一个可能的设计中，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值包括：

将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；

根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；

求取损失函数对人脸几何模型的相关参数的导数；

利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。

在一个可能的设计中，所述获取至少一个人脸图像的初始人脸几何模型包括：

提取人脸图像的2d关键点；

根据关键点将图像的人脸对齐到一标准的参考坐标系下，得到归一化的人脸图像；

将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对应的3d人脸模型系数和人脸模型相对相机坐标系的外参数；

根据3d人脸模型系数和人脸模型相对相机坐标系的外参数得到初始人脸几何模型。

本方案利用参数回归模型回归出人脸几何模型的相关参数，准确度高。

在一个可能的设计中，所述方法还包括：对初始几何模型进行顶点插值和/或网格平滑处理。

本发明第二方面提供一种3d人脸重建方法，包括以下步骤：

采用上述第一方面任一种人脸几何模型提取方法得到人脸几何模型；

基于人脸几何模型从人脸图像中提取人脸纹理图；

将人脸几何模型转化为2d方式的信息，所述2d方式的信息为深度图或法向量图；

将所述2d方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3d人脸的渲染图像。

本发明第三方面提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项中所述的一种人脸几何模型提取方法或第二方面中的3d人脸重建方法。

本发明第三四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面中任一项中所述的一种人脸几何模型提取方法或第二方面中的3d人脸重建方法。

本发明与现有技术相比，至少具有以下优点和有益效果：

1、本方案的通过调节人脸几何模型的相关参数及优化区域的顶点坐标，减小初始人脸几何模型投影得到剪影图像与人脸图像对应的剪影图像的差异，对人脸几何模型的相关参数进行迭代优化并调节至最优，提高人脸形态的估计的准确度，进而可提高3d人脸重建的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为对一人脸图像进行预处理的过程图。

图2为人脸几何信息提取方法的一流程图。

图3为一人脸几何模型的剪影图像。

图4为3d人脸重建方法流程图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

实施例

如图2所示，本实施例第一方面提供一种人脸几何信息提取方法，该方法可以在信息提取设备上执行，所述信息提取设备可以是电脑、服务器、便携式智能设备或其他智能设备，可应用在表情编辑、美颜瘦脸应用等领域。所述一种人脸几何信息提取方法包括以下步骤s101～步骤s103。

步骤s101、获取至少一个人脸图像iface的初始人脸几何模型s0并将所述至少一个人脸图像转换为第一剪影图像isilhouette。具体的，获取人脸图像的初始人脸几何模型s0可采用步骤s1011～步骤s1016实现。

步骤s1011、参照图1中a、b图，对于给定人脸图像，提取人脸图像的2d关键点。

步骤s1012、根据关键点将图像的人脸矫正对齐到一标准的参考坐标系下，得到归一化的人脸图像。进一步的，可对归一化的人脸图像进行进一步的处理，包括但不限于去模糊、超分辨、光照均衡等预处理操作，从而提升图像质量，提高3d人脸模型系数和相对相机坐标系的外参数的获取精度。

步骤s1013、归一化处理过程中可能存在误差，此时将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对应的3d人脸模型系数和人脸模型相对相机坐标系的外参数，此处，3d人脸模型系数包括与人脸形状相关的参数α、与人脸表情相关的参数β，人脸模型相对相机坐标系的外参数包括尺度参数s、旋转参数r、平移参数t。

步骤s1014、根据估计出的3d人脸模型系数和人脸模型相对相机坐标系的外参数，构建人脸几何模型，并通过相似变换对齐得到相应的位置，得到初始人脸几何模型s0，

其中，是统计意义下的平均人脸3d模型(平均几何)，bid是根据统计模型得到的相互正交的一组线性基底，影响中性表情下的人脸几何形状，如脸型，五官形态等；bexp是根据统计模型得到的相互正交的一组线性基底，对应于表情的编辑，也称为blendshape。

若此时，几何模型的顶点数量较少，可进行步骤s1015：对初始人脸几何模型s0进行顶点插值或网格平滑处理，或者同时对其进行顶点插值和网格平滑处理。采用该步骤可增加顶点数量且维持人脸网格的连续性，增强采样率提升纹理图清晰度，增强人脸几何模型微调的调节自由度，能够更好的拟合人脸图像的形态。

步骤s1016、对人脸图像进行语义分割得到至少一个语义分割区域及遮挡物的区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域，语义分割区域中任一区域也可能为被遮挡物遮挡的区域，也可能是未被遮挡物遮挡的区域即有效人脸区域，遮挡物包括眼镜、口罩或其他遮挡物。如图1中c图所示，每个不同颜色代表人脸的一个特定语义区域，其中，由于附图已调整为黑白色，c图中不同深度的代表人脸的一个特定语义区域，将语义分割得到的图的有效人脸区域掩码图像记为imask。

步骤s102、获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像issilhouette。该步骤中，人脸几何模型的投影图像可通过对人脸几何模型进行透视投影操作得到。

步骤s103、调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型。

第一剪影图像和第二剪影图像的差异可采用以下方法：将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；构建损失函数l，求取损失函数l对α、β、s、r、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数l最小，即将参数调整到最优的参数。

步骤s103是对初始几何模型进行迭代优化的过程，其迭代优化可采用局部优化、全局优化、先局部优化再整体优化的方式。剪影图像由黑白两色构成，为了便于优化调节，在对某个区域进行优化时，需对第一剪影图像、第二剪影图像做进一步处理，即将第一剪影图像、第二剪影图像的相应优化区域同时调节为相同色，可以是黑色，也可以是白色，其与区域则为相反色。

现以仅进行全局优化的方式对本实施例的详细过程进行说明，先将第一剪影图像、第二剪影图像的眼睛区域、眉毛区域、鼻子区域、嘴巴区域调为白色，人脸区域为黑色，如图3所示。

构建损失函数l：

其中，isilhouette为人脸图像转换为第一剪影图像，issilhouette(α，β，s，r，t)为人脸几何模型转化的第二剪影图像；imask为根据语义分割得到的人脸未被遮挡区域的掩码图像；λi表示vi和vj之间相对位移发生变化的权重，vi表示优化区域即人脸图像中的第i个顶点，vj表示与顶点vi相邻的顶点，ni表示与顶点vi相邻的顶点vj的序号的集合，sall为人脸眉毛区域、眼睛区域、鼻子区域和嘴巴区域顶点vi的序号的集合。

求取损失函数l对α、β、s、r、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数l最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型s。

上述优化过程将α、β、s、r、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、r、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。

现以进行一局部优化的方式对本实施例的详细过程进行说明：

以嘴部优化为例，调节第一剪影图像、第二剪影图像的嘴巴区域调为白色或黑色，对应的，眼睛区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。在人脸几何模型中确定嘴巴区域相对应的顶点vi，保持其它语义分割区域相对应的顶点坐标不变，譬如眼睛区域、眉毛区域、鼻子区域，仅对嘴部区域的顶点坐标和人脸几何模型的相关参数进行调节，具体的，根据人脸几何模型相应优化区域的顶点坐标即嘴巴区域的顶点坐标、第一剪影图像、第二剪影图像构建损失函数l：

其中，isilhouette为人脸图像转换为第一剪影图像，issilhouette(α，β，s，r，t)为人脸几何模型转化的第二剪影图像；imask为根据语义分割得到获取的人脸未被遮挡的区域的掩码图像；λi表示vi和vj之间相对位移发生变化的权重，vi表示优化区域即嘴部区域的第i个顶点，vj表示与顶点vi相邻的顶点，ni表示与顶点vi相邻的顶点vj的序号的集合，smouth为优化区域即嘴部区域顶点的序号的集合。

求取损失函数l对α、β、s、r、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数l最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型s。

上述优化过程中，将α、β、s、r、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、r、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。

若仅单独对眼睛区域、眉毛区域、鼻子区域进行优化，其可参考嘴部的处理方式。

最优的，现以先局部优化再整体优化的方式对本实施例的详细过程进行说明：

以嘴巴区域、眼睛区域、眉毛区域、鼻子区域顺序优化，再进行全局的端到端优化的顺序为例进行说明，当然，局部优化也可采用其他排序方式。

采用上述嘴部优化方式得到局部优化下的最优第二剪影图像，确定最优时第二剪影图像对应的人脸几何模型s1。再调节第一剪影图像、第二剪影图像的眼睛区域调为白色或黑色，嘴巴区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。保持其它语义分割区域相对应的顶点坐标不变，譬如嘴巴区域、眉毛区域、鼻子区域，仅对眼睛区域的顶点坐标和人脸几何模型的相关参数进行调节，具体的，根据人脸几何模型相应优化区域的顶点坐标即眼睛区域的顶点坐标、第一剪影图像、第二剪影图像构建一损失函数构建损失函数l继续对眼睛区域进行迭代优化：

其中，isilhouette为人脸图像转换为第一剪影图像，issilhouette(α，β，s，r，t)为人脸几何模型转化的第二剪影图像；imask为根据语义分割得到获取的人脸未被遮挡的区域的掩码图像；λi表示vi和vj之间相对位移发生变化的权重，vi表示优化区域即眼睛区域的第i个顶点，vj表示与顶点vi相邻的顶点，ni表示与顶点vi相邻的顶点vj的序号的集合，seye为优化区域即眼睛区域顶点的序号的集合。

求取损失函数l对α、β、s、r、t五个人脸几何模型的相关参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数l最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型s2，即将人脸几何模型s1优化至人脸几何模型s2。

对眉毛区域、鼻子区域的优化同样采用上述方法，在对眉毛区域进行优化时，调节第一剪影图像、第二剪影图像的眉毛区域调为白色或黑色，嘴巴区域、眼睛区域、鼻子区域、人脸区域为黑色或白色；保持眼睛区域、鼻子区域、嘴巴区域的顶点坐标不变，仅对眉毛区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型s3。在对鼻子区域进行优化时，调节第一剪影图像、第二剪影图像的鼻子区域调为白色或黑色，嘴巴区域、眼睛区域、眉毛区域、人脸区域为黑色或白色；保持眼睛区域、眉毛区域、嘴巴区域的顶点坐标不变，仅对鼻子区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型s4。

最后进行端到端的全局优化，调节第一剪影图像、第二剪影图像的鼻子区域、嘴巴区域、眼睛区域、眉毛区域调为白色或黑色，其他人脸区域为黑色或白色；调整人脸几何模型的相关参数及人脸几何模型中眼睛区域、眉毛区域、鼻子区域、嘴巴区域的顶点坐标，同样采用上述构建损失函数的方法，求取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型s。

本方案基于初始几何信息s0，根据人脸几何顶点的语义划分，通过局部3d空间变换，依次独立优化微调眼睛、鼻子、嘴、脸型等局部人脸几何，允许相应语义的顶点除了随几何参数变化而变化外，每个顶点可以在空间中有一定的自由移动，并在相邻顶点间增加平滑约束。在优化对应位置的时候，其他顶点部分不动，将变化限制在局部，实现平滑连续。通过分别对各语义分割区域进行优化后，再进行端到端的优化几何系数和顶点。采用本实施例的方案，其不管是局部优化，还是端到端的优化，其均将α、β、s、r、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、r、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。

基于第一方面的方法，对同一人的多张人脸图像可进行联合优化，优化过程中，共享同一α系数，具体的，对多张人脸图像分别进行步骤s101、步骤s102处理，每个优化过程中，其共享同一α系数，分别调节各自β、s、r、t及每张图对应几何人脸模型相应优化区域的顶点坐标，每个优化过程中，优化区域相同。

本方案第二方面提供一种3d人脸重建方法，如图4所示，该方法包括以下步骤s201～步骤s204。

步骤s201、采用上述第一方面中的一种人脸几何模型提取方法得到人脸几何模型；

步骤s202、基于人脸几何模型从人脸图像中提取人脸纹理图；

步骤s203、将人脸几何模型转化为2d方式的信息，所述2d方式的信息为深度图或法向量图，该步骤中，可固定人脸几何模型的参数，通过可微分渲染器将网格形式的人脸几何模型转化为2d方式的信息。

步骤s204、基于所述2d方式的信息和人脸纹理图进行渲染得到3d人脸的图像。在该步骤中，可采用神经网络模型，接收深度图、法向量图、人脸纹理图，生成3d人脸的图像。本方法中，通过神经网络模块替代可微分渲染器来渲染图像，进一步的提高渲染效果。

本方案从人脸图像中估计人脸几何模型和人脸纹理图两个图形学要素，并依据估计出的要素渲染获得人脸图像，提升其和真实图像中的人脸之间的相似度。

本方案第三方面提供一种人脸几何模型提取，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的一种人脸几何模型提取方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(ram)、只读存储器(rom)、闪存(flashmemory)、先进先出存储器(fifo)和/或先进后出存储器(filo)等等；所述处理器不限于采用型号为stm32f105系列的微处理器、arm、x86等架构处理器，集成npu(neural-networkprocessingunits)的处理器。

本方案第四方面提供一种3d人脸重建设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面中的3d人脸重建方法。同第三方面相同的，所述存储器可以但不限于包括随机存取存储器(ram)、只读存储器(rom)、闪存(flashmemory)、先进先出存储器(fifo)和/或先进后出存储器(filo)等等；所述处理器不限于采用型号为stm32f105系列的微处理器、arm、x86等架构处理器，集成npu(neural-networkprocessingunits)的处理器。

本方案第五方面提供一种一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的一种人脸几何模型提取方法或第二方面中的3d人脸重建方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memorystick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。