三维人脸图像重建方法、装置和计算机可读存储介质与流程

本公开涉及一种三维重建技术领域，特别是涉及一种三维人脸图像重建方法、装置和计算机可读存储介质。

背景技术：

随着设备计算能力的提升以及三维技术的发展，三维人脸受到了学术界与工业界越来越多的关注，其应用领域也越来越广泛。三维重建技术是三维技术的源头技术，传统的三维重建技术依赖于高精度的激光雷达或多视角三维重建。这些方法虽然可靠，但激光雷达对于设备要求很高，依赖于特征点匹配的多视角三维重建又相当耗时，因此从单张图片恢复三维模型成为了人们研究的热点。三维人脸图像重建可用于换脸，表情合成等领域，其精度要求较低，完全可以借助于单张图片三维重建技术。

目前，基于三维模型的三维人脸图像重建主要依赖于二维和三维人脸关键点的匹配。一般方法是首先建立身份和表情两个维度的三维可形变模型(即在身份和表情两个维度分解出来的pca模型)，之后通过解优化的方式，求解身份系数、表情系数、旋转矩阵、平移向量以及焦距，最后通过三维可形变模型及相应系数重建出三维人脸。

其中，求解表情系数的过程中，采用传统损失函数loss＝||lp-lt||²+λ||e||²，其中，||·||表示向量二范数，lp表示预测出的二维关键点位置，lt表示真实二维关键点位置，λ表示正则项系数，e表示表情系数。

但是，由于单张图片在深度方向具有歧义性，例如近大远小效应，因此上述三维人脸图像重建技术容易导致错误的优化。例如，当人脸左右转动产生较大姿态时，会导致三维人脸两只眼睛的大小不同，不符合真实结果。

技术实现要素：

本公开解决的技术问题是提供一种三维人脸图像重建方法，以至少部分地解决重建的人脸不符合真实结果的技术问题。此外，还提供一种三维人脸图像重建装置、三维人脸图像重建硬件装置、计算机可读存储介质和三维人脸图像重建终端。

为了实现上述目的，根据本公开的一个方面，提供以下技术方案：

一种三维人脸图像重建方法，包括：

获取真实二维人脸关键点和预测二维人脸关键点；

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，所述附加正则约束项用于约束所述表情系数，使所述表情系数表征人脸的真实状态；

根据所述表情系数重建三维人脸图像。

进一步的，所述方法还包括：

获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点；

将所述三维人脸模型和所述三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量，由所述表情基向量构成所述附加正则约束项。

进一步的，所述附加正则约束项为

其中，||·||表示向量二范数，λsym表示除眼睛以外的正则项系数，lb表示除眼睛以外的左半部分人脸的表情基向量的索引集合，rb表示除眼睛以外的右半部分人脸的表情基向量的索引集合，ei表示眼睛以外的左半部分人脸的第i个表情系数，ej表示眼睛以外的右半部分人脸的第j个表情系数；

或为

其中，λeye表示眼睛部分的正则项系数，le表示与左眼相关的表情基向量的索引集合，re表示与右眼相关的表情基向量的索引集合，ei表示左眼相关的第i个表情系数，ej表示右眼相关的第j个表情系数；

或为

进一步的，若所述附加正则约束项为所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

其中，lp表示预测二维人脸关键点位置，lt表示真实二维人脸关键点位置，λ表示人脸整体正则项系数，e表示人脸整体表情系数。

进一步的，所述

其中，α表示单只眼闭合时的正则项系数，β表示两只眼闭合或两只眼睁开时的正则项系数。

进一步的，所述方法还包括：

分别根据两眼上下眼皮的二维关键点的距离确定眼睛闭合状态；

根据所述眼睛闭合状态确定所述λeye的取值，且α小于β。

进一步的，所述方法还包括：

将所述三维人脸模型和所述三维人脸关键点在身份维度进行分解，得到所述核心张量中的身份基向量；

根据包含身份基向量和表情基向量的所述核心张量得到所述预测二维人脸关键点。

进一步的，所述根据所述核心张量得到所述预测二维人脸关键点的步骤，包括：

根据预先设置的身份系数的初始值、预先设置的表情系数的初始值及所述核心张量构建初始三维人脸图像；

将所述初始三维人脸图像进行旋转平移操作，并通过小孔成像将所述初始三维人脸图像上的三维人脸标志点投影在图片上，得到所述预测二维人脸关键点。

进一步的，所述方法还包括：

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和正则约束项组成的第二损失函数迭代优化出身份系数；

所述根据所述表情系数重建三维人脸图像的步骤，包括：

将所述表情系数和所述身份系数与所述核心张量做点积，得到所述三维人脸图像。

进一步的，所述方法还包括：

通过求解由所述真实二维人脸关键点和所述预测二维人脸关键点组成的第三损失函数迭代优化出旋转矩阵、平移向量和焦距中的至少一个参数；

采用上述至少一个参数对所述三维人脸图像进行校正。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种三维人脸图像重建装置，包括：

二维关键点获取模块，用于获取真实二维人脸关键点和预测二维人脸关键点；

求解模块，用于通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，所述附加正则约束项用于约束所述表情系数，使所述表情系数表征人脸的真实状态；

三维重建模块，用于根据所述表情系数重建三维人脸图像。

进一步的，所述装置还包括：

三维关键点获取模块，用于获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点；

核心张量获取模块，用于将所述三维人脸模型和所述三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量。

进一步的，所述附加正则约束项为

其中，||·||表示向量二范数，λsym表示除眼睛以外的正则项系数，lb表示除眼睛以外的左半部分人脸的表情基向量的索引集合，rb表示除眼睛以外的右半部分人脸的表情基向量的索引集合，ei表示眼睛以外的左半部分人脸的第i个表情系数，ej表示眼睛以外的右半部分人脸的第j个表情系数；

或为

其中，λeye表示眼睛部分的正则项系数，le表示与左眼相关的表情基向量的索引集合，re表示与右眼相关的表情基向量的索引集合，ei表示左眼相关的第i个表情系数，ej表示右眼相关的第j个表情系数；

或为

进一步的，若所述附加正则约束项为所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

或，若所述附加正则约束项为相应的，所述第一损失函数为

其中，lp表示预测二维人脸关键点位置，lt表示真实二维人脸关键点位置，λ表示人脸整体正则项系数，e表示人脸整体表情系数。

进一步的，所述

其中，α表示单只眼闭合时的正则项系数，β表示两只眼闭合或两只眼睁开时的正则项系数。

进一步的，所述装置还包括：

眼睛状态判定模块，用于分别根据两眼上下眼皮的二维关键点的距离确定眼睛闭合状态；根据所述眼睛闭合状态确定所述λeye的取值，且α小于β。

进一步的，所述核心张量获取模块还用于：

将所述三维人脸模型和所述三维人脸关键点在身份维度进行分解，得到所述核心张量中的身份基向量；根据包含身份基向量和表情基向量的所述核心张量得到所述预测二维人脸关键点。

进一步的，所述核心张量获取模块具体用于：

根据预先设置的身份系数的初始值、预先设置的表情系数的初始值及所述核心张量构建初始三维人脸图像；将所述初始三维人脸图像进行旋转平移操作，并通过小孔成像将所述初始三维人脸图像上的三维人脸标志点投影在图片上，得到所述预测二维人脸关键点。

进一步的，所述求解模块还用于：

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和正则约束项组成的第二损失函数迭代优化出身份系数；

所述三维重建模块具体用于：

将所述表情系数和所述身份系数与所述核心张量做点积，得到所述三维人脸图像。

进一步的，所述求解模块还用于：

通过求解由所述真实二维人脸关键点和所述预测二维人脸关键点组成的第三损失函数迭代优化出旋转矩阵、平移向量和焦距中的至少一个参数；采用上述至少一个参数对所述三维人脸图像进行校正。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种三维人脸图像重建硬件装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一三维人脸图像重建方法技术方案中所述的步骤。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一三维人脸图像重建方法技术方案中所述的步骤。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种三维人脸图像重建终端，包括上述任一三维人脸图像重建装置。

本公开实施例提供一种三维人脸图像重建方法、三维人脸图像重建装置、三维人脸图像重建硬件装置、计算机可读存储介质和三维人脸图像重建终端。其中，该三维人脸图像重建方法包括获取真实二维人脸关键点和预测二维人脸关键点，通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，所述附加正则约束项用于约束所述表情系数，使所述表情系数表征人脸的真实状态，根据所述表情系数重建三维人脸图像。本公开实施例首先通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的用于约束表情系数的附加正则约束项组成的第一损失函数迭代优化出表情系数，使表情系数能够表征人脸的真实状态，可以使三维人脸图像重建技术得到优化，得到人脸真实的状态。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1a为根据本公开一个实施例的三维人脸图像重建方法的流程示意图；

图1b为根据本公开另一个实施例的三维人脸图像重建方法的流程示意图；

图2a为根据本公开一个实施例的三维人脸图像重建的装置的结构示意图；

图2b为根据本公开另一个实施例的三维人脸图像重建装置的结构示意图；

图3为根据本公开一个实施例的三维人脸图像重建硬件装置的结构示意图；

图4为根据本公开一个实施例的计算机可读存储介质的结构示意图；

图5为根据本公开一个实施例的三维人脸图像重建终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

为了解决如何提高用户体验效果的技术问题，本公开实施例提供一种三维人脸图像重建方法。如图1a所示，该三维人脸图像重建方法主要包括如下步骤s1至步骤s3。其中：

步骤s1：获取真实二维人脸关键点和预测二维人脸关键点。

其中，真实二维人脸关键点是根据预先拍摄的二维人脸图像获取的，具体的，可将二维人脸图像输入预先训练好的神经网络(例如，卷积神经网络)进行训练得到二维人脸关键点，将该二维人脸关键点作为真实二维人脸关键点。

其中，预测二维人脸关键点为通过预测得到的人脸关键点，例如，根据初步重建的三维人脸图像预测得到的人脸关键点。

步骤s2：通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，附加正则约束项用于约束表情系数，使表情系数表征人脸的真实状态。

其中，表情系数表征人脸的状态，例如包括但不限于张嘴、闭眼、鼓腮等。

为了便于区分本文中出现的不同含义的损失函数，这里按照出现的先后顺序，将第一出现的损失函数定义为第一损失函数，将后续出现的损失函数依次定义为第二损失函数和第三损失函数。

步骤s3：根据表情系数重建三维人脸图像。

本实施例通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的用于约束表情系数的附加正则约束项组成的第一损失函数迭代优化出表情系数，使表情系数能够表征人脸的真实状态，可以使三维人脸图像重建技术得到优化，得到人脸真实的状态。

在一个可选的实施例中，如图1b所示，本实施例的方法还包括：

s4：获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点。

s5：将三维人脸模型和三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量，由表情基向量构成附加正则约束项。

具体的，可通过深度相机等方法预先获取一批不同人不同表情的三维人脸模型，以及每个三维人脸模型上的三维人脸标志点，之后将其在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量。在确定附加正则约束项时，将表情基向量考虑在内，用于约束表情系数，从而使表情系数能够更加准确的表征人脸的真实状态。

本实施例通过获取表情基向量，在确定附加正则约束项时，将表情基向量考虑在内，用于约束表情系数，从而使表情系数能够更加准备的表征人脸的真实状态。

进一步的，附加正则约束项为

其中，||·||表示向量二范数，λsym表示除眼睛以外的正则项系数，lb表示除眼睛以外的左半部分人脸的表情基向量的索引集合，rb表示除眼睛以外的右半部分人脸的表情基向量的索引集合，ei表示眼睛以外的左半部分人脸的第i个表情系数，ej表示眼睛以外的右半部分人脸的第j个表情系数；

或为

其中，λeye表示眼睛部分的正则项系数，le表示与左眼相关的表情基向量的索引集合，re表示与右眼相关的表情基向量的索引集合，ei表示左眼相关的第i个表情系数，ej表示右眼相关的第j个表情系数；

或为

进一步的，若附加正则约束项为第一损失函数为

或，若附加正则约束项为相应的，第一损失函数为

或，若附加正则约束项为相应的，第一损失函数为

其中，lp表示预测二维人脸关键点位置，lt表示真实二维人脸关键点位置，λ表示人脸整体正则项系数，e表示人脸整体表情系数。

进一步的，

其中，α表示单只眼闭合时的正则项系数，β表示两只眼闭合或两只眼睁开时的正则项系数。

进一步的，本实施例的方法还包括：

分别根据两眼上下眼皮的二维关键点的距离确定眼睛闭合状态；

根据眼睛闭合状态确定λeye的取值，且α小于β。

具体的，为了避免因近大远小而产生的歧义，如两眼大小不同，在本实施例中，在优化时加入了眼睛对应的正则约束项用于约束其表情系数，使其两眼尽可能的接近真实状态。对于睁一只眼闭一只眼的人脸，可以通过比较两眼上下眼皮二维人脸标志点的距离差来识别，当距离差小于预设阈值时，则认为眼睛是闭合的，当距离差大于或等于预设阈值时，则认为眼睛是睁开的。当出现睁一只眼闭一只眼的情况时，α取值很小，使其几乎失效，以保证单只眼睛可以闭合；当两眼都是睁开或闭合状态时，β取值较大，保证其两眼大小一致。

其中，各参数最优取值如下：λ＝5.0，λsym＝10.0，α＝0.05，β＝20.0。

在一个可选的实施例中，本实施例的方法还包括：

s6：将三维人脸模型和三维人脸关键点在身份维度进行分解，得到核心张量中的身份基向量。

其中，可在身份维度进行主成分分析(principalcomponentanalysis，pca)分解，将得到的pca基向量作为身份基向量。

s7：根据包含身份基向量和表情基向量的核心张量得到预测二维人脸关键点。

进一步的，步骤s7具体包括：

s71：根据预先设置的身份系数的初始值、预先设置的表情系数的初始值及核心张量构建初始三维人脸图像。

其中，身份系数表征人脸的形状，例如包括但不限于长脸、圆脸、瓜子脸等。

其中，核心张量包含身份基向量和表情基向量。具体的，可将身份系数的初始值、表情系数的初始值与核心张量做点积计算，得到初始三维人脸图像。

s72：将初始三维人脸图像进行旋转平移操作，并通过小孔成像将初始三维人脸图像上的三维人脸标志点投影在图片上，得到预测二维人脸关键点。

在一个可选的实施例中，本实施例的方法还包括：

s8：通过求解由真实二维人脸关键点、预测二维人脸关键点和正则约束项组成的第二损失函数迭代优化出身份系数；

其中，第二损失函数为loss＝||lp-lt||²+λ||e||²。

步骤s3具体包括：

将表情系数和身份系数与核心张量做点积，得到三维人脸图像。

其中，核心张量包含表情基向量和身份基向量。

在一个可选的实施例中，本实施例的方法还包括：

s9：通过求解由真实二维人脸关键点和预测二维人脸关键点组成的第三损失函数迭代优化出旋转矩阵、平移向量和焦距中的至少一个参数；

其中，第三损失函数为loss＝||lp-lt||²，可通过三分法求损失函数最小值的方式求解得到焦距，通过梯度下降方式求解得到旋转矩阵和平移向量。

s10：采用上述至少一个参数对三维人脸图像进行校正。

由于重构的三维人脸图像可能会存在位置不对的情况，此时需要进行校正，通过本实施例的方案可以解决上述问题。

本领域技术人员应能理解，在上述各个实施例的基础上，还可以进行明显变型(例如，对所列举的模式进行组合)或等同替换。

在上文中，虽然按照上述的顺序描述了三维人脸图像重建方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

为了解决如何提高用户体验效果的技术问题，本公开实施例提供一种三维人脸图像重建装置。该装置可以执行上述三维人脸图像重建方法实施例中的步骤。如图2a所示，该装置主要包括：二维关键点获取模块21、求解模块22和三维重建模块23；其中，二维关键点获取模块21用于获取真实二维人脸关键点和预测二维人脸关键点；求解模块22用于通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，附加正则约束项用于约束表情系数，使表情系数表征人脸的真实状态；三维重建模块23用于根据表情系数重建三维人脸图像。

其中，真实二维人脸关键点是根据预先拍摄的二维人脸图像获取的，具体的，可将二维人脸图像输入预先训练好的神经网络(例如，卷积神经网络)进行训练得到二维人脸关键点，将该二维人脸关键点作为真实二维人脸关键点。

其中，预测二维人脸关键点为通过预测得到的人脸关键点，例如，根据初步重建的三维人脸图像预测得到的人脸关键点。

其中，表情系数表征人脸的状态，例如包括但不限于张嘴、闭眼、鼓腮等。

本实施例通过求解模块22求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的用于约束表情系数的附加正则约束项组成的第一损失函数迭代优化出表情系数，使表情系数能够表征人脸的真实状态，可以使三维人脸图像重建技术得到优化，得到人脸真实的状态。

在一个可选的实施例中，如图2b所示，本实施例的装置还包括：三维关键点获取模块24和核心张量获取模块25；

三维关键点获取模块24用于获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点；

核心张量获取模块25用于将三维人脸模型和三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量。

具体的，三维关键点获取模块24可通过深度相机等方法预先获取一批不同人不同表情的三维人脸模型，以及每个三维人脸模型上的三维人脸标志点，之后通过核心张量获取模块25将其在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量。在确定附加正则约束项时，将表情基向量考虑在内，用于约束表情系数，从而使表情系数能够更加准备的表征人脸的真实状态。

本实施例通过获取表情基向量，在确定附加正则约束项时，将表情基向量考虑在内，用于约束表情系数，从而使表情系数能够更加准备的表征人脸的真实状态。

进一步的，附加正则约束项为

其中，||·||表示向量二范数，λsym表示除眼睛以外的正则项系数，lb表示除眼睛以外的左半部分人脸的表情基向量的索引集合，rb表示除眼睛以外的右半部分人脸的表情基向量的索引集合，ei表示眼睛以外的左半部分人脸的第i个表情系数，ej表示眼睛以外的右半部分人脸的第j个表情系数；

或为

其中，λeye表示眼睛部分的正则项系数，le表示与左眼相关的表情基向量的索引集合，re表示与右眼相关的表情基向量的索引集合，ei表示左眼相关的第i个表情系数，ej表示右眼相关的第j个表情系数；

或为

进一步的，若附加正则约束项为第一损失函数为

或，若附加正则约束项为相应的，第一损失函数为

或，若附加正则约束项为相应的，第一损失函数为

其中，lp表示预测二维人脸关键点位置，lt表示真实二维人脸关键点位置，λ表示人脸整体正则项系数，e表示人脸整体表情系数。

进一步的，

其中，α表示单只眼闭合时的正则项系数，β表示两只眼闭合或两只眼睁开时的正则项系数。

进一步的，装置还包括：眼睛状态判定模块；

其中，眼睛状态判定模块，用于分别根据两眼上下眼皮的二维关键点的距离确定眼睛闭合状态；根据眼睛闭合状态确定λeye的取值，且α小于β。

具体的，为了避免因近大远小而产生的歧义，如两眼大小不同，在本实施例中，在优化时加入了眼睛对应的正则约束项用于约束其表情系数，使其两眼尽可能的接近真实状态。对于睁一只眼闭一只眼的人脸，可以通过比较两眼上下眼皮二维人脸标志点的距离差来识别，当距离差小于预设阈值时，则认为眼睛是闭合的，当距离差大于或等于预设阈值时，则认为眼睛是睁开的。当出现睁一只眼闭一只眼的情况时，α取值很小，使其几乎失效，以保证单只眼睛可以闭合；当两眼都是睁开或闭合状态时，β取值较大，保证其两眼大小一致。

其中，各参数最优取值如下：λ＝5.0，λsym＝10.0，α＝0.05，β＝20.0。

在一个可选的实施例中，核心张量获取模块25还用于：

将三维人脸模型和三维人脸关键点在身份维度进行分解，得到核心张量中的身份基向量；根据包含身份基向量和表情基向量的核心张量得到预测二维人脸关键点。

其中，可在身份维度进行主成分分析(principalcomponentanalysis，pca)分解，将得到的pca基向量作为身份基向量。

进一步的，核心张量获取模块25具体用于：

根据预先设置的身份系数的初始值、预先设置的表情系数的初始值及核心张量构建初始三维人脸图像；将初始三维人脸图像进行旋转平移操作，并通过小孔成像将初始三维人脸图像上的三维人脸标志点投影在图片上，得到预测二维人脸关键点。

其中，身份系数表征人脸的形状，例如包括但不限于长脸、圆脸、瓜子脸等。

其中，核心张量包含身份基向量和表情基向量。具体的，可将身份系数的初始值、表情系数的初始值与核心张量做点积计算，得到初始三维人脸图像。

在一个可选的实施例中，求解模块22还用于：

通过求解由真实二维人脸关键点、预测二维人脸关键点和正则约束项组成的第二损失函数迭代优化出身份系数；

其中，第二损失函数为loss＝||lp-lt||²+λ||e||²。

三维重建模块23具体用于：

将表情系数和身份系数与核心张量做点积，得到三维人脸图像。

其中，核心张量包含表情基向量和身份基向量。

在一个可选的实施例中，求解模块23还用于：

通过求解由真实二维人脸关键点和预测二维人脸关键点组成的第三损失函数迭代优化出旋转矩阵、平移向量和焦距中的至少一个参数；采用上述至少一个参数对三维人脸图像进行校正。

其中，第三损失函数为loss＝||lp-lt||²，可通过三分法求损失函数最小值的方式求解得到焦距，通过梯度下降方式求解得到旋转矩阵和平移向量。

由于重构的三维人脸图像可能会存在位置不对的情况，此时需要进行校正，通过本实施例的方案可以解决上述问题。

有关三维人脸图像重建装置实施例的工作原理、实现的技术效果等详细说明可以参考前述三维人脸图像重建方法实施例中的相关说明，在此不再赘述。

图3是图示根据本公开的实施例的三维人脸图像重建硬件装置的硬件框图。如图3所示，根据本公开实施例的三维人脸图像重建硬件装置30包括存储器31和处理器32。

该存储器31用于存储非暂时性计算机可读指令。具体地，存储器31可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。

该处理器32可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制三维人脸图像重建硬件装置30中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器32用于运行该存储器31中存储的该计算机可读指令，使得该三维人脸图像重建硬件装置30执行前述的本公开各实施例的三维人脸图像重建方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图4是图示根据本公开的实施例的计算机可读存储介质的示意图。如图4所示，根据本公开实施例的计算机可读存储介质40，其上存储有非暂时性计算机可读指令41。当该非暂时性计算机可读指令41由处理器运行时，执行前述的本公开各实施例的视频特征的比对方法的全部或部分步骤。

上述计算机可读存储介质40包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图5是图示根据本公开实施例的终端的硬件结构示意图。如图5所示，该三维人脸图像重建终端50包括上述三维人脸图像重建装置实施例。

该终端可以以各种形式来实施，本公开中的终端可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置、车载终端、车载显示终端、车载电子后视镜等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。

作为等同替换的实施方式，该终端还可以包括其他组件。如图5所示，该三维人脸图像重建终端50可以包括电源单元51、无线通信单元52、a/v(音频/视频)输入单元53、用户输入单元54、感测单元55、接口单元56、控制器57、输出单元58和存储器59等等。图5示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。

其中，无线通信单元52允许终端50与无线通信系统或网络之间的无线电通信。a/v输入单元53用于接收音频或视频信号。用户输入单元54可以根据用户输入的命令生成键输入数据以控制终端的各种操作。感测单元55检测终端50的当前状态、终端50的位置、用户对于终端50的触摸输入的有无、终端50的取向、终端50的加速或减速移动和方向等等，并且生成用于控制终端50的操作的命令或信号。接口单元56用作至少一个外部装置与终端50连接可以通过的接口。输出单元58被构造为以视觉、音频和/或触觉方式提供输出信号。存储器59可以存储由控制器55执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储器59可以包括至少一种类型的存储介质。而且，终端50可以与通过网络连接执行存储器59的存储功能的网络存储装置协作。控制器57通常控制终端的总体操作。另外，控制器57可以包括用于再现或回放多媒体数据的多媒体模块。控制器57可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元51在控制器57的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

本公开提出的视频特征的比对方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的视频特征的比对方法的各种实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的视频特征的比对方法的各种实施方式可以在控制器57中实施。对于软件实施，本公开提出的视频特征的比对方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器59中并且由控制器57执行。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。