一种三维人脸建模方法及装置与流程

本发明实施例涉及计算机技术领域，具体涉及一种三维人脸建模方法及装置。

背景技术：

三维人脸实时重建在三维动画、虚拟现实、人机交互、身份验证与识别等诸多领域有着广泛的应用价值。如图1所示，三维人脸重建可用于人机交互、视频游戏、沉浸式通信、身份验证等领域。

近年来，随着基于结构光与可测深度摄像头深度扫描技术的发展，深度相机如Intel RealSense、Microsoft Kinect、PrimeSense具有价格低廉、结构小巧、使用方便、能实时捕获物体表面的深度与颜色信息等优点，如图2所示；另外同立体视觉方法相比，深度相机基于主动发射近红外光或者结构光，计算复杂度低、不易受物体表面纹理及光照变化的影响等优点。因此深度相机已在人机交互、游戏、机器视觉、增强现实、视频监控、机器人、生物医学等领域受到广泛关注。

现有的算法通常采用的是模型数据库拟合的方式进行重建，采集人需预先采集基本的表情与姿态模型，然后用标定好的模型基实时驱动采集人进行跟踪与重建。现有的实时三维人脸建模技术存在着需要采集人预先录制各种繁琐的表情，或者重建精度不高以及对采集的第一帧表情为中性脸的要求等问题，大大限制了三维人脸建模技术的广泛应用。

在实现本发明实施例的过程中，发明人发现现有的方法需要采集人预先录制各种繁琐的表情，重建精度不高以及要求采集的第一帧表情为中性脸，限制了三维人脸建模技术的广泛应用。

技术实现要素：

由于现有的方法需要采集人预先录制各种繁琐的表情，重建精度不高以及要求采集的第一帧表情为中性脸，限制了三维人脸建模技术的广泛应用的问题，本发明实施例提出一种三维人脸建模方法及装置。

第一方面，本发明实施例提出一种三维人脸建模方法，包括：

获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；

根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；

根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；

建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。

优选地，所述方法还包括：

若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。

优选地，所述将所述第一人脸图像与预设三维人脸数据库进行拟合，进一步包括：

采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。

优选地，所述方法还包括：

对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。

优选地，所述建立所述第三三维人脸模型的几何细节，进一步包括：

计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。

第二方面，本发明实施例还提出一种三维人脸建模装置，包括：

模型拟合模块，用于获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；

模型调整模块，用于根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；

函数拟合模块，用于根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；

细节建立模块，用于建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。

优选地，所述装置还包括：

辅助调整模块，用于若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。

优选地，所述模型拟合模块进一步用于采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。

优选地，所述装置还包括：

人脸图像获取模块，用于对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。

优选地，所述细节建立模块进一步用于计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。

由上述技术方案可知，本发明实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为现有技术提供的三维人脸重建技术的应用示意图；

图2为现有技术提供的深度相机的体积和价格的关系示意图；

图3为本发明一实施例提供的一种三维人脸建模方法的流程示意图；

图4为本发明另一实施例提供的一种三维人脸建模方法的流程示意图；

图5为本发明一实施例提供的一种三维人脸建模装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图3示出了本实施例提供的一种三维人脸建模方法的流程示意图，包括：

S301、获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；

其中，所述第一人脸图像为待处理的用于进行三维人脸建模的人脸图像。所述第一人脸图像可以为采用RGB-D相机采集到的包含颜色与深度信息的图像。

所述预设三维人脸数据库为预先采集的多人多表情的三维人脸模型，包括各种类型的人脸，例如老人、孩子、男人、女人等等，每种类型的人脸包括多个表情。

举例来说，参照图4所示流程，将第i帧采集到的人脸点云信息P_i与数据库中预先采集的预设三维人脸数据库进行拟合，拟合的变量为采集人的身份系数与表情系数，在优化过程中，为了利用采集到的颜色信息，将拟合出来的人脸上的三维关键点投影到二维成像平面使得投影点的位置尽可能的和二维人脸图像I_i上的关键点信息重合。

具体地，采用将采集到的点云与数据库中的多人多表情三维人脸模型进行快速拟合的方式，求解变量为采集人的身份系数与表情系数。在确定采集人的身份系数与表情系数的过程中，还将采集到的二维人脸图片的关键点信息作为约束，使得由身份系数与表情系数组合出来的三维人脸模型的三维关键点投影到二维成像平面之后的位置与人脸图片上的关键点信息尽可能重合。

S302、根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；

其中，所述第二人脸图像与所述第一人脸图像角度不同但人脸相同的人脸图像。

举例来说，由于采集人在采集过程中不断移动与旋转人脸，为了跟踪并进一步优化重建的三维人脸，需将新采集到的人脸点云信息与上一步重建出来的三维人脸模型进行刚性与非刚性注册。在刚性注册部分，采用迭代的最近点算法优化旋转矩阵与平移向量；在非刚性注册部分，进一步优化采集人的身份稀疏、表情稀疏与局部光滑基的组合系数。

S303、根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；

具体地，在非刚性注册步骤中，我们除了将采集到的点云信息与预先采集的预设三维人脸数据库做拟合之外，还对三维人脸模型预先提取了人脸局部光滑基函数，因此，除了采集人的身份系数与表情系数之外，还增加了局部光滑基的组合系数作为变量，进一步拟合人脸三维模型。

S304、建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。

虽然S301-S303能很好地重建并跟踪三维人脸，但重建出来的模型并未包含采集人的几何细节。采用来源于阴影的形状方法重建人脸模型上的细节。

具体地，采用来自于阴影的形状分析方法重建人脸模型的几何细节；同时为了更好的表达人脸模型的几何细节，需对人脸的某些特定区域(研究、鼻子、嘴等部分)进行有选择的细分操作。

本实施例利用预先采集好的三维人脸模型和设计好的人脸三角网格上的预设的人脸局部光滑基函数协同下的实时人脸模型恢复算法，并采用shape from shading方法进一步恢复人脸的细节。基于多人多表情三维人脸数据库的张量拟合算法，同时引入了局部光滑的基函数增加拟合的自由度，并将采集到的颜色图片信息作为输入采用来自于阴影的细节恢复算法恢复人脸的几何细节。

本实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。

进一步地，在上述方法实施例的基础上，S302和S303之间还包括：

S3023、若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。

具体地，如果刚性跟踪步骤失败，即点云与三维模型之间的注册误差大于某个阈值时，采用由深度图像估计出来的人脸位置与朝向信息辅助点云与三维模型之间的注册。

通过采集设备采集的人脸颜色与深度信息进行实时高精度的三维人脸重建与跟踪。

进一步地，在上述方法实施例的基础上，S301中所述将所述第一人脸图像与预设三维人脸数据库进行拟合，进一步包括：

采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。

其中，所述身份系数为表示人脸身份的参数，所述人脸身份如老人、孩子、男人、女人等。

所述表情系数为表示人脸表情的参数，所述人脸表情如哭、笑、怒等等。

通过用身份系数和表情系数，能够快速确定第一人脸图像对应的人脸的身份和表情，便于后续进一步的处理。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S300、对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。

具体地，基于深度单通道与颜色深度四通道信号的faster-rcnn方法的人脸检测；根据人脸朝向的不同角度进行多分类，对每一类朝向的人脸颜色深度数据单独训练一个关键点检测的回归模型进行人脸关键点检测。

通过对图像进行人脸识别，能够快速确定图像中是否包含人脸，若图像中无人脸，能够大大节省不必要的处理时间。

更进一步地，在上述方法实施例的基础上，S304中所述建立所述第三三维人脸模型的几何细节，进一步包括：

计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。

具体地，人脸图像上的颜色信息是由照射在人脸上的光经过人脸反射显示出来的，可以表示成c_ij＝r_ij·s_ij，其中r_ij是人脸反射率，s_ij是光照，c_ij是图像的像素值。假设光照是光滑的，我们可以用低维的球面调和基函数对光照建模，同时引入光照校正场光照模型可以表示成：其中φ(n)是2阶的球面调和基函数，y是基函数对应的权重系数。通过让建模的光照乘上皮肤反射率得到的值与人脸图像的颜色值尽可能一样，并要求光照光滑，可计算出权重系数y和校正场d，就可以获取光照s_ij，并可得到皮肤反射率r_ij＝c_ij/s_ij。

通过计算得到的皮肤反射率，并允许点云包含的所有点沿着它们相应的视线方向移动，从而得到带有细节的点云。把原始的光滑模型注册到带细节的点云，最终获得带有几何细节的三维人脸模型。

图5示出了本实施例提供的一种三维人脸建模装置的结构示意图，所述装置包括：模型拟合模块501、模型调整模块502、函数拟合模块503和细节建立模块504，其中：

所述模型拟合模块501用于获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；

所述模型调整模块502用于根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；

所述函数拟合模块503用于根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；

所述细节建立模块504用于建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。

具体地，所述模型拟合模块501获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；所述模型调整模块502根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；所述函数拟合模块503根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；所述细节建立模块504建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。

本实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。

进一步地，在上述方法实施例的基础上，所述装置还包括：

辅助调整模块，用于若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。

进一步地，在上述方法实施例的基础上，所述模型拟合模块501进一步用于采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。

进一步地，在上述方法实施例的基础上，所述装置还包括：

人脸图像获取模块，用于对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。

更进一步地，在上述方法实施例的基础上，所述细节建立模块504进一步用于计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。

本实施例所述的三维人脸建模装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。