基于多张RGB图像的人脸重建方法与流程

本发明涉及计算机图形学中的一种人脸重建技术，尤其是涉及了一种基于多张rgb图像的人脸重建方法。

背景技术：

人脸重建一直是计算机图形学领域的重要研究方向，其目的是重建出和图像中人脸最相似的人脸模型，在游戏，影视和社交娱乐等领域人脸重建技术都起着关键的作用。基于联合双边滤波的高光去除算法能够有效去除物体图像的高光，但是对于纹理复杂的人脸图像，由于最大漫反射色度估计不准确而产生黑斑现象。基于三维形变模型的人脸几何重建，能够简单鲁棒地重建人脸整体几何，但是不能重建出原始数据中不包含的人脸形状，并且缺乏几何细节。基于从明暗恢复形状的人脸几何重建，能够有效重建出人脸细节，但是本身不适定性会导致结果不稳定。传统方法通过投影融合生成人脸纹理贴图，存在纹理模糊问题。本发明通过像素分类和补偿函数提升最大漫反射色度估计准确性，有效去除人脸图像高光，采用粗细双粒度人脸几何重建同时恢复人脸整体形状和几何细节，通过基于块的纹理映射技术解决纹理模糊问题，采用kdtree加速块匹配过程，最终生成高质量人脸模型。基于联合双边滤波的高光去除算法可以参考文献“yangq,wangs,ahujan.real-timespecularhighlightremovalusingbilateralfiltering[c]//europeanconferenceoncomputervision.springer,berlin,heidelberg,2010:87-100.”，像素分类和补偿函数可以参考文献“gaorx,lixy.specularhighlightremovalusingimprovedbilateralfiltering[j].journalofimageandgraphics,2018,23(1):0009-0017.”，三维形变模型可以参考文献“blanzv,vettert.amorphablemodelforthesynthesisof3dfaces[c]//proceedingsofthe26thannualconferenceoncomputergraphicsandinteractivetechniques.acmpress/addison-wesleypublishingco.,1999:187-194.”，从明暗恢复形状技术可以参考文献“zhangr,tsaips,cryerje,etal.shape-from-shading:asurvey[j].ieeetransactionsonpatternanalysisandmachineintelligence,1999,21(8):690-706.”，基于块的纹理映射技术可以参考文献“bis,kalantarink,ramamoorthir.patch-basedoptimizationforimage-basedtexturemapping[j].acmtransactionsongraphics(proceedingsofsiggraph2017),2017,36(4).”，基于kdtree的块匹配加速可以参考文献“hek,sunj.computingnearest-neighborfieldsviapropagation-assistedkd-trees[c]//computervisionandpatternrecognition(cvpr),2012ieeeconferenceon.ieee,2012:111-118.”。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供了一种基于多张rgb图像的人脸重建方法，本发明实现了通过多张rgb图像重建高质量人脸模型。

本发明的目的是通过以下技术方案来实现的：一种基于多张rgb图像的人脸重建方法，包括以下步骤：

(1)最大漫反射色度估计：计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过补偿函数来估计最大漫反射色度。

(2)高光去除：采用估计的最大漫反射色度作为引导，迭代地对最大色度图进行联合双边滤波，取滤波后最大色度和原始最大色度的较大值作为最大漫反射色度，计算去除高光的图像。

(3)粗粒度人脸几何重建：采用人脸对齐算法dde检测图像上的二维人脸特征点，通过特征点投影误差和多张图像人脸身份系数相同的约束优化三维形变模型facewarehouse的系数，插值出粗粒度人脸网格。

(4)细粒度人脸几何重建：采用二阶谐波近似的朗伯表面辐照度方程，在表面法向量可积性的约束下迭代地优化光照、表面颜色和表面法向量参数。通过表面法向量优化出深度图，并组织成细粒度人脸网格。

(5)基于块的纹理映射：根据双向相似度和多视角图像的连续性，构建基于块的能量方程，优化出对齐后的图像，通过投影融合生成完整高质量的人脸纹理贴图。

(6)基于kdtree的块匹配加速：通过沃尔什-阿达玛变换将块表示为24维向量，通过迭代地对候选块中数值差距最大的维度进行中值分割构建候选块向量的kdtree，使用传播辅助的搜索策略加速块匹配和提高匹配准确性。

本发明的有益效果是：本发明利用像素分类和补偿函数提高最大漫反射色度估计的准确性，通过联合双边滤波鲁棒有效地去除人脸图像高光。本发明结合三维形变模型和从明暗恢复形状技术，保证了人脸几何在整体形状和局部细节上都和图像高度相似，重建出高质量人脸网格。本发明利用基于块的能量对齐图像，解决了纹理模糊问题，采用kdtree优化搜索空间，大幅度加速块匹配算法。本发明所提出的人脸重建技术运算效率高，鲁棒性强，容易实施，成本较低，可以有效重建出高质量人脸模型。

附图说明

图1是本发明进行人脸重建的处理流程图；

图2是面部轮廓特征点更新示意图，图中，(a)为面部轮廓的特征线，(b)为每条轮廓线上顶点法向量和视线方向点积最小的顶点，(c)为新的轮廓特征点；

图3是基于块的能量方程示意图；

图4是沃尔什-阿达玛变换的前16个基；

图5是传播辅助的kdtree搜索策略示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步说明。

如图1所示，本发明基于多张rgb图像的人脸重建技术，包括以下步骤：

1、最大漫反射色度估计。

计算图像中像素的平均最小强度值，最小强度值小于等于平均最小强度值和经验阈值乘积的像素，称其为漫反射像素，其余像素称其为镜面反射像素。漫反射像素通过最大色度来估计最大漫反射色度，镜面反射像素通过公式(1)来估计最大漫反射色度。

其中为补偿函数，k为漫反射像素数目，为估计的最大漫反射色度，jc为通道c的强度值，jmin和jmax分别为最小强度值和最大强度值。

2、高光去除。

迭代进行以下操作：采用估计的最大漫反射色度作为引导对最大色度图进行联合双边滤波，每个像素取滤波后最大色度和原始最大色度的较大者去进行下一次迭代，当两次迭代后每个像素的最大色度差异均小于一个阈值时迭代结束。取最终滤波后的最大色度作为最大漫反射色度，代入公式(2)计算去除高光后的图像。

其中λmax为最大漫反射色度，j^d为去除高光后图像。

3、粗粒度人脸几何重建。

首先使用人脸对齐算法dde检测人脸二维特征点，然后在理想针孔相机模型下将三维形变模型facewarehouse上三维特征点投影到图像空间，最小化和检测到的二维特征点的距离，并且通过多张图像人脸系数相同的约束同时优化多张图像。对于索引不固定的面部轮廓特征点，每次迭代后进行如下更新：在预先标注好的面部轮廓线上寻找顶点法向量和视线方向点积最小的顶点，然后将所有选定的顶点投影到图像空间，选择和二维特征点最接近的点作为新的面部轮廓特征点，如图2所示。最后使用优化得到的人脸身份和表情系数在facewarehouse中插值计算出粗粒度人脸网格。

4、细粒度人脸几何重建。

二阶谐波近似的朗伯表面辐照度方程如公式(3)：

其中，ρ表示表面颜色，表示光照，表示表面法向量。

首先初始化各参数：将粗粒度人脸几何投影到图像空间得到每个像素对应的法向量，并以此初始化表面法向量，将高斯滤波后的图像用来初始化表面颜色。然后通过迭代地交替优化光照、表面颜色和表面法向量来得到最终需要的细粒度人脸几何的表面法向量，优化过程中使用表面法向量可积性的正则项。最后根据深度图表示法向量的不同方式构建能量方程，在差异正则项和高斯正则项的约束下优化出深度图，组织成最终细粒度人脸网格。

5、基于块的纹理映射。

根据双向相似度，如公式(4)，和多视角图像连续性，如公式(5)，构建基于块的能量方程，如图3。

其中，l表示块中像素数目，s表示输入图像，t表示对齐图像，m表示纹理图像，d表示块之间的距离，α和w表示权重，n表示图像数目，xi→j表示视角i下的像素投影到视角j下。

初始化对齐图像和纹理图像为输入图像，通过迭代进行对齐和重建两阶段优化生成最终对齐后的图像。将对齐后所有视角下的图像投影到物体几何上，对每个顶点投影到的不同颜色值进行加权平均，生成完整高质量的人脸纹理贴图。

6、基于kdtree的块匹配加速。

首先在ycbcr颜色空间使用沃尔什-阿达玛变换的前16个基对y通道进行降维，前4个基分别对cb、cr通道进行降维，将每个块表示为24维向量，沃尔什-阿达玛变换如图4。然后迭代地对候选块中数值差距最大的维度进行中值分割构建候选块向量的kdtree。最后使用传播辅助的kdtree搜索策略来搜索最近候选块，如图5，既实现块匹配的大幅度加速，又提升了匹配的准确性。