一种基于肤色先验的人脸本征图像分解方法与流程

本发明涉及计算机图形学领域，尤其涉及一种基于肤色先验的人脸本征图像分解(intrinsicimagedecomposition)方法。

背景技术：

随着虚拟现实、增强现实技术的迅速发展，如何用计算机快速、准确地对三维世界进行建模、渲染，成为学术界和工业界不断探讨的话题。而人脸作为其中必不可少的组成部分，也受到了广泛的关注和研究。将二维的人脸照片制作成三维的人脸模型主要包括两个过程：三维重建和纹理编辑。三维重建过程将人脸图片还原为三维几何结构，纹理编辑过程将人脸图片制作为三维模型的纹理贴图。利用三维模型及其纹理，结合相关渲染算法，可以对人脸进行实时渲染、重新光照等操作。

传统的人脸本征图像获取方法需要繁杂的采集设备。而对单张人脸图像的本征分解方法效果并不理想，主要表现在无法正确识别肤色，容易有环境光照残留等问题。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于肤色先验的人脸本征图像分解方法。

本发明的目的是通过以下技术方案来实现的：一种基于肤色先验的人脸本征图像分解方法，包括以下步骤：

(1)对输入的人脸图像进行三维重建和人脸特征点识别，根据重建后的三维模型计算人脸深度图，根据人脸特征点对人脸区域进行划分；

(2)对输入的人脸图像进行高光分离操作，获取消除了高光后的漫反射图；

(3)对不包含高光的漫反射图进行本征分解，获取人脸反射率本征图。

本发明的有益效果是，本发明结合高光分离和本征分解过程，将人脸图像中的环境光照信息分离出来，以最少的输入获得了高质量的反射率本征图；同时利用人脸肤色等先验，保证了人脸反射率本征图的肤色正常，便于后续的渲染、重新光照等方法。

附图说明

图1是基于肤色先验的人脸本征图像分解方法的完整流程图；

图2是步骤1中提取的人脸特征点及其编号示意图；

图3是根据特征点对人脸区域进行划分示意图。

具体实施方式

下面根据附图详细说明本发明。

本发明基于肤色先验的人脸本征图像分解方法，包括以下步骤：

步骤一：对输入的人脸图像进行三维重建和人脸特征点识别，根据重建后的三维模型计算人脸深度图，根据人脸特征点对人脸区域进行划分，将面部划分为9个不同的区域；

(1.1)三维重建和人脸特征点识别采用偏移动态表情(displaceddynamicexpression)方法(曹晨.一种基于图像的动态替身构造方法[p].中国专利：cn106023288a,2016-10-12)，提取共计90个人脸特征点。

(1.2)根据三维重建后的的三维模型，利用渲染时的深度缓冲区，将深度信息导出，生成对应的高度图。

(1.3)根据步骤(1.1)中的人脸特征点，将面部划分为9个区域，依次表示：额、眉、眼睑、眼、面颊、鼻、嘴上、嘴、下巴。各个区域的边界由特征点连线构成，如下表所示。

表1人脸区域边界对应的特征点

步骤二：对输入的人脸图像进行高光分离操作，获取消除了高光后的漫反射图；

(2.1)根据输入图像计算每个像素的光强比；定义为：

其中，imax(x)＝max{ir(x),ig(x),ib(x)}表示像素点的rgb三个通道的最大值，imin(x)＝min{ir(x),ig(x),ib(x)}表示像素点的rgb三个通道的最小值，irange(x)＝imax(x)-imin(x)，q(x)表示光强比；

(2.2)设定的高光阈值ρ＝0.7，对各个区域全部n个像素的光强比从小到大排序，取其中第ρ×n个值qρ，然后对光强比归一化，获得伪高光分布图，表示每个像素点的高光强度：

其中，qmax表示光强比的最大值，qi表示第i个像素的光强比，表示像素的高光强度。

(2.3)根据qρ将各个区域的像素分为不带高光的像素和带高光的像素，光强比大于qρ的像素认为是包含高光的，小于qρ的认为是不带高光的；计算二者的平均值之差获得每个区域的伪高光色，用于描述各个区域的平均高光色；

(2.4)用伪高光分布图乘以高光系数α＝2，再乘以各个区域的伪高光色，获得区域伪高光图；

(2.5)用输入图像减去伪高光图，获取漫反射图；

步骤三：对不包含高光的漫反射图进行本征分解，获取人脸反射率本征图。

该步骤是本发明的核心，分为以下子步骤。

(3.1)根据步骤一计算的深度图和肤色设定人脸的几何和肤色先验；

几何先验定义为计算的深度图z与参考深度图之间的差值：

其中，g表示大小为5、均值为0的高斯卷积核，*表示卷积操作，∈表示极小项。

肤色先验定义为计算的反射率本征图中各个区域的平均肤色与参考肤色之间的差值：

其中，ai表示输入漫反射图的像素i的像素值，操作符·表示矩阵对应元素的点乘；wa表示白化变换，用于消除rgb三通道之间的相关性，其值由mit本征图数据库的本征图拟合得到：

f表示肤色损失系数，是一个三阶矩阵，由平均肤色计算得到。假设用人脸各个区域的像素的平均值代替该区域的所有像素，得到人脸平均区域肤色图n，那么求解式：

可以得到f。其中，式中第一项f·(wan)表示平均区域肤色图的损失；第二项log(∑iexp(-fi))表示f的绝对大小；第三项表示f的平滑度，系数λ＝512，∈表示极小项；j(f)中，fxx表示对矩阵f的对x方向的二阶导数，以此类推。

(3.2)结合普适性先验，设定本征分解的优化方程；

本征分解优化方程可以描述为：

其中，该优化过程的优化目标是深度图z和光照l，g(a)、f(z)和h(l)分别表示对反射率本征图、深度图和光照的损失函数：

g(a)＝λsgs(a)+λege(a)+λpgp(a)

其中，λ表示对应损失项的系数，如下表所示；gp(a)和如步骤(3.1)所示。

表2损失系数

普适性反射率先验包括：

1，平滑性，表示在较小的邻域内反射率变化尽可能小，损失函数定义为：

其中，a表示输入的图像，n(i)表示像素i的5×5邻域，c表示gsm函数，是m＝40个高斯函数的线性混合的对数，αa表示高斯函数的混合系数，σa和∑a表示高斯函数的参数。α、σ和∑利用mit本征图数据库的本征图拟合得到：

σ＝(0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，

0.0000，0.0001，0.0001，0.0001，0.0002，0.0003，0.0005，0.0008，

0.0012，0.0018，0.0027，0.0042，0.0064，0.0098，0.0150，0.0229，

0.0351，0.0538，0.0825，0.1264，0.1937，0.2968，0.4549，0.6970，

1.0681，1.6367，2.5080，3.8433，5.8893，9.0246，13.8292，21.1915)

α＝(0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，

0.0000，0.0001，0.0001，0.0001，0.0002，0.0003，0.0005，0.0008，

0.0012，0.0018，0.0027，0.0042，0.0064，0.0098，0.0150，0.0229，

0.0351，0.0538，0.0825，0.1264，0.1937，0.2968，0.4549，0.6970，

1.0681，1.6367，2.5080，3.8433，5.8893，9.0246，13.8292，21.1915)

2，最小熵，表示本征图颜色的分布尽可能集中，损失函数定义为：

其中，a表示输入图像，n表示图像a的总像素数；wa表示与步骤(3.1)相同的白化变换；

σ＝σr＝0.1414。

普适性几何先验包括：

1，平滑性，即几何形状的变换是平缓的，损失函数定义为：

其中，z表示输入的深度图，n(i)表示像素i的5×5邻域；h(z)表示平均主曲率，zx、zy分别表示深度图在x和y方向上的导数，zxx、zyy、zxy分别表示相应的二阶导数；c表示gsm函数，与反射率平滑性先验用到的类似，其中的系数分别为：

α＝(0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，

0.0000，0.0000，0.0001，0.0005，0.0021，0.0067，0.0180，0.0425，

0.0769，0.0989，0.0998，0.0901，0.0788，0.0742，0.0767，0.0747，

0.0657，0.0616，0.0620，0.0484，0.0184，0.0029，0.0005，0.0003，

0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000，0.0000)

σ＝(0.0000，0.0000，0.0001，0.0001，0.0001，0.0002，0.0002，0.0003，

0.0004，0.0005，0.0007，0.0010，0.0014，0.0019，0.0026，0.0036，

0.0049，0.0067，0.0091，0.0125，0.0170，0.0233，0.0319，0.0436，

0.0597，0.0817，0.1118，0.1529，0.2092，0.2863，0.3917，0.5359，

0.7332，1.0031，1.3724，1.8778，2.5691，3.5150，4.8092，6.5798)

2，法向朝向一致性，在求解区域内(脸部区域)，所有点的法向尽可能一致，损失函数定义为：

其中，表示坐标(x，y)处像素点的法向量z轴分量。

用高度图计算法向量的方法参考下式：

其中，z表示输入的高度图，n＝(n^x，n^y，n^z)表示法向量图，*表示卷积操作，h^x和h^y分别表示x轴和y轴方向的卷积核：

3，边缘约束，在求解区域的边缘，法向垂直于边界。损失函数定义为：

其中，c表示人脸轮廓，可以从人脸面具(facemask)中提取；表示像素点i处的法向量的x和y分量，表示轮廓上该点的法向。

光照先验采取弱约束，用实验室环境的光照作为参考光照，用球谐光照模型表示，损失函数定义为：

其中，l表示长度为27的球谐光照向量，μl和∑l是利用mit本征图数据库拟合得到的参数：

μl＝(-1.1406，0.0056，0.2718，-0.1868，-0.0063，-0.0004，0.0178，-0.0510，-0.1515，

-1.1264，0.0050，0.2808，-0.3222，-0.0069，-0.0008，-0.0013，-0.0365，-0.1159，

-1.1411，0.0029，0.2953，-0.5036，-0.0077，-0.0001，-0.0032，-0.0257，-0.1184)

∑l＝

0.1916，0.0001，-0.055，0.1365，0.0041，-0.0011，0.0055，0.0039，0.0183，0.1535，-0.0007，-0.0551，

0.1286，0.0045，-0.001，0.0094，0.0019，0.0139，0.1222，-0.0013，-0.0542，0.1378，0.0044，-0.0009，

0.0117，-0.0011，0.0101

0.0001，0.0768，-0.001，0.0033，-0.0123，0.0063，0.0063，0.0027，-0.0044，0.0002，0.0785，-0.0007，

0.0029，-0.0111，0.0083，0.0067，0.0028，-0.0042，0.0029，0.0811，-0.0014，0.0016，-0.0118，0.0092，

0.0069，0.0031，-0.0047

-0.055，-0.001，0.0788，-0.0299，-0.0012，0，-0.0225，0.003，-0.0024，-0.0627，-0.0012，0.0803，

-0.0221，-0.0014，-0.0004，-0.0253，0.0034，-0.0025，-0.0675，-0.0012，0.0828，-0.0157，-0.0013，

-0.0006，-0.0275，0.0029，-0.0001

0.1365，0.0033，-0.0299，0.4097，-0.0114，-0.0044，0.0257，-0.0335，-0.0061，0.1067，0.0023，

-0.0241，0.3662，-0.0107，-0.003，0.0254，-0.028，-0.002，0.1304，0.0018，-0.0215，0.3684，-0.0108，

-0.0023，0.0274，-0.0294，-0.0015

0.0041，-0.0123，-0.0012，-0.0114，0.0757，-0.0061，-0.0013，0.0003，0.0051，0.0065，-0.0136，

-0.0021，-0.0125，0.0727，-0.0089，-0.0012，0.0012，0.0051，0.0069，-0.0132，-0.003，-0.0136，

0.0718，-0.0102，-0.0016，0.0018，0.0048

-0.0011，0.0063，0，-0.0044，-0.0061，0.0431，-0.0007，-0.0019，-0.0026，0.0003，0.0063，0，-0.004，

-0.0049，0.0424，-0.0003，-0.0021，-0.0022，0.0014，0.0066，-0.0008，-0.0032，-0.0034，0.0412，

0.0005，-0.0025，-0.0019

0.0055，0.0063，-0.0225，0.0257，-0.0013，-0.0007，0.1683，-0.0066，-0.0273，0.0188，0.0063，

-0.0282，0.0117，-0.0014，-0.0003，0.1776，0.0022，-0.0263，0.0271，0.0058，-0.0331，-0.0026，

-0.0021，0.0001，0.1901，0.0093，-0.0331

0.0039，0.0027，0.003，-0.0335，0.0003，-0.0019，-0.0066，0.0457，-0.0106，0.0024，0.003，0.0011，

-0.0324，-0.0002，-0.002，-0.0059，0.0443，-0.0106，-0.0054，0.003，0.0015，-0.0364，-0.0006，-0.002，

-0.0074，0.0437，-0.0124

0.0183，-0.0044，-0.0024，-0.0061，0.0051，-0.0026，-0.0273，-0.0106，0.128，0.0044，-0.005，0.0012，

0.0162，0.0048，-0.0024，-0.0275，-0.0163，0.1218，-0.0117，-0.0052，0.0062，0.0398，0.0044，

-0.0022，-0.0358，-0.0211，0.1318

0.1535，0.0002，-0.0627，0.1067，0.0065，0.0003，0.0188，0.0024，0.0044，0.1712，-0.0002，-0.0712，

0.0857，0.0065，0.0003，0.025，0.0033，0.0073，0.182，-0.0001，-0.0772，0.0824，0.0066，0.0002，

0.0322，0.0033，0.0059

-0.0007，0.0785，-0.0012，0.0023，-0.0136，0.0063，0.0063，0.003，-0.005，-0.0002，0.0842，-0.0011，

0.0015，-0.013，0.008，0.0069，0.0032，-0.0048，0.0025，0.0892，-0.0018，-0.0005，-0.0136，0.0088，

0.007，0.0037，-0.0054

-0.0551，-0.0007，0.0803，-0.0241，-0.0021，0，-0.0282，0.0011，0.0012，-0.0712，-0.0011，0.0873，

-0.0129，-0.0022，-0.0003，-0.032，0.0003，-0.0004，-0.0793，-0.0012，0.093，-0.0024，-0.0021，

-0.0005，-0.0353，-0.0002，0.0024

0.1286，0.0029，-0.0221，0.3662，-0.0125，-0.004，0.0117，-0.0324，0.0162，0.0857，0.0015，-0.0129，

0.3624，-0.0116，-0.0025，0.0088，-0.0348，0.0166，0.0924，0.0009，-0.0075，0.388，-0.0114，-0.0017，

0.0056，-0.0414，0.021

0.0045，-0.0111，-0.0014，-0.0107，0.0727，-0.0049，-0.0014，-0.0002，0.0048，0.0065，-0.013，

-0.0022，-0.0116，0.0723，-0.0075，-0.0014，0.0004，0.0046，0.0071，-0.0133，-0.003，-0.0118，

0.0729，-0.0093，-0.002，0.0007，0.0046

-0.001，0.0083，-0.0004，-0.003，-0.0089，0.0424，-0.0003，-0.002，-0.0024，0.0003，0.008，-0.0003，

-0.0025，-0.0075，0.0433，0.0001，-0.0023，-0.0023，0.001，0.0082，-0.0009，-0.0017，-0.0059，

0.0429，0.0009，-0.0027，-0.002

0.0094，0.0067，-0.0253，0.0254，-0.0012，-0.0003，0.1776，-0.0059，-0.0275，0.025，0.0069，-0.032，

0.0088，-0.0014，0.0001，0.1909，0.0034，-0.0278，0.0341，0.0063，-0.0378，-0.008，-0.0022，0.0006，

0.2076，0.0118，-0.0361

0.0019，0.0028，0.0034，-0.028，0.0012，-0.0021，0.0022，0.0443，-0.0163，0.0033，0.0032，0.0003，

-0.0348，0.0004，-0.0023，0.0034，0.0467，-0.0154，-0.0006，0.0032，0.0001，-0.0429，-0.0001，

-0.0023，0.0024，0.0484，-0.0182

0.0139，-0.0042，-0.0025，-0.002，0.0051，-0.0022，-0.0263，-0.0106，0.1218，0.0073，-0.0048，

-0.0004，0.0166，0.0046，-0.0023，-0.0278，-0.0154，0.1217，-0.0028，-0.0049，0.0038，0.0374，

0.0044，-0.0021，-0.0361，-0.02，0.1344

0.1222，0.0029，-0.0675，0.1304，0.0069，0.0014，0.0271，-0.0054，-0.0117，0.182，0.0025，-0.0793，

0.0924，0.0071，0.001，0.0341，-0.0006，-0.0028，0.2835，0.0024，-0.0953，0.1027，0.007，0.0006，

0.0416，0.0003，0.0094

-0.0013，0.0811，-0.0012，0.0018，-0.0132，0.0066，0.0058，0.003，-0.0052，-0.0001，0.0892，-0.0012，

0.0009，-0.0133，0.0082，0.0063，0.0032，-0.0049，0.0024，0.0969，-0.0019，-0.0017，-0.0136，

0.0091，0.0065，0.0038，-0.0055

-0.0542，-0.0014，0.0828，-0.0215，-0.003，-0.0008，-0.0331，0.0015，0.0062，-0.0772，-0.0018，

0.093，-0.0075，-0.003，-0.0009，-0.0378，0.0001，0.0038，-0.0953，-0.0019，0.1031，0.0034，-0.0029，

-0.0009，-0.0429，0.0003，0.0057

0.1378，0.0016，-0.0157，0.3684，-0.0136，-0.0032，-0.0026，-0.0364，0.0398，0.0824，-0.0005，

-0.0024，0.388，-0.0118，-0.0017，-0.008，-0.0429，0.0374，0.1027，-0.0017，0.0034，0.4607，-0.0114，

-0.0014，-0.0204，-0.0577，0.0567

0.0044，-0.0118，-0.0013，-0.0108，0.0718，-0.0034，-0.0021，-0.0006，0.0044，0.0066，-0.0136，

-0.0021，-0.0114，0.0729，-0.0059，-0.0022，-0.0001，0.0044，0.007，-0.0136，-0.0029，-0.0114，

0.0753，-0.0079，-0.0028，0，0.0045

-0.0009，0.0092，-0.0006，-0.0023，-0.0102，0.0412，0.0001，-0.002，-0.0022，0.0002，0.0088，

-0.0005，-0.0017，-0.0093，0.0429，0.0006，-0.0023，-0.0021，0.0006，0.0091，-0.0009，-0.0014，

-0.0079，0.0437，0.0013，-0.0026，-0.002

0.0117，0.0069，-0.0275，0.0274，-0.0016，0.0005，0.1901，-0.0074，-0.0358，0.0322，0.007，-0.0353，

0.0056，-0.002，0.0009，0.2076，0.0024，-0.0361，0.0416，0.0065，-0.0429，-0.0204，-0.0028，0.0013，

0.2323，0.0132，-0.0486

-0.0011，0.0031，0.0029，-0.0294，0.0018，-0.0025，0.0093，0.0437，-0.0211，0.0033，0.0037，-0.0002，

-0.0414，0.0007，-0.0027，0.0118，0.0484，-0.02，0.0003，0.0038，0.0003，-0.0577，0，-0.0026，0.0132，

0.0543，-0.0266

0.0101，-0.0047，-0.0001，-0.0015，0.0048，-0.0019，-0.0331，-0.0124，0.1318，0.0059，-0.0054，

0.0024，0.021，0.0046，-0.002，-0.0361，-0.0182，0.1344，0.0094，-0.0055，0.0057，0.0567，0.0045，

-0.002，-0.0486，-0.0266，0.1579

(3.3)求解优化方程，获得反射率本征图；

在步骤(3.1)的优化方程中，深度图、反射率本征图是优化的目标，亮度图需要实时渲染得到，渲染方程表述为：

c1＝0.429043

c2＝0.511664

c3＝0.743125

c4＝0.886227

c5＝0.247708

其中，r^c(ni，l^c)表示渲染得到的亮度图的每个通道(c＝{r，g，b})，ni表示由深度图求得的法向图，l^c表示球谐光照向量。

对优化方程的求解采取类似多重网格方法将待求解向量x构建为高斯金字塔向量y，具体步骤为：

1，输入向量x，设为x1；设i＝1；

2，用卷积核对xi进行一维卷积，得到xi+1；i＝i+1

3，重复步骤2，9次；

4，将x1至x10连接为一个向量y。

然后用基于梯度的l-bfgs方法求解y，最后将结果还原为x。