一种人脸图像自动合成方法

专利名称：一种人脸图像自动合成方法
技术领域：
本发明涉及计算机图形图像技术领域，提出了一种高效便捷的人脸图像自动合成方法。

背景技术：
在计算机图形图像领域，图像合成是图像编辑中一个非常重要的技术。该技术已经广泛应用在娱乐业和电影中。图像合成主要分为两类第一类是提取源图像中的物体或者区域并合成到目标图像中；另一类就是从一幅或者多幅图像中取出不同的图像区域并把这些区域拼接成一幅新的图像。以下是相关工作的简要介绍。
图像抠图(Image Matting)抠图是最常用的图像合成技术之一。所谓抠图就是提取图像中的物体或者区域，并计算出该物体或者区域的透明度值，然后通过透明度值把提取物合成到目标图像中。目前大部分的抠图技术都需要用户提供一幅trimap图像。该图像是把源图像粗略地分割为前景、背景和不确定区域。大量实验表明，要获得真实感的合成图像，要求trimap图像中的不确定区域越小越好，这就增加了大量的用户操作。
泊松图像编辑(Poisson Image Editing)泊松图像编辑已经被证实是无缝图像合成中非常有效的一种方法。以源图像的梯度场作为引导场，用户提供编辑区域的边界信息，通过求解泊松方程获得一幅颜色连续的新图像。选取不同的梯度场，泊松方程可以实现不同的功能，比如无缝克隆、纹理抚平和纹理拼接等。然而泊松编辑结果的好坏很大程度上取决于用户边界区域的选取。
交互式数字图像处理(Interactive Digital Photomontage)该方法实现了把许多图像的不同部分进行拼接得到一幅新的图像。它主要包括两个技术图分割(Graph cut)和泊松编辑。图分割用来寻找不同图像区域的边界，以保证这些区域可以尽可能地无缝合成。泊松编辑主要是用来消除颜色的不连续性。同样地，该方法也需要用户在图像中勾画出感兴趣区域作为初始化。
根据以上介绍，我们可以看出大部分的图像合成方法都需要烦琐的人工操作，而且最后的结果很大程度上取决于人工交互的质量和数量。在数码娱乐高速发展的今天，已有的系统和方法已经难以满足用户日益增长的图像编辑合成需求。


发明内容
为了解决现有技术的问题，本发明的目的是提供一种自动的基于模型的人脸图像合成系统。
为了达成所述目的，本发明自动的基于模型的人脸图像自动合成方法，该人脸图像自动合成包括如下步骤 步骤1用户输入两幅人脸源图像、目标图像和要编辑区域的语义信息，模型匹配模块利用主动外观模型对图像进行自动搜索，提供人脸图像人脸的形状信息和纹理信息； 步骤2然后利用模型特征点对两幅人脸图像进行形状对齐，使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中； 步骤3利用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成，自动生成合成图像； 步骤4利用遮挡处理模块对合成图像进行去遮挡处理，把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。
本发明的有益效果本发明根据用户输入两幅人脸图像(源图像和目标图像)以及要编辑区域的语义信息，比如“嘴巴”，“眼睛”或者“脸”等，系统将自动地把源图像的编辑区域分割、匹配、最后无缝地融合到目标图像中。与传统的人脸手动合成技术的不同点在于，本发明利用学习出的人脸模型搜索和分析每一幅人脸图像，并自动地产生编辑区域的边界信息。然后利用泊松方程的无缝粘贴功能，成功地融合了两幅图像的特征区域。另外，本发明系统还采用抠图方法，还解决了由于目标图像中部分人脸被物体遮挡而导致的图像失真问题，比如头发，眼镜的遮挡等。



图1人脸合成系统框架包括三个部分模型匹配，特征合成，遮挡处理； 图2标有特征点的训练人脸； 图3形状无关的训练人脸patch； 图4人脸图像嘴巴区域合成； 图5彩色人脸图像合成，最右边两幅图像分别是(c)和(d)中黄色方框图像的局部放大图； 图6头发遮挡处理； 图7灰度图像合成第一排是输入的人脸图像，第二排是合成后的人脸图像； 图8彩色人脸图像合成第一排是输入的人脸图像，第二排是合成后的人脸图像。

具体实施例方式 下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
图1是本发明整个图像合成系统的框图，采用一台具有2.8G赫兹中央处理器和1G字节内存的奔腾4计算机并用C++语言编制了图像合成方法算法程序，实现了本发明的图像合成系统，还可以采用其他执行环境，在此不再详细赘述。
本发明系统的操作过程具体如下输入两幅人脸图像(彩色图像或者灰度图像)，用户选择要编辑区域的语义信息，比如“人脸”，眼睛或者“嘴巴”等，然后系统就自动地把源图像的语义特征区域无缝粘贴到目标图像中的对应位置。系统主要有三个模块组成模型匹配模块1、特征合成模块2和遮挡处理模块3。第一步是模型匹配模块1进行模型匹配。我们从大量的人脸图像训练样本中学习得到主动形状模型。然后利用训练出的主动外观模型对人脸图像进行搜索检测，获得人脸图像的形状信息和纹理信息，包括各个五官的位置信息眼睛、鼻子、嘴巴、下巴、唇、眉毛和额头等人脸的部件。
利用获取的这些特征信息，系统自动地产生编辑区域的边界位置。下一步就是特征合成模块2进行特征合成。我们通过结合边界信息和泊松方程获得一幅具有真实感、视觉效果满意的新的人脸合成图像。在特征合成之前，需要把源图像和目标图像对齐，保证两幅图像人脸特征位置一致。最后，如果存在由于头发、眼镜等物体遮挡目标图像部分的人脸而导致的合成图像失真问题，我们就采用遮挡处理模块3进行遮挡处理，用来消除这种由于物体遮挡目标图像部分的人脸而导致的合成图像失真。
1.模型匹配模块 主动外观模型是利用人脸特征的形状信息和纹理信息相结合进行统计分析建立的一种模型，并在训练过程中寻找形状参数和纹理参数之间的关系，用于提取个人外貌、三维姿态、面部表情及光照的不同脸部特征。在对新图像的匹配中，根据形状参数和纹理参数之间的关系不断的调节主动外观模型参数从而达到合成图像和新图像尽可能地接近。主动外观模型是形状模型和纹理模型的结合，所以首先要分别建立形状模型和纹理模型。我们从CAS-PEAL-R1人脸数据库中挑选出280幅人脸图像(包括多个人的不同表情和姿态)作为训练样本。训练所述主动外观模型时，首先把所有的训练样本图像都变形到均值形状上，然后获得变形后的均值人脸，并生成所需要的人脸区域掩模图像给定一幅新的人脸图像，再利用人脸主动外观模型对该图像搜索，搜索完毕后，就匹配出一幅与人脸图像相近的人脸区域图，模型匹配图提供了新图像人脸的形状信息和纹理信息。
形状模型需要对训练数据中每一幅图像标注特征点。特征点可以标记在脸的外部轮廓和器官的边缘上，如图2所示，例如图中示出的眉毛轮廓、眼睛轮廓、脸部轮廓。将标记在脸的外部轮廓和器官的边缘上的n个特征点写成向量X形式，记为x x＝(x0，y0，…，xk，yk，…，xn-1，yn-1)T(1) 其中(x0；y0)代表图像上的一个标记点(Landmark)，n为自然数，为了研究训练图像的形状变化，比较不同形状中对应点的变化，应先对这些训练图像的形状进行校准。校准是以均匀形状为基准，对其它形状进行旋转，平移和缩放使其尽可能的与基准形状接近。然后对校准后的数据进行主成分分析(Principal Component Analysis)，这样任何形状向量的形状模型 X都可以用如下方程近似 其中

是均匀形状向量，矩阵Φs表示校准后形状向量协方差矩阵的前t个最大特征值所对应的特征向量，bs是形状模型参数。这里t满足所取特征值占总特征值大小的98％以上。不同的形状模型参数bs可以重构出不同的主动外观模型实例。
纹理模型的建立需要获得每幅人脸图像的纹理信息。首先，为了减少形状变化对纹理模型的影响，要把每一幅人脸图像形状与均匀形状对齐。系统采用了由布克斯坦(Bookstain)提出的基于薄板样条(TPS)的对齐方法。该方法通过最小化图像平面的弯曲能量，从而使两幅图像的特征点完全匹配。然后从变形后图像中提取平均形状区域(称为patch)的灰度值，并把每一幅图像的灰度信息记为向量gm gm＝(g1，g2，…，gm)T(3) 图3展示从变形后图像中提取的训练人脸的平均形状区域(patch)。为了减小光照变化对纹理模型的影响，需要对灰度信息gm进行标准化处理。最后用主成分分析(PCA)处理标准化后的灰度信息，从而得到纹理模型g 其中

是标准化后人脸的均值灰度向量，Φg是体现灰度变化模式的特征向量矩阵，bg是纹理模型参数。为了用一个统一的模型表示形状和纹理，需要找出形状参数和纹理参数之间的关系。首先对训练样本中的每一幅图像构造新的参数向量b 其中Ws是考虑到形状模型参数和纹理模型参数的单位不一致，而对每个形状参数施加的权重系数的对角阵。然后对新的参数向量b再次采用主成分分析，获得主动外观模型(AAM) 其中Qs是形状模型的特征向量矩阵，Qg是纹理模型的特征向量矩阵，Q是总的主动外观模型的特征向量矩阵，c是控制形状和纹理的外观参数。此时形状模型X(2)和纹理模型g(4)可以写为下面的形式 我们实施时共采用了280幅人脸图像作训练样本，每一幅图像标注87个特征点，每幅人脸的平均形状区域包含25460个灰度值。在建立纹理模型时，我们利用15个图像特征点做图像对齐。这些图像特征点来源于形状模型的87个特征点。训练得到的形状模型参数66个，纹理参数168个，外观模型(混合模型)参数121个，所有这些参数的选取均满足选取的特征模式占总特征模式的98％以上，即生成的主动外观模型可以表示98％的训练样本变化。
模型匹配的最后一步就是如何利用主动外观模型搜索一幅新的人脸图像。这其实是一个优化目标函数的问题，其中目标函数是主动外观模型合成图像与新人脸图像之间的差值。首先我们利用多变量回归方法(Multi-variation Regression)学习出主动外观模型参数变化和目标函数之间的线性关系。学习出这种线性关系后，利用迭代的方法解决目标函数最小值问题。每次主动外观模型搜索图像时，我们都是用均匀人脸作为初始模型，并且初始位置一般位于人脸真实位置的附近，搜索算法一般迭代15次左右收敛。搜索完毕后，就获得每幅图像特征区域的形状信息和纹理信息。
2.特征合成模块 特征合成包括根据不同的人脸图像，不同人脸的大小、特征区域的大小位置，先把两幅人脸图像的几何形状对齐，实现不同人脸的合成，所述对齐是采用薄板样条来对人脸图像进行对齐，用以保证整个图像平面的弯曲能量最小，用于生成扭曲量最小的变形人脸图像；利用无缝克隆功能对人脸图像合成，是选取编辑区域中源图像的梯度场作为引导场，所述无缝克隆是把一幅图像中的区域或者物体粘贴到目标图像中，获得整体颜色的一致的合成后人脸图像。
所述生成合成图像包括对人脸图像编辑区域被物体遮挡失真的目标图像，提取被物体遮挡部分的信息并保存，然后利用提取出来的遮挡信息对合成失真的目标图像做消除失真处理，获得合成图像。
本发明系统采用求解泊松方程的方法来实现人脸图像无缝合成。但是本发明的方法和Pereze等人提出泊松图像编辑方法的不同点在于，本发明系统是利用人脸模型搜索自动获得编辑区域内具有不同部件的形状和大小的边界信息，提取人脸识别的不相同部件的形状特征，人脸的各部件进行定位。减少了复杂的人工操作。对于不同的编辑特征区域，边界信息的获得方法有所不同。下面我们以人脸和嘴巴作为编辑区域例子，介绍如何自动地产生边界信息 在模型匹配模块1进行模型匹配结束后，系统获得每幅人脸图像的模型合成人脸，如图1所示。该模型合成人脸提供了特征区域的形状信息和纹理信息。如果以整个人脸作为编辑区域，那么该区域的边界信息可以直接由该模型合成人脸得到。系统把区域的边界信息以图像形式保存，称为mask图像。在该模型合成人脸中，把属于人脸区域的像素值设为255，其他的像素值设为0，这样就获得一幅人脸区域边界的mask图像。如果嘴巴部分作为编辑区域，我们就要利用特征的形状信息。在形状模型训练时，每一幅人脸都标注了87个特征点，而且特征点的顺序是固定不变的，也就是说哪些点表示嘴巴区域也是固定的。所以根据这些已知的位置信息就可以从特征点中得到嘴巴特征区域，并以同样的方式保存成mask图像，如图4(c)所示。另外，在特征合成前需要把源图像(如图4(a)示出)和目标图像(如图4(b)示出)对齐，保证两幅图像中人脸特征区域位置一致。对齐算法同样采用基于薄板样条的方法。算法中特征点是从各图像模型匹配的形状信息中提取得到的。由于人脸模型的使用，减少了大量的人工操作，包括编辑区域边界的勾画和对齐算法中特征点的标注，从而使整个人脸合成系统更加有利于用户使用。
利用编辑区域边界条件，通过求解Poisson方程来实现人脸图像的无缝合成。以g，f*作为两幅输入图像，分别表示对齐后的源图像和目标图像，Ω表示mask图像中的编辑区域，即像素值为255的区域，f表示合成后的人脸图像，v表示引导场，即对齐后的源图像在编辑区域的梯度场。合成图像f中在Ω区域以外的像素值等于目标图像f*中对应的像素值。目标函数是最小化f在编辑区域Ω梯度场与引导场的差值 在求解中我们是对每一个像素处理，所以要把目标函数(9)离散化。这里令Np表示图像中某一点像素p的四邻域，fp是像素p的灰度值。方程(9)的离散化形式 考虑到当编辑区域Ω位于图像边缘时，在边界位置上像素的四邻域Np＜4，此时方程(10)的解满足 本发明采用迭代的方法求解方程(11)，式中v表示引导场，vpq四代表引导场

在边[p；q]方向上的投影，即

q代表像素p的邻接像素。彩色图像可以三个通道分别进行处理。为了保证合成图像颜色的一致性，对引导场vpq使用了一个缩放因子d，该缩放因子是对引导场的微调。实验中d的取值范围是(0.9，1.2)。图(4)是以嘴巴作为编辑区域的人脸图像合成。人脸模型搜索目标图像(如图4(b)示出)并自动产生嘴巴边界信息的mask图像(如图4(c)示出)。图像(如图4(d)示出)是两幅输入图像嘴巴合成的结果。整个过程不需要任何人工操作。图(5)是两幅彩色图像相互交互人脸的合成结果，其中图5(a)表示为源图像，图5(b)为目标图像，图5(c)为Mask图像，图5(d)为合成图像。箭头所指的两幅图像分别是合成图像方框中图像的局部放大图，如图5(e)和图5(f)示出。从放大的图像中可以看出在合成人脸图像中，编辑区域边界有效避免了颜色不连续的现象。
3.遮挡处理 如果目标图像中部分人脸被物体遮挡，比如头发、眼镜等，那么在系统合成图像中就会出现明显的失真现象。如图(6)所示，图6(a)和图6(b)分别是源图像和目标图像，人脸作为编辑区域。目标图像图6(b)中部分人脸的眉毛被刘海遮挡，因此系统合成后的图像图6(c)中出现了刘海不连续情况。从放大6(e)中可以明显地看出图像失真的问题。针对这种问题系统采用抠图(Image Matting)的方法来解决。
图像中任何一个象素值都可以看成是前景F，背景B和透明度值(α)的一个线性组合Ii Ii＝αiFi+(1-αi)Bi(12) 其中针对某个特定像素时，它的透明度值、前景值和背景值可以表示为αi、Fi、Bi。当透明度值(α)针对某个特定的像素时，例如第i个像素就称αi是第i个象素前景值对应的透明度值。抠图就是提取源图像中的物体，并利用全局最优的α值把物体粘贴到目标图像中。我们以图6中头发遮挡为例介绍如何利用抠图解决失真问题。我们的目的是要把合成图像图6(c)中的刘海补全。首先把目标图像图6(b)中的头发作为前景，把系统合成的失真图像图6(c)作为背景。然后利用抠图方法从目标图像图6(b)中提取前景头发以及对应的α值，然后通过方程(12)将前景头发粘贴到背景图像图6(c)，从而得到新的没有失真问题的真实人脸。为了减少人工操作，我们采用了由Anat Levin等人提出的抠图算法。这种方法只需要用户在前景和背景区域勾画几笔，就可以获得全局最优的α值。该方法是假设在图像小窗口范围内任何一个象素的前景值和背景值是近似为常量的。根据这个假设，方程(12)可以重写透明度值为 αi≈aiIi+bi，
公式中的符号标记

符号标记

w是一个小的图像窗口。通过最小化目标函数来获得全局最优α值、a和b 其中wj是以第j个象素为中心的小窗口，一般窗口大小为3×3，Ii代表第i个像素的灰度值，符号标记

符号标记

图6(e)和图6(f)分别是遮挡处理前后合成图像头发的局部放大图。从放大的图像中可以看到，利用抠图可以成功地消除遮挡失真。
下面结合附图详细说明整个系统的操作过程。图1是系统的整个框架。输入两幅人脸图像和编辑区域的语义信息后，系统经过主动外观模型搜索、特征合成和遮挡处理，自动产生出具有真实感的合成人脸图像。图4是以嘴巴作为编辑区域的灰度人脸图像合成。图5是彩色图像相互替换人脸的合成结果。我们利用人脸模型进行搜索定位，从而保证了在特征区域合成时颜色值的连续性。另外，系统还成功地解决了遮挡问题，如图6所示。图7和图8分别是用一组灰度图像和彩色图像来验证系统的有效性。图7中的灰度图像来源于CAS-PEAL-R1人脸数据库，合成图像里不仅有以人脸、眼睛、嘴巴等单个特征作为编辑区域，我们还把不同图像的不同特征合成到一幅人脸图像中。图像图7(A)是由图7(a)和图7(b)两幅图像以嘴巴作为编辑区域的合成结果；图像图7(B)是由图7(c)和图7(d)两幅图像以人脸为编辑区域的合成结果；图像图7(C)是把图像图7(g)的眼睛和图像图7(d)的嘴巴合成到图像图7(c)后的结果；图像图7(D)是由图7(d)和图7(e)两幅图像以人脸为编辑区域的合成结果；图像图7(E)是由图7(d)和图7(f)两幅图像替换人脸后的合成结果。图8展示了以人脸作为编辑区域的彩色图像合成实验。图像图8(A)是由8(a)和图8(d)合成；图像图8(B)是由8(b)和图8(c)合成；图像图8(C)是由图8(c)和图8(a)合成；图像图8(D)是由图8(d)和图8(a)合成。可以看到，我们系统自动地实现彩色人脸图像合成，并产生效果真实的人脸图像。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
1.一种人脸图像自动合成方法，其特征在于，该人脸图像自动合成包括如下步骤
步骤1用户输入两幅人脸源图像、目标图像和要编辑区域的语义信息，模型匹配模块利用主动外观模型对图像进行自动搜索，提供人脸图像人脸的形状信息和纹理信息；
步骤2然后利用模型特征点对两幅人脸图像进行形状对齐，使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中；
步骤3利用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成，自动生成合成图像；
步骤4利用遮挡处理模块对合成图像进行去遮挡处理，把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。
2.如权利要求1所述的方法，其特征在于，所述模型匹配搜索输入图像，获得每个人脸的编辑区域内具有不同部件的形状和大小的边界信息，提取人脸识别的不相同部件的形状特征，人脸的各部件进行定位。
3.如权利要求1所述的方法，其特征在于，所述不同人脸部件为眼睛、鼻子、嘴巴、下巴、唇、眉毛和额头。
4.如权利要求1所述的方法，其特征在于，所述主动外观模型，利用形状信息和对所感兴趣的脸部纹理信息进行统计分析，并找出形状和纹理之间的联系，用于提取个人外貌、三维姿态、面部表情及光照的不同脸部特征。
5.如权利要求1所述的方法，其特征在于，训练所述主动外观模型时，首先把所有的训练样本图像都变形到均值形状上，然后获得变形后的均值人脸，并生成所需要的人脸区域掩模图像给定一幅新的人脸图像，再利用人脸主动外观模型对该图像搜索，搜索完毕后，就匹配出一幅与人脸图像相近的人脸区域图，模型匹配图提供了新图像人脸的形状信息和纹理信息。
6.如权利要求1所述的方法，其特征在于，所述特征合成包括步骤如下
根据不同的人脸图像，不同人脸的大小、特征区域的大小位置，先把两幅人脸图像的几何形状对齐，实现不同人脸的合成，所述对齐是采用薄板样条来对人脸图像进行对齐，用以保证整个图像平面的弯曲能量最小，用于生成扭曲量最小的变形人脸图像；
利用无缝克隆功能对人脸图像合成，是选取编辑区域中源图像的梯度场作为引导场，所述无缝克隆是把一幅图像中的区域或者物体粘贴到目标图像中，获得整体颜色的一致的合后人脸图像。
7.如权利要求1所述的方法，其特征在于，所述生成合成图像包括步骤如下
对人脸图像编辑区域被物体遮挡失真的目标图像，提取被物体遮挡部分的信息并保存，然后利用提取出来的遮挡信息对合成失真的目标图像做消除失真处理，获得合成图像。
8.如权利要求7所述的方法，其特征在于，所述消除失真用图像抠图来提取图像中的物体或者区域；是把源图像割为前景、背景和不确定区域；图像中任何一个象素值都可以看成是前景F，背景B和阿尔法(α)值的一个线性组合IiIi＝αiFi+(1-αi)Bi，其中αi是第i个象素前景值对应的透明度值，抠图是提取源图像中的物体，并利用全局最优的α值把物体粘贴到目标图像中；假设在图像小窗口范围内任何一个象素的前景值和背景值是近似为常量；根据这个假设重写透明度值为
其中公式中的符号标记
符号标记
w是一个小的图像窗口；通过最小化目标函数来获得全局最优α值，α和b
其中wi是以第j个象素为中心的小窗口，Ii代表第i个像素的灰度值；
获得所需要的遮挡信息后，就按照基于引导场来完成对新人脸图像的合成，从而获得消除遮挡后的合成图像。
全文摘要
本发明提出人脸图像自动合成方法，用户输入两幅人脸源图像、目标图像和要编辑区域的语义信息，模型匹配模块利用主动外观模型对图像进行自动搜索，提供人脸图像人脸的形状信息和纹理信息；然后利用模型特征点对两幅人脸图像进行形状对齐，使用薄板样条形变把源图像编辑区域的形状对齐到目标图像中对应的区域中；用特征合成模块对源图像和目标图像的对齐后的形状信息和纹理信息进行特征合成，自动生成合成图像；利用遮挡处理模块对合成图像进行去遮挡处理，把源图像的被遮挡区域分割、匹配、最后无缝地融合到目标图像中。与传统的人脸合成不同在于，融合了两幅图像的特征区域，解决了由于目标图像中部分人脸被物体遮挡而导致的图像失真问题。
文档编号G06T11/00GK101770649SQ20081024674
公开日2010年7月7日 申请日期2008年12月30日 优先权日2008年12月30日
发明者潘春洪, 王红侠, 吴怀宇 申请人:中国科学院自动化研究所