专利名称：通用的主动形变模型的人脸图像匹配方法
技术领域：
本发明涉及人体生物特征匹配的方法，特别涉及基于计算机视觉技术的人脸图像合成、分析和匹配方法。
背景技术：
随着计算机计算能力和存储能力的飞速提高，生物特征识别技术以其特有的稳定性、唯一性、方便性，被广泛地应用在安全认证等身份鉴别领域中。与利用指纹、虹膜等其他人体生物特征进行身份识别的方法相比，使用人脸进行识别更加友好和方便，因此人脸识别技术脱颖而出，并逐渐进入实用领域。
基于人脸图像的身份鉴别可用于机关单位的安全和考勤、网络安全、银行、海关边检、物业管理、军队安全、计算机登录系统。比如，公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、银行密押、智能身份证、智能门禁、智能视频监控、智能出入控制、司机驾照验证、各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，等等。
人脸图像的自动匹配是建立基于人脸的身份鉴别系统的基础。在十多年来关于人脸匹配的技术中，出现了许多种人脸图像匹配模型。这些模型可以分为如下几类(1)纹理模型纹理模型直接描述人脸图像中的像素信息，主要用于人脸的检测和识别。其基本方法是采用主成分分析来获得特征脸谱，并通过特征脸谱将人脸描述为训练样本的线性组合。虽然采用特征脸谱可较紧凑地表达出人脸线性空间，但它缺乏描述局部特征和局部拓扑性质的能力。
(2)形状模型这一类模型将人脸描述为一些特征点的位置或者一组参数曲线所表示的轮廓，其基本方法是将形状表示为参数曲线，并通过边缘匹配来实现人脸定位。在此基础上，有人提出了主动形状模型。该模型将人脸描述为一些有语义的特征点，通过对训练样本的特征点进行统计建模，得到描述人脸形状的点分布模型。同时，还对各个特征点处的局部图像特征进行建模。但它没有融入纹理信息。
(3)形状-纹理模型因为形状模型和纹理模型对人脸的表达都不完整，因而可将纹理与形状结合起来，共同描述人脸。基本的思想是根据人脸的形状将人脸图像变形为标准的纹理图像，从而将形状和纹理分离开。
形状-纹理模型虽然结合了形状与纹理，但此模型将形状描述为少数特征点的位置，对人脸形状描述不精确；受到背景的干扰；形状和纹理具有线性相关性，使模型表达能力不强，训练效率低。
本发明提供一种通用的主动形变模型。从对人脸信息的描述方式来看，此模型将形状描述为密集的向量场而不是少数特征点的位置，它通过计算一个参考人脸图像到各训练人脸(也称为原型人脸)的像素级(密集)对应来获取原型人脸的形状，并通过这个形状场将原型人脸图像进行变形，得到与参考人脸逐像素对齐的纹理图像。通过这种方式，通用的主动形变模型将人脸的形状和纹理有效地分离开来。通用的主动形变模型用一种“合成而分析”的方式来分析新的输入人脸图像。通过将产生的人脸匹配到输入人脸上去，以最佳的模型参数给出了对输入人脸的解释。正因如此，此模型具有对人脸形状描述精确、表达能力强、训练简单高效等优点。通过通用的主动形变模型匹配获得的输入人脸的参数化描述可以用于很多场合，例如人脸校验与识别、人脸跟踪和图像压缩等。
本发明提供一种人脸图像计算和匹配的方法，该方法的核心计算模型是通用的主动形变模型。通过把人脸描述为通用的主动形变模型，有效地去除了背景中的冗余信息，消除了原型形状和原型纹理之间的线性相关性，降低了形状和纹理参数向量的维数；因而使此模型更加紧凑并且更加有效地利用输入图像提供的启发信息，使得人脸图像匹配效率更高。
发明内容
本发明的目的是提供一种使用通用的主动形变模型的人脸图像匹配方法，能有效地去除背景中的冗余信息，能消除原型形状和原型纹理之间的线性相关性，降低形状和纹理参数向量的维数；从而使此模型更加紧凑，人脸图像匹配效率更高。
为了达到上述目的，本发明采用如下技术方案(1)计算原型形状向量和原型纹理向量即建立原型人脸图像库和一个参考人脸图像之间的形状和纹理对应关系。
(2)计算模型形状向量和模型纹理向量对于一张新的输入人脸图像，本发明用原型形状和原型纹理的线性组合来表达其形状和纹理，称为模型形状向量和模型纹理向量。
(3)计算通用的主动形变模型上述步骤(2)通过线性组合原型形状和原型纹理来产生输入人脸图像的模型形状和模型纹理。由于原型形状和原型纹理向量张成的线性子空间的实际维数都很小，甚至小于原型的数量。因此，直接用原型形状向量和纹理向量来描述线性模型并不紧凑。
本发明对原型形状向量和原型纹理向量分别进行主成分分析，从而得到紧凑的模型形状向量和模型纹理向量。
用此紧凑的模型形状向量和模型纹理向量表达的人脸模型就称为通用的主动形变模型。
通用的主动形变模型作为一种产生式人脸模型，具有很多优点密集的形状和纹理表达能够细致准确地描述人脸的特征。形状和纹理向量化使得基于主分量分析的线性模型能够很好地描述人脸的变化。同时，密集对应的自动获得省却了手工特征标定从而使训练过程简单高效。
(4)通用的主动形变模型的人脸图像匹配。
本发明另一个实施例提供了一种建立通用的主动形变模型的方法，包含A.对人脸图像库中的每一个原型人脸作归一化处理；B.计算参考人脸图像；C.计算原型人脸图像的形状向量；D.计算原型人脸图像的纹理向量；E.计算模型形状向量和模型纹理向量；F.计算通用主动形变模型。
图1建立通用主动形变模型的方法图2原型人脸进行向量化的方法图3去除背景的方法具体实施方式
下面结合图1来具体说明使用通用的主动形变模型的人脸图像匹配方法
(1)对于用于主成分分析的每一个人脸图像，首先对其进行归一化处理。归一化过程是根据眼睛和嘴角的坐标，消除样本人脸图像平移、旋转和缩放的差异。
(2)计算参考人脸图像。参考人脸图像可以取为库中所有原型人脸图像的平均图像。
(3)计算原型人脸图像的形状向量给定参考人脸图像I0和一个原型人脸图像库中的一个图像Ij，形变模型定义其形状为映射SjR2→R2，即从I0到Ij的像素对应Sj(x，y)＝(x′，y′)(1)其中，(x′，y′)是Ij中与I0像素(x，y)对应的像素。
(4)计算原型人脸图像的纹理向量相应地，Ij的纹理定义为映射TjR2→I(其中I为像素值，可以是灰度值或者RGB值)Tj(x，y)＝Ij(Sj(x，y))≡IjoSj(x，y)(2)其中o定义为变形算子，将Ij通过形状场Sj(x，y)反向变形到参考人脸图像上。因此Tj(x，y)是不包含形状信息的图像。
(5)计算模型形状向量和模型纹理向量用原型人脸的形状向量和纹理向量的线性组合表达输入人脸图像的计算模型形状向量和模型纹理向量。计算方法如下Smodel=Σi=0NciSi,Tmodel=Σi=0NbiTi---(3)]]>原型形状向量和原型纹理向量张成的线性子空间的实际维数都很小，甚至小于原型的数量，因此，直接用原型形状向量和原型纹理向量来描述的模型形状向量和模型纹理向量并不紧凑。
(6)描述通用主动形变模型对原型形状和原型纹理分别进行主成分分析，从而，模型形状向量和模型纹理向量被表达为如下紧凑的形式S＝μ+Φα(4)T＝v+Ωβ(5)其中，μ是平均形状向量，Φ是最大的l个特征值对应的形状向量构成的矩阵，α是紧凑的l维形状系数向量。公式(5)中，v，Ω具有相似的含义。β是紧凑的m维纹理向量。通过主成分分析，消除了原型形状和原型纹理之间的线性相关性，降低了形状和纹理参数向量的维数。公式(4)和公式(5)所得到的模型形状向量和模型纹理向量就是本发明的通用的主动形变模型。
(7)根据参考人脸图像对每一个原型人脸进行向量化。
向量化就是将Sj(x，y)和Tj(x，y)与参考人脸图像逐像素对齐，也就是要建立两个对应关系Sj和Tj。图2说明了向量化过程计算各原型人脸图像与参考人脸图像之间的像素对应关系①本发明将形状表达为参考人图像中每一个像素到原型人脸图像中对应像素的坐标偏移量。由于坐标偏移量是一个2D向量，因而获得一个向量场，称之为形状场。形状场描述了参考人脸图像和原型人脸图像的图像级密集对应关系。
②有了形状对应关系，纹理则被表达为参考图像中每一个像素在原型人脸图像中对应像素的灰度值或RGB值，可通过形状场将原型图像反向变形到参考图像上而得到。
(8)去除背景原型图像中不仅有我们所关心的人脸部分，还包括背景。在实际的人脸分析问题中，我们所需要分析的仅仅是人脸部分，而不是背景部分。而背景的变化很大，无法建立一个通用的模型。因此，背景区域不能被表达在形变模型当中，应设法去除。另外，去除背景区域后，因背景像素被丢弃，形变模型的形状、纹理向量的维数将大大减少，节约了计算资源。
图3是说明去除背景的方法。根据参考人脸图像，生成模板图像。模板图像中白色的像素标记了需要建模的人脸部分。在将2D阵列展开成向量时，只有人脸部分的像素对应的形状(2D位移向量)和纹理值(灰度或RGB)被使用。由此得到的原型形状向量和原型纹理向量只包含我们需要的人脸部分，去除了我们不需要的背景部分。这些向量被用来训练得到形状和纹理的线性模型。因为上面的形状和纹理的2D阵列分别与参考人脸图像逐像素对齐的，上述加模板过程并未丢失原型中包含的有用信息。
通过加模板处理之后，公式(4)和(5)中的S和T可以描述为S＝[x1，L，xL|y1，L，yL]T(6)T＝[R1，G1，B1，L，RL，GL，BL]T(7)其中，L是加模板后像素的数量，(xi，yi)和(Ri，Gi，Bi)分别是(参考人脸图像的)第i个像素所对应的原型人脸像素的位置和像素值。
(9)将输入人脸表达成通用的主动形变模型对于用于主成分分析的每一个原型人脸图像，通过上述过程，获得对应的形状向量和纹理向量。分别将形状向量和纹理向量进行主成分分析，获得μ和Φ以及v和Ω。然后对一个新的输入人脸图像，由公式(4)和(5)表示成式(6)和(7)的向量形式。
(10)计算通用的主动形变模型的匹配参数
本发明将形变模型的匹配描述为一个误差函数最小化问题。本发明采用基于梯度信息的优化方法来求解这一匹配问题。引入一个仿射变换，使通用主动形变模型适应实际人脸图像的各种不同姿态。仿射变换A用缩放系数s，2D旋转角θ和平移向量[tx，ty]T来表示A(x,y)=scosθ-sinθsinθcosθxy+txty---(8)]]>将公式(8)应用于公式(4)和(5)，则有Smodel＝R(μ+Φα)+t(9)其中，R是2L×2L维分块的缩放和旋转矩阵R=scosθ·IL-sinθ·ILsinθ·ILcosθ·IL]]>这里IL为L×L维单位矩阵。t是2L维平移向量t＝[tx，tx，L，tx，ty，ty，L，ty]T对纹理(5)进行线性色彩变换C，模型产生的纹理表示为Tmodel＝C·(v+Ωβ)+s(10)其中C是3L×3L维对角色彩增益矩阵C＝diag(γr，γg，γb，L，γr，γg，γb)s是3L维色彩偏移向量s＝[σr，σg，σb，L，σr，σg，σb]T(γr，γg，γb)和(σr，σg，σb)分别是色彩增益和偏移参数。引入这些参数的原因将随后介绍。
这样本发明的通用形变模型的参数为αi(i＝1，L，L)，s，θ，(tx，ty)，βi(i＝1，L，m)，(γr，γg，γb)和(σr，σg，σb)。
为了求解这些参数，可通过最小化匹配误差的方法来获得E=12Σxy||Inovel·A[(μ(x,y)+Σi=1LαiΦi(x,y)]-C[v(x,y)+Σi=1LβiΩi(x,y)]||2---(11)]]>下面描述式(10)中相关的色彩变换。在实际的人脸分析问题中，输入的彩色人脸图像并不一定来源于同一个取像设备，而不同的数字取像设备的色彩增益特性是不一样的。为了让形变模型能够正确地匹配到从各种取像设备取得的人脸图像上去，必须考虑这一因素。我们用一个线性的色彩变换模型描述色彩增益特性，对彩色像素[r，g，b]T，变换后的像素[r′，g′，b′]T为
r′g′b′=B-1·diag(1,d,d)·B·diag(γr,γg,γb)·rgb+σrσgσb---(12)]]>其中，0≤d≤1是颜色对比度因子。极端情况d＝0，变换后的图像退化为灰度图像，加入这一考虑使彩色的形变模型可以匹配灰度输入图像或者颜色比较灰暗的图像。B的取值为B=0.2990.5870.1140.596-0.27-0.320.2110.5230.312]]>匹配参数计算出来，也就是说已经完成了将输入人脸匹配到模型人脸。
权利要求
1.一种通用的主动形变模型的人脸图像匹配方法，包含(1)计算原型形状向量和原型纹理向量；(2)计算模型形状向量和模型纹理向量；(3)计算通用的主动形变模型；(4)通用的主动形变模型的人脸图像匹配。
2.如权利要求1所述的一种通用的主动形变模型的人脸图像匹配方法，其特征在于，所述的计算原型形状和原型纹理的方法包含(1)对人脸图像库中的每一个原型人脸作归一化处理；(2)计算参考人脸图像；(3)计算原型人脸图像的形状向量；(4)计算原型人脸图像的纹理向量。
3.如权利要求2所述的一种通用的主动形变模型的人脸图像匹配方法，其特征在于，还包含去除背景的方法。
4.如权利要求2或3所述的一种使用通用的主动形变模型的人脸图像匹配方法，其特征在于，该归一化处理是根据眼睛和嘴角的坐标，消除样本人脸图像平移、旋转和缩放的差异。
5.如权利要求4所述的一种通用的主动形变模型的人脸图像匹配方法，其特征在于，该参考人脸图像为人脸图像库中所有原型人脸图像的平均图像。
6.如权利要求1或2所述的一种通用的主动形变模型的人脸图像匹配方法，其特征在于，所述的通用的主动形变模型的人脸图像匹配方法包含(1)根据参考人脸图像对每一个原型人脸进行向量化；(2)将输入人脸表达成通用的主动形变模型；(3)计算通用的主动形变模型的匹配参数，完成人脸图像匹配。
7.如权利要求6所述的一种通用的主动形变模型的人脸图像匹配方法，其特征在于，所述的对原型人脸进行向量化的方法包含(1)计算各原型人脸图像与参考人脸图像之间的形状对应关系；(2)计算各原型人脸图像与参考人脸图像之间的纹理对应关系。
8.如权利要求1所述的一种使用通用的主动形变模型的人脸图像匹配方法，其特征在于，该计算通用的主动形变模型还包含对该原型形状和该原型纹理分别进行主成分分析的步骤。
9.一种建立通用的主动形变模型的方法，包含(1)对人脸图像库中的每一个原型人脸作归一化处理；(2)计算参考人脸图像；(3)计算原型人脸图像的形状向量；(4)计算原型人脸图像的纹理向量；(5)计算模型形状向量和模型纹理向量；(6)计算通用主动形变模型。
全文摘要
本发明提供了一种通用的主动形变模型的人脸图像匹配方法。它将人脸的计算模型描述为通用的主动形变模型，有效地去除了背景中的冗余信息，消除了原型形状和原型纹理之间的线性相关性，降低了形状和纹理参数向量的维数；因而使此模型更加紧凑并且更加有效地利用输入图像提供的启发信息，使得人脸图像匹配效率更高。由于输入人脸图像的信息被分解为形状和纹理信息，且被描述为原型人脸图像主成分的线性组合，因而本通用的主动形变模型具有广泛的适应性。
文档编号G06K9/00GK1987890SQ20051011193
公开日2007年6月27日 申请日期2005年12月23日 优先权日2005年12月23日
发明者刘晓春, 陆乃将, 张长水 申请人:北京海鑫科金高科技股份有限公司