专利名称：基于平均脸和衰老比例图的人脸图像年龄变换方法
技术领域：
本发明涉及计算机视觉和图像处理领域，特别涉及一种针对正面人脸图像进行快速逼真的年龄变换方法，包括基于平均脸的人脸图像年轻变换方法和基于衰老比例图的人脸图像衰老变换方法。
背景技术：
人脸是人类表现力最强的部分，它的变化包含了许多重要的信息。计算机模拟人脸动画的研究可以追溯到上个世纪70年代，之后不断涌现出突破性的研究成果，该领域也日渐成为公安刑侦、影视制作、游戏娱乐等行业的诸多研究人员的兴趣所在，人脸图像的年龄变换作为人脸动画的重要部分，具有深远的意义。
虽然人脸的外貌特征与年龄相关，但是即使是相同年龄的人所呈现的外貌特征也会因个人生存环境、生活习惯等各种因素的影响而存在很大的差异，因此我们很难从一幅人脸图像判断出一个人的准确年龄。人自身对年龄的感知与判断能力并非与生俱来，人在自身成长过程中能够不断获取来自外界环境反馈的各种信息，并利用这些信息不断修正自己对人脸年龄的大致判断。由于这种能力的具体形成过程因人而异，因此很难用某些量化的知识来表达，所以这方面的研究至今还未有一个令人满意的完整解释。对于计算机而言，辨别年龄更是一个困难的问题。而另一方面，对于两幅人脸图像，我们却可以很容易的辨认出谁更年轻或者谁更年老，而且可以描述出人类年轻与衰老的基本特征，例如皮肤的光滑程度，皱纹与斑点的多少，骨骼的形状，肌肉的松弛程度等。利用图像处理技术实现人脸图像的年轻和衰老变换是人脸图像处理领域的前沿问题，这种技术极大的依赖于生理学、认知学、心理学等学科间的理论支持与相互融合。虽然由年龄变化引起的相貌特征变化非常显著，有丰富的研究价值，却只有较少的研究人员对人脸图像的年龄变化进行研究。
1961年Thompson提出使用坐标变换的方法来改变生物器官的形状从而模拟同类生物中其他个体的器官特征。基于这种思想，许多研究人员使用不同的坐标变换方法模拟因年龄变化引起的人脸外貌特征的改变。其中主要的变换方法有cardioidal strain变换，它通过改变人脸和头骨的形状模拟随着年龄变化所引起的特征改变。实验结果说明，使用cardioidal strain方法可以较好的改变2D人脸图像轮廓的年龄特征。之后Mark和Todd对其进一步延伸，将这种方法应用于3D人脸数据。这种基于坐标变换的衰老模拟方法只考虑了人脸形状变化，对于引起的纹理变化没有具体说明。
1995年Burt和Perrett将样本图像按年龄段划分为7个不同的样本组，分别计算对应这7个组的平均人脸图像，然后利用漫画合成技术来模拟衰老变化。从实验结果可以看出，大部分合成的人脸图像的年龄与用于计算平均脸的样本对象的年龄保持一致，这说明在计算平均人脸图像的过程中，每个年龄组的年龄信息都保留了下来。他们还描述了两种衰老模拟技术第一种方法，首先计算较老年龄组对应的平均人脸与样本集中所有图像对应的平均人脸之间的色彩差异。接着使用漫画合成技术扩大这种差异增加合成图像中的年龄。第二种方法，计算25-29岁和50-54岁年龄组对应的平均人脸的形状和颜色差异。将这种差异应用到新人脸图像并增加这种差异从而实现增龄变化。从他们的实验结果可以看出，两种方法都较好得实现了人脸图像的衰老变换。Burt和Perrett提出的方法同时考虑了衰老变化引起的人脸形状和纹理信息的变化，而且效果也是非常显著的。
O’Toole等根据3D人脸信息建立3D人脸参数模型。然后使用漫画合成技术对显著的3D人脸特征进行夸张或消除。实验说明，较老的人脸图像中包含的显著特征更丰富也更明显，因此使用这种方法可以实现图像中隐含年龄的增加或减少。这种方法依赖于对人脸外貌的具体描述，由于3D人脸数据是通过3D扫描仪得到的，设备非常昂贵，而且需要大量的处理时间，因此这种方法的实用性不强。
Lanitis等基于一个人脸图像的统计模型对训练样本图像进行重新表达，然后通过学习训练样本的表达数据与其实际年龄之间的联系，建立衰老变化模型。模型建立后，可以根据新图象的表达数据估计从没见过的人的年龄，反之，也可以重构一个人在任何年龄下的图片。他们使用了不同的训练样本建立不同的衰老变化模式。实验证明这种方法可以对未知的图像进行合理的年龄估计，而且对于任何一幅新的图像都可以选择最合适的衰老变化方法，自动模拟衰老过程。
还有大量的半自动年龄变化处理系统主要用来模拟遗失儿童的现在面貌。基本操作主要是根据年龄变化所引起的特征改变对对应的人脸特征进行修改。考虑人的相貌具有一定的遗传性，所以一般都是根据遗失儿童近亲的不同年龄段的照片，对儿童的相貌进行修改。
另外一些相关研究主要是围绕人脸皮肤的建模和衰老皱纹的模拟。Boissieux等将皮肤看作为弹性膜，进一步将其延伸为有多层组织构成的立体模型，根据衰老时皱纹的变化形态使用有限元方法计算皮肤变形，从而产生皱纹纹理。Viaud等人开发了一种几何混合模型，用样条分段函数模拟褶皱，可以产生表情和年龄皱纹，而且使用了年龄参数来控制年龄皱纹的产生。此外凹凸纹理映射和色彩映射技术，纹理合成语言，微几何模型等，这些技术都可以用来模拟不同的皮肤纹理模式。
由于在人脸图像的年龄变换中，人脸的结构特征和皮肤组织的变化复杂，使得计算机模拟人脸年龄变换具有很大的挑战性。目前已有的人脸图像年龄变换方法又多比较复杂并且合成图像的真实感不尽如人意，因此本发明针对以往算法的不足，提出了基于平均脸的人脸图像年轻变换以及基于衰老比例图的人脸图像衰老变换方法。
发明内容
本发明的目的在于克服现有技术的缺点，提出一种基于平均脸和衰老比例图的人脸图像年龄变换方法。本发明计算量小，变换过程简单，合成的结果平滑、自然、真实，具有很强的有效性和通用性。
本发明的技术方案是这样实现的该方法包括以下步骤a)基于平均脸的年轻变换步骤假定有一组正面样本人脸图像{Ii}，对应的参考脸为Iref，新的人脸图像为IN，经过变换后得到的图像为IR，具体步骤如下第一步在以平均脸作为参考脸Iref的情况下，将新的人脸图像IN进行稠密的特征表达，得到对应的形状和纹理矢量，记为(SN，TN)，第二步计算新的人脸图像IN在形状和纹理方面与平均特征之间的差异，记为(ΔS，ΔT)，其中ΔS＝SN-SAverage，ΔT＝TN-TAverage，第三步利用参数α、β来调整新的人脸图像与平均脸之间的形状特征及纹理特征之间的差异程度，ΔS′＝αΔS，ΔT′＝βΔT，其中0＜α，β＜1，α、β越小，则变换后的人脸越年轻，第四步计算差异程度变化后的新人脸图像的形状矢量及纹理矢量(SR，TR)，计算公式为SR＝ΔS′+SAverage，TR＝ΔT′+TAverage，第五步根据(SR，TR)，以及参考脸Iref，通过前向warp重构出年轻变换后的人脸图像IR；b)基于衰老比例图的衰老变换步骤人脸图像衰老变换分为离线阶段和在线阶段离线阶段主要完成Sold和R的计算，第一步根据衰老变化规律，调整平均脸的特征线Lyoung使眼角、嘴角、外侧眉毛、鼻尖下垂得到Lold；第二步以Lyoung为参考，对Lold使用基于特征线的Warp操作，得到对应的Sold；第三步对衰老样本图像中除眼部以及嘴部以外的其他部分进行低通滤波，得到对应的年轻图像；第四步对衰老样本图像进行矢量化表达，得到纹理矢量Told，对年轻图像进行矢量化表达，得到纹理矢量Tyoung；第五步计算衰老比例图R＝Told/Tyoung；在线阶段合成新图像对应的衰老图像；第一步以平均脸为参考，将人脸图像In重新表达，记为(Sn，Tn)；第二步根据离线阶段第二步得到的Sold，计算衰老变换后的形状矢量Sn′；第三步使用离线阶段第五步得到的R计算衰老变换后的纹理矢量Tn′；第四步根据(Sn′，Tn′)，利用前向Warp技术合成变换后的图像In。
所述的以平均脸作为人脸图像的参考脸，即对一组样本图像的特征线分布作加权平均得到标准特征线的分布，记做Laverage，根据特定特征线与标准特征线的映射关系，可以对每一幅样本图像完成形状与纹理特征的分解，得到对应的图像表达(Si，Ti)，这组样本的形状和纹理矢量的平均，即平均脸Iaverage的图像表达(Saverage，Taverage)，所有图像都是针对平均脸的标准特征线进行变形，形状矢量描述的是与平均脸特征的相对变化，因此形状矢量的平均值为0，故平均脸的矢量化表达为(0，Taverage)。
所述的计算衰老变换后的形状矢量Sn′的计算公式为Sn′＝Sn+αSold，其中α＞0。
所述的使用离线阶段第五步得到的R计算衰老变换后的纹理矢量Tn′的计算公式为Tn′＝Tn·(β(R-1)+1)，其中β＞0。
若将年轻变换和年老变换的参数α和β结合，当参数小于1时完成人脸图像的年轻变化，参数大于1时完成人脸图像的衰老变化，则衰老变换在线处理的第二步中形状矢量的计算公式为Sn′＝Sn+(α-1)Sold，第三步中纹理矢量的计算公式为Tn′＝Tn·((β-1)(R-1)+1)。
本发明有下面几个特点1)根据心理学及认知学的相关结论，发现平均脸在某种程度上隐含着年轻的感觉。本发明通过计算特定人脸图像和平均脸之间的差异，进而减少这种差异程度，来完成特定人脸的年轻变换。
2)年轻变换中，基于漫画合成技术，对人脸图像采用稠密特征表达，每幅人脸图像中的点都作为一个特征，寻找图像中每个点与平均脸图像对应点的差异，最终减少特定人脸与平均脸特征的差异范围。
3)将人脸图像矢量化建模与人脸图像衰老变换相结合，实现了符合生理特征的人脸图像衰老预测。根据心理学研究中差异性(Distinctiveness)的概念及人脸漫画合成技术来调整人脸衰老过程中的形状变化，通过衰老比例图来调整人脸在衰老过程中的纹理变化。该方法无需建立复杂的模型，计算量小，并且充分考虑到人脸衰老后形状与纹理的统一变化，提高了该方法的有效性和通用性。
4)将差异性(Distinctiveness)的概念直接引入2D人脸图像年龄变换，泛化了美学概念的应用范畴，合成的图像具有很强的真实感。
图1是本发明人脸衰老变化规律图；图2是本发明特征线变形显示图；图3是本发明衰老比例图示例图；下面结合附图对本发明的内容作进一步详细说明。
具体实施例方式
参照图1所示，列举了人脸衰老的生理学研究结论。人在衰老过程中，脸部包括皮肤、眉毛、五官等各组成部分都可能呈现出如图所列举的典型变化特征，如皮肤松弛，皱纹产生，眼角嘴角下垂等。我们在后续的算法中，模拟了这里的眼角、嘴角、眉尖以及鼻尖下垂等人脸衰老的典型特征。
参照图2所示，所有样本所标记特征线的算术平均即为这里的Lyoung，它反映了平均脸的形状特征；根据图1所揭示的人脸衰老的生物学规律，对Lyoung的每根线段进行手工调整，分别得到一般的衰老模式Lold，偏瘦的衰老模式Loldthin和偏胖的衰老模式Loldfat。
参照图3所示，比例图的含义是两幅图像的商。这里的衰老比例图则是衰老人脸图像与其低通滤波图像之间的商，它反映了衰老人脸的皮肤纹理特征。第一行中的三幅图像表示人脸纹理在衰老过程中的全局变化，第二行中的三幅图像是人脸纹理在衰老过程中的局部变化，分别对应额头、眼睛和脸颊。
从计算机图形学的角度来说，漫画是指显著特征的夸张与强调。典型的人脸图像漫画合成技术就是计算特定人脸特征与对应平均人脸特征之间的差异，通过扩大这种差异，实现特征的夸张。也可以将这种差异变小，这种处理手段可以归结为一种广义的漫画合成范畴。人脸差异性主要是刻画一个人脸与“平均”意义上人脸的特征差异程度。
将人脸图像用向量表示，即向量中的每个元素对应图像中像素点的灰度值，则每个图像向量都可以看作是高维空间上的一点。所有的人脸图像分布在高维空间中的一个区域内，称这个区域为人脸图像空间。从神经心理学的角度来看，在这样一个高维特征空间中，一个人的主要特征是由特定脸与平均脸两点之间的方向决定。因此沿着这个方向移动，改变的就是人脸的差异性。具体地说，人脸图像的漫画合成技术相当于在平均脸和特定脸之间画一条连线，然后沿着这个连线向着平均脸或背离平均脸的方向移动，得到对应新人脸图像在空间中的点。
人脸差异性是针对平均脸来定义的，因此计算平均脸是完成这项工作的第一步。本发明采用了形状与纹理矢量分离的图像表达方式，因此这里应该计算的是平均脸的形状与纹理矢量。
对一组样本图像的特征线分布作加权平均得到标准特征线的分布，记做Laverage。根据特定特征线与标准特征线的映射关系，可以对每一幅样本图像完成形状与纹理特征的分解，得到对应的图像表达为(Si，Ti)。这组样本的形状和纹理矢量的平均，即为平均脸Iaverage的图像表达(Saverage，Taverage)。事实上，所有图像都是针对平均脸的标准特征线进行变形，形状矢量描述的是与平均脸特征的相对变化，因此形状矢量的平均值为0，故平均脸的矢量化表达为(0，Taverage)。在年轻变换第三步中，参数α、β是彼此独立的，分别控制人脸的形状和纹理变化。可以看到取值是在
范围内，也就是说这里实现的是特征差异的减小，而不是夸张，这与漫画合成技术有些不同。本发明在实现时，还使用了一个幂指数函数建立两者之间的联系，实现两者的连动。
对于衰老变换算法，随着年龄的增长，人脸的皮肤，脂肪，肌肉和骨骼都会发生变化。其主要特征变化见图1。这些特征包含了人脸的形状变化和纹理细节变化，因此要实现人脸图像的衰老变换，除了在脸型方面要进行改变外，在纹理方面也要对诸如皱纹、老年斑等纹理细节着力进行刻画。
使用漫画合成技术无法描绘出诸如皱纹等纹理特征变化，因此本发明采用基于衰老比例图的方法实现人脸图像的衰老变化。根据衰老引起的人脸形状特征的变化，对人脸图像的特征线进行一定的修改，实现形状的衰老模拟；对于纹理特征的改变，采用比例图方式，制作衰老比例图，根据纹理映射，实现人脸图像的纹理特征衰老模拟。
关于形状的衰老模拟，以平均脸的特征线Lyoung为参考，使用基于特征线的Warp技术将手工调整得来的年老人脸特征线Lold变形，得到光流场Sold。假设一幅新图像的形状矢量为Sn，则可以得到衰老模拟后的形状矢量Sn′＝Sn+Sold。
借助于比例图的概念来完成衰老的纹理矢量模拟。比例图是基于两幅图像计算得到的，但获得一个人在不同年龄段同样条件的人脸图像较为困难，因此衰老比例图是基于单幅图像进行的。在衰老的人脸样本图像中对除了眼部，嘴部以外的其他部位进行低通滤波，将这样得到的平滑图像视为此人对应的年轻图像，然后再借助于纹理映射的思想来完成衰老过程中的纹理变换。
在计算比例图之前，以平均脸为参考，对衰老样本图像和对应的年轻图像进行矢量化表达，完成特征点之间的对准，得到相应的纹理矢量Told和Tyoung，则衰老比例图由式R＝Told/Tyoung计算得到。对于一幅新人脸图像来说，它的纹理矢量为Tn，则衰老模拟后的纹理矢量为Tn′＝Tn·(β(R-1)+1)。使用这样的计算公式可以保证在纹理映射时非皱纹区域不变化而皱纹会随着β的改变逐渐加深。
在设计年龄变换系统时，为了简化用户操作，将年轻变换和年老变换的参数α和β结合。当参数小于1时完成人脸图像的年轻变化，参数大于1时完成人脸图像的衰老变化。因此在衰老变换在线处理的第二步中形状矢量的计算公式改为Sn′＝Sn+(α-1)Sold，第三步中纹理矢量的计算公式改为Tn′＝Tn·((β-1)(R-1)+1)。
权利要求
1.基于平均脸和衰老比例图的人脸图像年龄变换方法，其特征在于，该方法包括以下步骤a)基于平均脸的年轻变换步骤假定有一组正面样本人脸图像{Ii}，对应的参考脸为Iref，新的人脸图像为IN，经过变换后得到的图像为IR；第一步在以平均脸作为参考脸Iref的情况下，将新的人脸图像IN进行稠密的特征表达，得到对应的形状和纹理矢量，记为(SN，TN)，第二步计算新的人脸图像IN在形状和纹理方面与平均特征之间的差异，记为(ΔS，ΔT)，其中ΔS＝SN-SAverage，ΔT＝TN-TAverage，第三步利用参数α、β来调整新的人脸图像与平均脸之间的形状特征及纹理特征之间的差异程度，ΔS′＝αΔS，ΔT′＝βΔT，其中0＜α，β＜1，α、β越小，则变换后的人脸越年轻，第四步计算差异程度变化后的新人脸图像的形状矢量及纹理矢量(SR，TR)，计算公式为SR＝ΔR′+SAverage，TR＝ΔT′+TAverage，第五步根据(SR，TR)，以及参考脸Iref，通过前向warp重构出年轻变换后的人脸图像IR；b)基于衰老比例图的衰老变换步骤人脸图像衰老变换分为离线阶段和在线阶段离线阶段主要完成sold和R的计算，第一步根据衰老变化规律，调整平均脸的特征线Lyoung使眼角、嘴角、外侧眉毛、鼻尖下垂得到Lold；第二步以Lyoung为参考，对Lold使用基于特征线的Warp操作，得到对应的Sold；第三步对衰老样本图像中除眼部以及嘴部以外的其他部分进行低通滤波，得到对应的年轻图像；第四步对衰老样本图像进行矢量化表达，得到纹理矢量Told，对年轻图像进行矢量化表达，得到纹理矢量Tyoung；第五步计算衰老比例图R＝Told/Tyoung；在线阶段合成新图像对应的衰老图像；第一步以平均脸为参考，将人脸图像In重新表达，记为(Sn，Tn)；第二步根据离线阶段第二步得到的Sold，计算衰老变换后的形状矢量Sn′；第三步使用离线阶段第五步得到的R计算衰老变换后的纹理矢量Tn′；第四步根据(Sn′，Tn′)，利用前向Warp技术合成变换后的图像In。
2.根据权利1所述的方法，其特征在于，所述的以平均脸作为人脸图像的参考脸，即对一组样本图像的特征线分布作加权平均得到标准特征线的分布，记做Laverage，根据特定特征线与标准特征线的映射关系，可以对每一幅样本图像完成形状与纹理特征的分解，得到对应的图像表达(Si，Ti)，这组样本的形状和纹理矢量的平均，即平均脸Iaverage的图像表达(Saverage，Taverage)，所有图像都是针对平均脸的标准特征线进行变形，形状矢量描述的是与平均脸特征的相对变化，因此形状矢量的平均值为0，故平均脸的矢量化表达为(0，Taverage)。
3.根据权利1所述的方法，其特征在于，所述的计算衰老变换后的形状矢量Sn′的计算公式为Sn′＝Sn+αSold，其中α＞0。
4.根据权利1所述的方法，其特征在于，所述的使用离线阶段第五步得到的R计算衰老变换后的纹理矢量Tn′的计算公式为Tn′＝Tn·(β(R-1)+1)，其中β＞0。
5.根据权利3或4所述的方法，其特征在于，若将年轻变换和年老变换的参数α和β结合，当参数小于1时完成人脸图像的年轻变化，参数大于1时完成人脸图像的衰老变化，则衰老变换在线处理的第二步中形状矢量的计算公式为Sn′＝Sn+(α-1)Sold，第三步中纹理矢量的计算公式为Tn′＝Tn·((β-1)(R-1)+1)。
全文摘要
本发明公开一种基于平均脸和衰老比例图的人脸图像年龄变换方法。采用稠密特征表达，将人脸图像分解为形状矢量和纹理矢量，借助于人脸漫画合成技术，通过计算特定人脸图像和平均脸之间的差异，进而减少这种差异程度，来完成特定人脸的年轻变换；将人脸图像矢量化建模与人脸图像衰老变换相结合，实现了符合生理特征的人脸图像衰老化模拟。根据衰老引起的人脸形状特征的变化，对人脸图像的特征线进行一定的修改，实现形状的衰老模拟；对于纹理特征的改变，我们采用比例图方式，制作衰老比例图，根据纹理映射，实现人脸图像的纹理特征衰老模拟。该方法充分考虑到人脸年龄变换时形状与纹理的统一变化，合成图像的真实感大大增强。
文档编号G06T3/00GK1870047SQ200610042989
公开日2006年11月29日 申请日期2006年6月15日 优先权日2006年6月15日
发明者游屈波, 刘剑毅, 郑南宁, 刘跃虎, 袁泽剑, 杜少毅 申请人:西安交通大学