一种用于鲁棒人脸识别的数据增强方法与流程

本发明涉及人脸识别技术领域，尤其涉及一种用于鲁棒人脸识别的数据增强方法。

背景技术：

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是图像分析与理解领域中最成功的应用之一，因其在商业、安全、身份认证、法律执行、管理等众多方面的广泛应用，备受使用者与研究者青睐，在众多领域有着广阔的应用前景。其中，大数据的应用，对模型的通用性有着重要的影响。

学术界一直将主要精力集中在识别算法的研究上，相关算法层出不穷。现有的人脸识别算法在理想的实验环境下，已达到相当高的识别率，但在实际客观非受控的条件下识别效果却不尽如人意，尤其是面临着遮挡、噪声、模糊、光照、表情、姿态等多方面的挑战。

遮挡是影响人脸检测、识别的重要因素，它对人脸识别的影响远远超过了光照、表情等的影响，在实际人脸图像处理过程中，墨镜、帽子、围巾等往往会导致脸部，如眼睛、嘴角等部位重要信息的丢失。

噪声可以理解为影响传感器对所接受图像源信息进行理解或分析的各种因素。图像中的噪声就是图像中的杂点或者干扰成分，主要产生于图像的获取和传输过程中。噪声一般是不可预测的随机信号，它只能用概率统计的方法去认识。噪声对图像的输入，采集和处理的各个环节以及输出结果全过程都有影响。因为在实际工程应用中，很难保证采集到的图像清晰可靠，大数据时代，增加噪声，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。

随着智能手机的迅速发展，越来越多的人通过手机拍摄图像与视频，并将其应用于各种场合，例如社交、监控等。由于硬件设备的限制和所处环境的影响，拍摄的图像往往存在模糊不清的现象。对于模糊图像增强有着越来越大的需求。因此，将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。

而针对光照问题，有效克服光照影响是人脸识别不可缺少的环节，也是计算机视觉中的技术难点。由于光照强度变化，人脸上一部分特征可能会更加突出，在数字人脸图像上表现为灰度值较高，而又会有另一部分特征可能会由于光照作用的变化而被弱化，在数字人脸图像上表现为灰度值偏低。所以，由于光照信息的变化，使得可用于有效识别的人脸的关键特征分布于差异较大的灰度空间。尽管人脸的表情、姿态以及拍摄的视角都没有变化，但是由于光照条件的不同，却造成了明暗、高光、阴影效果上的显著差异。

人脸表情作为表达情感的一个方面，在人际交流中起到非常重要的作用，不仅是展示情绪，更是传播情感信息与协调双方关系的重要方式。据心理学家mehrabiadu的研究表明，在人类的日常交流中，通过人脸表情传递的信息高达信息总量的55％，而通过声音、语言传递的信息分别占信息总量的38％和7％。而人脸表情的变化会引起了人脸的非刚性形变，并导致同一个体人脸在识别中增加难度。

人脸姿态的变化同时会使表述更加生动形象，其复杂的结构能提供非常丰富的信息，使得生成多姿态人脸图像在许多人脸处理应用中成为人脸识别、人脸检测、人脸跟踪、人脸表情分析等领域的一个关键环节和重要研究内容之一。姿态变化给人脸图像带来的变化往往比不同人的人脸图像之间的差异更大，这是当前人脸识别技术面临的主要挑战，所以姿态问题也是人脸识别的一个瓶颈问题。

因此，针对以上问题，我们提出了一种用于鲁棒人脸识别的数据增强方法，来改进现有方法的不足。

技术实现要素：

为解决上述问题本发明提出了一种用于鲁棒人脸识别的数据增强方法，在实际人脸识别系统中可以克服遮挡、噪声、模糊、光照、表情、姿态等因素影响，能够解决在实际人脸识别系统中训练数据不足的问题，提升模型的泛化能力。

本发明的技术方案如下：一种用于鲁棒人脸识别的数据增强方法，其中，包括一种脸部遮挡处理方法，如果输入的人脸图像是无遮挡的情况，则遮挡掩膜选用所有无遮挡样本形成的标准，如果人脸图像对应某一类遮挡，则选用相应的遮挡掩膜进行重建。

常用的脸部遮挡处理方法有基于统计分析的方法、基于红外图像的遮挡区域检测方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自动多值掩膜主成分分析人脸重建模型等。可以选择其中之一来进行脸部遮挡处理。

本发明以一种自动多值掩膜主成分分析人脸重建模型，来进行脸部遮挡处理。该模型包括3个关键步骤：自动确定人脸遮挡类型、寻找遮挡掩模、确定重建系数。首先，判断遮挡区域、确定遮挡类型；然后，找到不同遮挡类型的遮挡掩模；最后，确定重建合成系数，从而实现遮挡区域的自动重建。从而恢复人脸图像，达到减弱遮挡对人脸识别影响的目的。

一种用于鲁棒人脸识别的数据增强方法，其中，还包括人为添加噪声，进行噪声增强处理。图像信号在产生、传输过程中都可能会受到噪声的污染，一般数字图像系统中的常见噪声主要有：高斯噪声(主要由阻性元器件内部产生)、椒盐噪声(主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声)等。大数据时代，加上噪声的图像，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。有些机器学习算法对没有噪声的图像识别的效果很好，但噪声较多的情况效果就很不理想了，因为在实际工程应用中，很难保证采集到的图像清晰可靠。

图像增强是一种基本的图像底层处理的手段，它的目的在于改善原始图像的视觉效果。传统的图像增强方法，技术上可以分成两大类：频域法和空域法。前者立足于修改图像的傅立叶变换，后者基于灰度级映射变换，直接处理图像中的象素，其变换型取决于增强准则的选择。这些传统的图像增强技术大都没有考虑图像的模糊性，而只简单地对整个图像改变对比度或抑制噪声，往往在抑制噪声的同时也削弱了图像的细节部分。因此，本专利将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。

模糊特征平面：按照模糊子集理论的概念，一幅m×n维的具有l个灰度等级的图像x，可以作为一个模糊点阵看待，记为

或

式(2)中表示图像中第(i，j)个点像素具有某种特征的程度为μij(0≤μij≤1)，称μij为模糊特征。若以像素的相对灰度级作为感兴趣的模糊特征，这时μij表示像素(x，y)的灰阶xij关于某个特定灰度等级的隶属度，通常这个特定的灰度等级为图像的最大灰度等级xmax。由μij的全体组成的平面{μij}，i＝1，2，...，m；j＝1，2，...，n，称为模糊特征平面。

本发明专利中以pal方法为实施例进行说明，首先利用变换函数(即隶属度函数)提取图像的模糊特征，所用的隶属度函数如式(3)所示。

式(3)中fe和fd分别为大于零的指数模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成图像的模糊特征平面{μij}，称μ＝0.5对应的灰度等级为渡越点。通过对隶属度函数μij进行变换，并以渡越点为界增大或减小μij的值从而得到一个由全体μij，组成的新模糊特征平面{μij′}，其中

μij′＝t^(r)(μij)＝t(t^(r-1)(μij))，r＝1，2，3，...(4)

而t^(r)是函数t的r次迭代运算，其中变换t取为某种s型函数，如式(5)

式(5)中uc为阈值，可以取0.5(也可自定义)，其作用是增大那些大于0.5的而减小那些小于0.5的，以达到增强对比度的目的。对新的模糊特征平面{μij′}进行式(6)所示的逆变换，

式(6)中g^-1表示g的逆变换，这样就可以得到模糊增强后的图像的灰度值。

在人脸识别中，光照强度的改变会对人脸识别产生较大影响，由光照强度变化所导致的暗光和高光或者是光照角度变化所生成的不同程度的明暗区或者阴影都会降低算法的识别率。有效克服光照影响是图像处理中不可缺少的环节。

为了弱化光照影响，提高彩色图像质量，本专利应用hsv变换和同态滤波的光照补偿方法。首先将图像从rgb色彩空间变换至hsv色彩空间，然后将高斯高通滤波传递函数引入同态滤波中，设计出一种新的动态高斯同态滤波器，在频域内对图像亮度分量进行增强，并保持色调和饱和度不变，在增强图像细节的同时，削减图像低频分量，弥补因光照不足引起的图像质量下降，实现对彩色图像的光照补偿。

本发明专利中，我们使用一种鲁棒性强的几何特征，命名为几何弯曲特征，它是从人脸关键点的弯曲变换导出的。人脸表情是由脸部肌肉运动引起的。这些运动导致人脸关键点位置的移动。我们假设每个人脸图像由许多子区域组成。这些子区域可以由位于人脸关键点的三角形顶点组成。人脸关键点位置的移动引起三角形的变形。我们利用变形来表示人脸表情的变化。

人脸表情可以被看作是包括静止，峰值和偏移的动态过程。我们考虑相应的人脸关键点在开始(中性面部)和峰值(表情脸)之间的位移。给定一组人脸关键点s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i个人脸关键点的坐标。这些人脸关键点构成人脸的网格，如图4所示。

我们可以看到，脸上有许多小三角形，每个三角形由三个关键点决定。当中性脸变换为表情脸时，面部肌肉运动引起三角形的变形。我们认为位于中性脸的δabc中的像素(x，y)对应于表情脸的δa′b′c′中的像素(u，v)，如图5所示。像素(x，y)可以用三个顶点的线性组合表示。

系数λ1，λ2可以由以下公式得到

表情脸中δabc的点(u，v)可以用三个顶点和λ1，λ2来定义。

中性脸中δabc中的像素点(x，y)转换到表情脸中δa′b′c′中的像素(u，v)

合并(8)、(9）、(10)式子可以重新写为：

中性脸和表情脸之间的每对三角形可以定义唯一变换，并且每个仿射变换由6个参数a1，a2，...，a6确定。我们计算每个扭曲变换的6个参数，并将所有参数连接成一个长的全局特征向量，用于表征人脸表情变化变化。从而达到由一张人脸表情得到多张人脸表情的目的。

由以上得到的人脸图像，下一步进行人脸姿态图像获取。姿态获取较常用的方法有基于模型的方法、基于训练的方法、基于特征三角形的方法。本发明专利选用基于特征三角形的人脸姿态图像获取方法作为实施例进行说明。

基于人脸平面的对称性，利用人脸图像中三个特征点估计人脸姿态。

特征点位置的选择

从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。

基于投影知识的姿态分析

(1)人脸特征三角形的确立

把人脸近似地看作是对称的，定义二维坐标(oxy)的坐标原点位于正脸时左右眼(a和b)连线的中点o。人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，如图1所示的三角形，称这个为特征三角形。图6中点a到b为两只眼睛之

间的连线l，鼻尖到l的垂线为h，垂足为e。

(2)转角的确立

有转角时两眼长度为albl，即侧面人脸两眼长度ab在二维坐标xy面的投影，(关系：正脸人脸两眼距离ab在转角面的投影为albl)，构造直角三角形abb1，ab与a1b1构成的角就是侧脸和正脸之间的夹角，也就是人脸在平行于成像平面的转角。如图7所示。

(3)仰(俯)角的确立

有仰(俯)角时鼻尖到两眼连线的距离为c1e1，即仰地(俯)面人脸鼻尖到两眼连线的距离长度ce在二维坐标xy面的投影，(关系：正面人脸鼻尖到两眼连线的距离长度ce在仰(俯)角面的投影为c1e1)，构造直角三角形cc1e，ce与c1e1构成的角就是仰(俯)脸和正脸之间的夹角，也就是人脸在垂直于成像平面的仰(俯)角。如图8所示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的结构示意图。

图2为本发明实施例提供的hsv彩色空间模型。

图3为本发明实施例提供的pal提出的模糊增强的模型。

图4为本发明实施例提供的人脸关键点描述人脸形状示意图。

图5为本发明实施例提供的中性脸中δabc中的像素点(x，y)转换到表情脸中δa′b′c′中的像素(u，v)。

图6为本发明实施例提供的利用两眼球中点和鼻尖得到特征三角形

图7为本发明实施例提供的确定转角∠bab1

图8为本发明实施例提供的确定仰(俯)角∠cec1

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种用于鲁棒人脸识别的数据增强方法，其中，包括一种脸部遮挡处理方法，如果输入的人脸图像是无遮挡的情况，则遮挡掩膜选用所有无遮挡样本形成的标准，如果人脸图像对应某一类遮挡，则选用相应的遮挡掩膜进行重建。

常用的脸部遮挡处理方法有基于统计分析的方法、基于红外图像的遮挡区域检测方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自动多值掩膜主成分分析人脸重建模型等。可以选择其中之一来进行脸部遮挡处理。

本发明以一种自动多值掩膜主成分分析人脸重建模型，来进行脸部遮挡处理。该模型包括3个关键步骤：自动确定人脸遮挡类型、寻找遮挡掩模、确定重建系数。首先，判断遮挡区域、确定遮挡类型；然后，寻找不同遮挡类型的遮挡掩模；最后，确定重建合成系数，从而实现遮挡区域的自动重建。从而恢复人脸图像，达到减弱遮挡对人脸识别影响的目的。

遮挡类型判断：

遮挡区域的精确判断是确定脸部什么特征被遮挡了(眼睛、嘴巴、鼻子、下巴等)。用无遮挡样本与待测人脸的特征脸之差来判断是否有遮挡，遮挡区域在哪里。pca变换用式(1)表示：

式中，x是包括n个像素的待测图像，e是近似误差，m是平均人脸图像，yi是对应第i个特征脸的权重，vⁱ(i＝1，2，3，...，n)是第i个特征脸。

式中，x⁰是待测图像的原始数据，x′是新的重建人脸，x¹第一次融合后的人脸图像，w对于遮挡部分与非遮挡部分分别取0和1，表明遮挡区域使用新的重建图像部分，非遮挡部分使用原始输入图像，通过上面的公式迭代计算直到系数y小于阈值为止。下面是遮挡部分的检测：

|e|＝|x^(k+1)′-x^k|(3)

式中，|e|值较大时认为是遮挡区域，|e|值较小时则认为是非遮挡区域。

最优遮挡人脸合成系数：

给定样本集{x1，x2，...，xn}，其中n为样本总数，样本xi在n维空间中取值，最优人脸合成系数yi在m维空间取值，且m＜n。

式中，xi′是合成后的样本，xij是原始样本xi与第j个人脸基图像对应的最优合乘系数，i＝1，...，n，j＝1，...，m。定义第q个特征的原始图像与合成图像之间的残差脸为：

δq＝xiq-xiq′，q＝1，...，n(5)

根据charbonnier等人给出的约束条件：

式中，b是外部干扰面，δ是最优人脸遮挡掩膜，β(·)是bq的函数，对人脸来说，bq值趋向1，对遮挡物来说，bq值趋向0，显然，bq仅仅是最优人脸遮挡掩膜的σq反映，即σq才是真正的人脸遮挡区域的掩膜，最优合成系数问题就是合成系数y和变量b的多目标优化问题。

最优人脸遮挡合成系数的求解：

为了使上述目标优化问题能够收敛，并减少迭代次数和运算量，使用标准二次型函数和3种半二次型函数通过4次迭代进行求解。

其中，第一个函数是一个凸函数，它的导数是单调函数；第二个函数是非凸函数，它的导数是弱震荡的；第三个函数是非凸的。第一个函数可以保证唯一解，而第三个函数的强振荡导数可以有效地抑制外部干扰的影响，使用第二个函数的弱振荡导数来保证优化问题的最终收敛。最优合成系数的初始值选用pca空间的最小均方误差意义下求得的重建系数，迭代更新重建系数，求得最优合成系数y。

多值变化掩模的生成：

首先定义人脸遮挡的类型，如墨镜遮挡、围巾遮挡、网状遮挡等。使用各种遮挡人脸图像，选用m估计器(m-estimator)对遮挡掩模进行估计，为不同像素点估计符合自身特性的幅度参数，其目标函数满足：

式中，ρ是在零值处有且只有一个最小值的对称正定目标函数，ψ为影响函数，w为权函数。目标函数ρ选择不同，其影响函数和权函数也不相同。由m估计器估计的遮挡掩模σq满足如下公式：为奇数

式中，avg表示n个样本的均值，是遮挡样本，gp为常数，θ(g)是辅助中心估计，ε为一个平滑函数。

m估计中，β、ε不同可以确定不同的遮挡掩膜。在实际处理时，首先确定遮挡区域，即遮挡类型，就能确定遮挡掩膜。通过多次试验获得墨镜和围巾遮挡情况下的参数值：β取值为a，ε取值为b，获得了墨镜遮挡的人脸掩膜；β取值为c，ε取值为d获得了围巾遮挡的人脸掩膜。

重建无遮挡人脸：

给定待处理的遮挡人脸，确定遮挡类型后，重建无遮挡人脸的公式为：

如果系统给出的人脸是无遮挡的情况，则遮挡掩模选用所有无遮挡样本形成的标准，如果人脸对应某一类遮挡，则选用相应的遮挡掩模进行重建。

对于以上完成人脸遮挡区域恢复后的人脸图像进行加噪处理。图像信号在产生、传输过程中都可能会受到噪声的污染，一般数字图像系统中的常见噪声主要有：高斯噪声(主要由阻性元器件内部产生)、椒盐噪声(主要是图像切割引起的黑图像上的白点噪声或光电转换过程中产生的泊松噪声)等。大数据时代，加上噪声的图像，可以避免过拟合训练数据，同时，给图像加上噪声，以方便后期对算法效果进行验证。有些机器学习算法对没有噪声的图像识别的效果很好，但噪声较多的情况效果就很不理想了，因为在实际工程应用中，很难保证采集到的图像清晰可靠。因此，本发明实施例中，我们对人脸图像增加高斯噪声、椒盐噪声。

图像增强是一种基本的图像底层处理的手段，它的目的在于改善原始图像的视觉效果。传统的图像增强方法，技术上可以分成两大类：频域法和空域法。前者立足于修改图像的傅立叶变换，后者基于灰度级映射变换，直接处理图像中的象素，其变换型取决于增强准则的选择。这些传统的图像增强技术大都没有考虑图像的模糊性，而只简单地对整个图像改变对比度或抑制噪声，往往在抑制噪声的同时也削弱了图像的细节部分。因此，本专利将基于模糊集的图像增强方法应用到图像处理中，以克服传统图像增强方法的不足。

模糊特征平面：按照模糊子集理论的概念，一幅m×n维的具有l个灰度等级的图像x，可以作为一个模糊点阵看待，记为

或

式(14)中表示图像中第(i，j)个点像素具有某种特征的程度为μij(0≤μij≤1)，称μij为模糊特征。

若以像素的相对灰度级作为感兴趣的模糊特征，这时μij表示像素(x，y)的灰阶xij关于某个特定灰度等级的隶属度，通常这个特定的灰度等级为图像的最大灰度等级xmax。由μij的全体组成的平面{μij}，i＝1，2，...，m；j＝1，2，...，n，称为模糊特征平面。

本专利以pal方法为实施例进行说明，首先利用变换函数(即隶属度函数)提取图像的模糊特征，所用的隶属度函数如式(15)所示。

式(15)中fe和fd分别为大于零的指数模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成图像的模糊特征平面{μij}，称μ＝0.5对应的灰度等级为渡越点。通过对隶属度函数μij进行变换，并以渡越点为界增大或减小μij的值从而得到一个由全体μij′组成的新模糊特征平面{μij′}，其中

μij′＝t^(r)(μij)＝t(t^(r-1)(μij))，r＝1，2，3，...(16)

而t^(r)是函数t的r次迭代运算，其中变换t取为某种s型函数，如式(17)

式(17)中uc为阈值，可以取0.5(也可自定义)，其作用是增大那些大于0.5的而减小那些小于0.5的，以达到增强对比度的目的。对新的模糊特征平面{μij′}进行式(18)所示的逆变换，

式(18)中g^-1表示g的逆变换，这样就可以得到模糊增强后的图像的灰度值。

在人脸识别中，光照强度的改变会对人脸识别产生较大影响，由光照强度变化所导致的暗光和高光或者是光照角度变化所生成的不同程度的明暗区或者阴影都会降低算法的识别率。有效克服光照影响是图像处理中不可缺少的环节。

为了弱化光照影响，提高彩色图像质量，本专利应用hsv变换和同态滤波的光照补偿方法。首先将图像从rgb色彩空间变换至hsv色彩空间，然后将高斯高通滤波传递函数引入同态滤波中，设计出一种新的动态高斯同态滤波器，在频域内对图像亮度分量进行增强，并保持色调和饱和度不变，在增强图像细节的同时，削减图像低频分量，弥补因光照不足引起的图像质量下降，实现对彩色图像的光照补偿。

hsv色彩空间由h、s、v三个分量组成，h、s分别代表色调和饱和度，v代表亮度。该空间模型为一个倒圆锥体，如图1所示。

圆锤的顶面对应于v＝1，代表的颜色最亮，锥角处v＝0，代表的颜色最暗；色调h由围绕v轴逆时针旋转的角度表示，其中红色对应于0°角，黄色对应于60°角，绿色对应于120°角，深蓝色对应于180°角，蓝色对应于240°角；饱和度s由轴心向椎体圆周过渡，表示饱和度由低到高。

色彩空间能够更加完善地去处理人眼所不能察觉的信息，与人的感知更加接近。图像彩色信息主要体现在色调和饱和度上，亮度的改变对彩色信息影响较少，便于对各分量分别处理。在光照补偿过程中，把rgb图像转换到hsv空间，对其中的亮度分量进行增强处理，同时保持色调和饱和度不变，最后将生成的亮度分量与色调、饱和度分量进行逆变换产生新图像。由rgb空间到hsv空间的变换表达式如下：

v＝max(r，g，b)(21)

式中：r、g、b分别是归一化的rgb空间的值。h分量取值范围为[0，360)，s、v分量取值范围分别为(0，1]和[0，1]。设i＝h/60，f＝h/60，其中i为被60整除的除数，f为被60整除的余数。设p＝v(1-s)，q＝v(1-sf)，t＝v[1-s(1-f)]，从hsv空间到rgb空间的变换表达式如下：

图像f(x，y)可以用其入射分量i(x，y)与反射分量r(x，y)的乘积来表示，即：

f(x，y)＝i(x，y)×r(x，y)(23)

式中：r(x，y)的性质取决于成像物体的表面特性。

光照条件体现在入射分量i(x，y)中，属于变化缓慢的低频成分；而图像的细节等特性主要反映在图像的反射分量r(x，y)中，属于高频成分。处理照明不足或不均匀的彩色图像，就是要尽量削减图像的低频分量，同时放大图像的高频分量。

由于函数乘积的fourier变换是不可分的，故不能直接对i(x，y)和r(x，y)分别进行操作，对式(24)取对数：

lnf(x，y)＝lni(x，y)+lnr(x，y)(24)

再对上式进行快速fourier变换，得到频域表达式：

f(u，v)＝i(x，y)+r(x，y)(25)

同态滤波能够压缩低频成分并增加高频成分，可以减少光照变化并锐化图像边缘或细节。用同态滤波函数h(u，v)来处理式(25)中的f(u，v)，将照射分量和反射分量分开，得：

h(u，v)f(u，v)＝h(u，v)i(x，y)+h(u，v)r(x，y)(26)

滤波处理后，再通过快速fourier逆变换，使式(26)返回空间域：

hf(u，v)＝hi(x，y)+hr(x，y)(27)

对式(27)两边取指数，得到滤波后的图像：

采用高通滤波器衰减或抑制低频分量，能够使高频分量畅通并能对图像进行锐化处理。传统的n阶高斯高通滤波传递函数为：

式中：d0表示截止频率，可以根据需要选取。

图像经高通滤波处理后丢失了许多低频信息，平滑区基本消失。为此需要采用高频加强滤波来弥补，即在滤波传递函数中添加一个0、1之间的常数。

同态滤波的关键之处在于用同态滤波器对图像进行处理，而能否达到理想的滤波效果则取决于同态滤波传递函数h(u，v)的选择。

同态滤波函数用h(u，v)表示，rh代表高频增益，rl代表低频增益；d(u，v)表示点(u，v)到滤波中心(u0，v0)的距离：、

同态滤波传递函数的波形与高斯高通滤波器十分相似。依据同态滤波传递函数的特点，将高斯高通滤波器的表达式进行改进，设计出一种新的动态高斯同态滤波传递函数：

式中：m、n为动态算子；当rh＞1，0＜rl＜1时，图像的低频分量减小，高频分量增强，使得动态范围压缩和对比度增强；常数c用来控制滤波器函数斜面的锐化。大小为m×n的图像fourier变换后中心在(m/2，n/2)处，因此式(33)中u0、v0分别取(m/2，n/2)，即

d0与入射分量和反射分量有关，传统同态滤波方法只能通过大量实践选择，效果欠佳。通过对d(u，v)进行中值运算的方式，在频域内快速确定d0的取值。

本发明专利中，我们使用一种鲁棒性强的几何特征，命名为几何弯曲特征，它是从人脸关键点的弯曲变换导出的。人脸表情是由脸部肌肉运动引起的。这些运动导致人脸关键点位置的移动。我们假设每个人脸图像由许多子区域组成。这些子区域可以由位于人脸关键点的三角形顶点组成。人脸关键点位置的移动引起三角形的变形。我们利用变形来表示人脸表情的变化。

人脸表情可以被看作是包括静止，峰值和偏移的动态过程。我们考虑相应的人脸关键点在开始(中性面部)和峰值(表情脸)之间的位移。给定一组人脸关键点s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i个人脸关键点的坐标。这些人脸关键点构成人脸的网格，如图4所示。

我们可以看到，脸上有许多小三角形，每个三角形由三个关键点决定。当中性脸变换为表情脸时，面部肌肉运动引起三角形的变形。我们认为位于中性脸的δabc中的像素(x，y)对应于表情脸的δa′b′c′中的像素(u，v)，如图6所示。像素(x，y)可以用三个顶点的线性组合表示。

系数λ1，λ2可以由以下公式得到

表情脸中δabc的点(u，v)可以用三个顶点和λ1，λ2来定义。中性脸中δabc中的像素点(x，y)转换到表情脸中δa′b′c′中的像素(u，v)

合并(37)、(38)、(39)式子可以重新写为：

中性脸和表情脸之间的每对三角形可以定义唯一变换，并且每个仿射变换由6个参数a1，a2，...，a6确定。我们计算每个扭曲变换的6个参数，并将所有参数连接成一个长的全局特征向量，用于表征人脸表情变化变化。从而达到由一张人脸表情得到多张人脸表情的目的。

由以上得到的人脸图像，下一步进行人脸姿态图像获取。姿态获取较常用的方法有基于模型的方法、基于训练的方法、基于特征三角形的方法。本发明专利选用基于特征三角形的人脸姿态图像获取方法作为实施例进行说明。

基于人脸平面的对称性，利用人脸图像中三个特征点估计人脸姿态。

特征点位置的选择

从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。

基于投影知识的姿态分析

(1)人脸特征三角形的确立

把人脸近似地看作是对称的，定义二维坐标(oxy)的坐标原点位于正脸时左右眼(a和b)连线的中点o。

人手选取两眼球中心和鼻尖这三个特征点，连接这三个特征点可以得到一个等腰三角形，如图1所示的三角形，称这个为特征三角形。图6中点a到b为两只眼睛之间的连线l，鼻尖到l的垂线为h，垂足为e。

(2)转角的确立

有转角时两眼长度为albl，即侧面人脸两眼长度ab在二维坐标xy面的投影，(关系：正脸人脸两眼距离ab在转角面的投影为albl)，构造直角三角形abb1，ab与a1b1构成的角就是侧脸和正脸之间的夹角，也就是人脸在平行于成像平面的转角。如图7所示。

(4)仰(俯)角的确立

有仰(俯)角时鼻尖到两眼连线的距离为c1e1，即仰地(俯)面人脸鼻尖到两眼连线的距离长度ce在二维坐标xy面的投影，(关系：正面人脸鼻尖到两眼连线的距离长度ce在仰(俯)角面的投影为c1e1)，构造直角三角形cc1e，ce与c1e1构成的角就是仰(俯)脸和正脸之间的夹角，也就是人脸在垂直于成像平面的仰(俯)角。如图8所示。

针对同一人脸的各特征点比例不变原理，对于不同焦距的人脸姿态的确定需要作等比例变换。

记录正脸状态时，特征三角形边l(两外眼角距离)和边h(鼻尖到两外眼角连线的距离)的比例。每一张待生成姿态变化人脸图像中会得到一个特征三角形和对应的边l1和边h1。通过把每一张待生成姿态人脸图像中的特征三角形的边l1和边h1比例和正脸的两边比例比较，来获得不同姿态的人脸图像。人脸绕y轴转动，则通过调整参数，使l1∶h1小于1∶h；头部绕x轴转动，则通过调整参数，使l1∶h1大于1∶h。h1是h在xy平面上的投影，根据h和h1计算旋转角度；通过以上计算得到人脸在空间运动生成不同姿态的人脸图像。