专利名称：一种人脸图像光照预处理方法
技术领域：
本发明涉及图像处理、计算机视觉和模式识别技术领域，具体地说，本发明涉及一
种人脸图像光照预处理方法。
背景技术：
人脸识别技术是一种利用计算机通过人脸图像进行身份确认或者身份识别的生 物特征识别技术。它具有可进行非接触式图像采集，可隐蔽操作，图像采集设备成本低以及 交互性强等一系列独特优势，具有良好的应用前景。然而，复杂多变的光照条件会对人脸识 别的性能构成严重影响，这主要是因为在图像成像过程中会产生侧光、阴影、过曝光以及欠 曝光等多种不利因素。为了降低复杂的光照变化对人脸识别产生的不利影响，实现对光照 变化鲁棒的人脸识别，研究者们提出了以光照归一化、对光照变化鲁棒的特征提取和对光 照变化建模等为目标的解决方案。在这些解决方案中，有很多方案是基于图像处理技术实 现的，基于图像处理技术实现的方案，具有简洁、高效的特点，并且独立于后续的人脸识别 算法而预先进行，因此被称为光照预处理方法。在对人脸图像进行识别之前，首先利用图像 处理技术对所有的人脸图像进行预处理以消除人脸图像中复杂多样的光照变化，然后再利 用某种识别算法对预处理后的人脸图像进行识别时，就能获得更高、更稳定的识别性能。
目前，光照预处理方法主要基于人脸图像中人脸内在特征的估计或者光照因素 的估计而进行，或者说，通过人脸图像分解技术，将输入的人脸图像分解为与人脸内在特 征相对应的小尺度分量和与光照因素相对应的大尺度分量两部分。现有的人脸图像分解 技术包括基于离散傅里叶变换的方法、基于离散余弦变换的方法(可参考W. Chen， et al. ，"IlluminationCompensation and Normalization for Robust Face Recognition Using DiscreteCosine Transform in Logarithm Domain, ，， TSMCB， 2006.)、基于高通滤波 器的方法、基于低通滤波器的方法以及基于带通滤波器的方法(可参考R. Gonzalez and R. Woods, Digital Image Processing. NJ， USA :Prentice Hall，1992， pp. 91-94.)等。另 外，美国的L. Rudin等人在1992年提出基于以L2范数作为保真度度量的全变差模型(Total Variation-L2，简称TV-L2或者R0F)进行图像去噪。而在2004年，美国学者T. Chan等人 尝试用L1范数代替L2范数作为ROF模型中的保真度度量，并研究了改造后模型(Total Variation-L1，简称TV-L1)的特性，最终发现TV-L1模型可以应用于图像的尺度分解和基于 数据驱动的参数选择。进一步地，美国的T. Chen等人考虑到TV-l^模型的图像分解特性，将 TV-1^模型引入到计算机视觉领域并用于人脸图像的光照预处理(可参考T. Chen，et al.， "Total Variation Models for Variable LightingFace Recognition, ，，TPAMI，2006)。在 这种光照预处理方法中，首先通过对数变换(Logarithmic Transformation,简称LOG)，将 人脸图像I转换到对数域，得到图像f，然后利用TV-L1模型将对数域中的人脸图像f分解 为与光照因素相对应的大尺度分量u和与人脸内在特征的相对应的小尺度分量v两部分， 上述模型即对数域全变差模型(Logarithmic Total Variation,简称LTV模型)。对于人脸 图像，首先通过LTV模型进行预处理，然后利用人脸识别算法对其中的小尺度分量v进行识别即可得到对光照变化较为鲁棒的人脸识别结果。然而，上述人脸图像预处理方案仍然存 在一些缺陷。比如在大规模样本集和非可控光照条件下，不同人脸图像中的眼睛，鼻子，嘴 巴和轮廓等特征并不完全分布于相对一致的小尺度范围内，即不足以被单个小尺度分量V 所包含；同样，错综复杂的光照因素也不完全分布于相对一致的大尺度范围内，但对数域全 变差模型只利用一个截断尺度参数将一幅图像f分解为u和v两部分，因此，对数域全变差 模型在大规模样本集和非可控光照条件下进行光照预处理时，其最终的光照预处理结果v 往往会丢失一些对人脸识别有用的人脸内在特征从而无法保证光照预处理结果的稳定性， 从而导致最终的人脸识别算法的性能不稳定。可见，T. Chen等人提出的预处理方法不足以 处理不同人脸的特征差异和复杂的光照变化，这在很大程度上影响了对数域全变差模型在 对大规模样本集、非可控光照条件下采集的人脸数据库上进行光照预处理的有效性。
发明内容
本发明的目的是提供一种适于处理不同人脸的特征差异和复杂的光照变化的光 照预处理方法。 为实现上述发明目的，本发明提供了一种人脸图像光照预处理方法，包括下列步 骤 1)在m个不同的截断尺度下，将人脸图像分别分解为与光照因素相对应的大尺度 分量u和与人脸内在特征相对应的小尺度分量v，从而得到所述人脸图像的m个小尺度分 量；m是至少为2的整数； 2)计算相邻截断尺度下的小尺度分量之差得到所述人脸图像的m-l个尺度邻域 3)通过对最小的小尺度分量以及m-l个尺度邻域分量进行加权求和，得到所述人 脸图像的光照预处理图像。 其中，所述步骤1)中，利用对数域全变差模型对所述人脸图像进行分解，得到所 述m个小尺度分量。 其中，所述步骤3)还包括对所述最小的小尺度分量以及较小的尺度邻域分量设 定较大的权重，而对较大的尺度邻域分量设定较小的权重。 其中，所述步骤3)还包括通过基于训练集的学习得到所述最小的小尺度分量以 及m-l个尺度邻域分量的权重。 其中，所述步骤3)还包括基于在训练集上各个尺度邻域分量的判别力确定所述 权重；基于在训练集上对各个尺度邻域分量进行特征选择的顺序确定所述权重；或者基于 在测试集上各个尺度邻域分量的判别熵确定所述权重。
与现有技术相比，本发明具有下列技术效果 本发明能够更加精确地捕捉和保留各种光照条件下的不同人的人脸图像的人脸 内在特征，进而有效地增强人脸识别对光照变化的鲁棒性。
以下，结合附图来详细说明本发明的实施例，其中 图1是基于本发明一个实施例的人脸图像识别的流程示意4
图2是本发明一个实施例基于尺度加权对数域全变差模型的光照预处理方法流 程示意图。
具体实施例方式
本发明提供了一种人脸图像光照预处理方法，它是人脸图像识别的一个预处理步 骤，图1示出了基于本发明一个实施例的人脸图像识别的流程示意图。 人脸图像光照预处理技术涉及的理论基础包括反射_光照模型 (reflectance-illumination model)。基于该模型， 一幅人脸图像I的成像过程可以表示 为人脸的反射属性(人脸内在特征)R和光照L的乘积
I = RL (1) —般来说，光照预处理就是要从人脸图像中提取出其中的反射属性(人脸内在特 征)R，这样就可以在消除光照L对人脸图像识别性能的影响。 根据本发明的一个实施例，采用了对数域全变差模型对人脸图像进行多尺度分
解。首先，由于公式(1)中所示的是乘性模型，因此需要换将人脸图像的成像过程由乘性模
型转换为加性模型(这一步骤一般采用对数运算实现)，以使其与对数域全变差模型匹配，
变换后的加性模型如下 logl = logR+logL (2) 为了方便后续的描述，将公式(2)重新表示为 f = u+v (3) 其中，f = logl，为对数域中的人脸图像，u二 logL，为对数域中光照因素(大尺度
分量)，v = logR为对数域中的人脸内在特征(小尺度分量)。 基于上述理论基础，下面结合附图2详细描述该实施例的各个步骤。 步骤1 :输入人脸图像。 步骤2 :利用对数域全变差模型对人脸图像进行多尺度分解，得到多个大尺度分 量和小尺度分量的组合。 基于公式(3)中的人脸成像模型在对数域中的表示，根据对数域全变差模型，通 过求解公式(4)中的最小化问题，计算出大尺度分量U:m = argmin j]Vtil +义l1/ — 1^ (4) —旦得到大尺度分量u的估计，根据公式(3)，即可得出小尺度分量v = f-u。 其中参数A可以控制将图像f分解为大尺度分量u和小尺度分量v时的截断尺度 (可参考T. Chen， et al.，"Total Variation Models for Variable LightingFace Recognition, "TPAMI， 2006)。如图2所示，在本实施例中，采用了 m个不同的参数A (在 优选实施例中，可设定m二 13，13个A分别为A工=1.2， A2 = 1. 1，， A13 = 0)。基于 这m个不同的参数A ，利用对数域全变差模型对所输入人脸图像进行分解，得到小尺度分 量Vi，i二l，2，…，m。当模型参数满足、> A2>，，> Am，根据对数域全变差模型 的性质，则小尺度分量满足v, c v2 c,…,c vm 。其中，v, c v,w是表示Vi+1中包含了 Vi中的所
有人脸内在特征，并且、+1中还包含了比Vi中的所有人脸内在特征尺度更大的其它人脸内 在特征(这里1 = 1，2，…，m-l)。人脸内在特征既包括眼睛、鼻子、嘴巴等人脸器官，也包
括人脸轮廓特征。对于同一个器官，在不同尺度下也会反映出不同的人脸内在特征，比如在图2中，^中嘴巴所在区域表现为一条弧线，这就是一个较小尺度的人脸内在特征，而vm中
的嘴巴所在区域则能够表现出嘴唇的轮廓，这是一个较大尺度的人脸内在特征。并且，Vm在 包含较大尺度的人脸内在特征的同时，也必然包含了 Vl中所包含的较小尺度的人脸内在特 征。需要注意的是，以上对人脸内在特征及其对应尺度的描述仅是示例性质，并非穷举。 步骤3 :求出尺度邻域分量。 相邻的两个小尺度分量(即对应于人脸内在特征的分量v)之差可以定义为尺度 邻域分量，而最小的小尺度分量Vl可以看成该小尺度分量与0分量之间的尺度邻域分量， 因此，可定义尺度邻域分量为Si， i = 1，2，…，m:
fvi z. = 1 (5) —般地，每个尺度邻域分量内都含有一个或多个人脸内在特征。比如在一个截断 尺度下，小尺度分量含有人脸内在特征A、 B、 C，而在与之相邻的较大的截断尺度下，小尺度 分量只含有人脸内在特征A、 B， 二个小尺度分量相减即可较为准确的得到人脸内在特征C。 因此，计算出所有尺度邻域分量后，即可较为准确的得到人脸识别所需的各个人脸内在特 征。 步骤4 :通过对所有尺度邻域分量的加权求和，得到最终的基于尺度加权对数域 全变差模型的光照预处理结果。光照预处理结果I'计算公式如下
_附/' = ZaA (6) 本实施例中采用了固定权重策略，考虑到，对人脸识别有用的人脸内在特征多数 分布于较小的尺度邻域分量中，少数分布于较大的尺度邻域分量中，因此，对于较小的尺度 邻域分量采用较大的权重，而对于较大的尺度邻域分量采用较小的杈重，这样有利于提高 识别的准确率。在一个优选实施例中，杈重Qi可按公式(7)计算
=丄(附_/ + 1),/",2,…,m (7)
! 似V " ,…
其中，^=1>。此时公式(6)中的光照预处理结果可以表示为
,'=1
附 !■=1
=^r(ms1+(m_l)s2+... + sm)
j(A+h+A) +…+ (W…+ "0) (8)
=i(Vl+V2+.'. + Vffl)
步骤5:输出人脸图像光照预处理结果I'。
光照预处理结果I'可以与多种常用的识别算法匹配，包括基于相关性或欧<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula>
<formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>
式距离或马氏距离等各种距离的最近邻分类方法(可参考R.Duda， et al.模式分类， 第二版，机械工业出版社，2003， pp. 146-150.) 、 Eigenfaces方法(可参考M. Turk and A. Pentland， "EigenEaces for Recognition, ，， JCN， 1991. ) 、 Fisherfaces方法(可参考 P. Belhumeur，et al. ，"Eigenfaces vs. Fisherfaces-Recognition Using Class Specific Linear Projection, " TPAMI， 1997.)等。 根据上述实施例，对YaleB+Extended YaleB和CAS-PEAL lighting人脸数据库进 行光照预处理，然后采用基于相关性的最近邻分类方法作为识别算法在经过光照预处理之 后的人脸数据库上进行人脸识别的实验。本实施例的光照预处理方法分别取得了 86.80% 和14. 40%的识别率，远远高于在同等的测试条件下，单一尺度的对数域全变差模型在这两 个数据库上所取得的识别率48. 76%和5. 13%。 另外，研究发现，上述实施例中，即使不对原图像做对数变换而直接对原图像进行 分解，或者用其它变换来近似对数的变换，比如指数变化等，然后进行图像分解，也可以得 到不错的图像分解效果。 还需指出的是，虽然上述实施例采用的图像分解算法是基于对数域全变差模型的 算法，但本领域技术人员也可以根据本发明的构思，采用基于离散傅里叶变换、离散余弦变 换、高通滤波器、低通滤波器或者带通滤波器等方法实现图像分解算法，进而实现光照预处 理。在这些图像分解算法中，通过设定不同的截断频率，即可获得不同的截断尺度下的小尺 度分量，进而得出尺度领域分量和最终预处理结果。并且在这些图像分解算法中，可以不必 将输入图像的成像模型从乘性模型转换为加性模型。 上述内容仅仅是为描述本发明而列举的实施例，并非限制本发明专利保护的范 围，一切不脱离本发明宗旨进行的修改或者等同替换的技术方案及其改进，均不应排除在 本发明的权利要求的保护范围之外。
权利要求
一种人脸图像光照预处理方法，包括下列步骤1)在m个不同的截断尺度下，将人脸图像分别分解为与光照因素相对应的大尺度分量u和与人脸内在特征相对应的小尺度分量v，从而得到所述人脸图像的m个小尺度分量；m是至少为2的整数；2)计算相邻截断尺度下的小尺度分量之差得到所述人脸图像的m-1个尺度邻域分量；3)通过对最小的小尺度分量以及m-1个尺度邻域分量进行加权求和，得到所述人脸图像的光照预处理图像。
2. 根据权利要求l所述的人脸图像光照预处理方法，其特征在于，所述步骤l)中，利用 对数域全变差模型、离散傅里叶变换、离散余弦变换、高通滤波器、低通滤波器或者带通滤 波器对所述人脸图像进行分解，得到所述m个小尺度分量。
3. 根据权利要求1所述的人脸图像光照预处理方法，其特征在于，所述步骤3)还包括 对最小的小尺度分量和较小的尺度邻域分量都设定较大的权重，对较大的尺度邻域分量设 定较小的权重。
4. 根据权利要求3所述的人脸图像光照预处理方法，其特征在于，所述步骤3)中，对于 尺度邻域分量为Si，与其相对应的权重a,. =^(附-/ + 1),其中，1 = 1，2，…，m，M:5^'。
5. 根据权利要求1所述的人脸图像光照预处理方法，其特征在于，所述步骤3)还包括 通过基于训练集的学习得到所述最小的小尺度分量以及m-1个尺度邻域分量的权重。
6. 根据权利要求5所述的人脸图像光照预处理方法，其特征在于，所述步骤3)还包括 基于在训练集上各个尺度邻域分量的判别力确定所述权重。
7. 根据权利要求5所述的人脸图像光照预处理方法，其特征在于，所述步骤3)还包括 基于在训练集上对各个尺度邻域分量进行特征选择的顺序确定所述权重；
8. 根据权利要求5所述的人脸图像光照预处理方法，其特征在于，所述步骤3)还包括 基于在测试集上各个尺度邻域分量的判别熵确定所述权重。
全文摘要
本发明提供了一种人脸图像光照预处理方法，包括下列步骤1)在m个不同的截断尺度下，将人脸图像分别分解为与光照因素相对应的大尺度分量u和与人脸内在特征相对应的小尺度分量v，从而得到所述人脸图像的m个小尺度分量；2)计算相邻截断尺度下的小尺度分量之差得到所述人脸图像的m-1个尺度邻域分量；3)通过对最小的小尺度分量以及m-1个尺度邻域分量进行加权求和，得到所述人脸图像的光照预处理图像。本发明能够更加精确地捕捉和保留各种光照条件下的不同人的人脸图像的人脸内在特征，进而有效地增强人脸识别对光照变化的鲁棒性。
文档编号G06K9/36GK101794389SQ20091024427
公开日2010年8月4日 申请日期2009年12月30日 优先权日2009年12月30日
发明者山世光, 陈熙霖, 韩琥 申请人:中国科学院计算技术研究所