专利名称：一种基于图像比的光照变化下的人脸识别方法
技术领域：
本发明涉及计算机视觉和模式识别领域，特别是光照变化下的人脸识别和图像合成方法。
背景技术：
近年来，生物特征识别技术得到了迅速的发展。其中人脸识别技术与其它生物特征识别技术相比有着用户友好和非侵犯性等优点。自911事件之后，国家安全变得越来越重要。利用生物特征识别技术，特别是人脸识别技术，可以增强出入境控制以有效预防恐怖袭击。出于这个目的，国际民航组织(ICAO)要求其188个成员国在2010年之前开始发行生物护照。生物护照是指封装一块包含人体生物特征信息的IC芯片的护照。人脸、虹膜、指纹等生物特征被认为是人各有异、终生不变的，因此通过比较IC芯片中的人体生物特征和现场采集的人体生物特征来进行身份鉴定是最可靠的身份鉴定方法。ICAO规定将脸相特征作为最主要的特征，所以高性能的人脸识别是生物护照识别系统中的一项关键技术。
而在实际的人脸识别系统中，光照是制约系统性能的关键因素。根据权威的人脸识别竞赛FRVT 2002的结果，目前最好的人脸识别系统在室内环境下可以达到90％左右的识别率，而相同的系统在室外环境下只能达到50％左右的识别率。这种性能的大幅度下降主要是由光照变化引起的。
获取人脸图像的不随光照变化的表示方法是解决光照问题的基本出发点。三维外形、反射率和环境光照是物体成像的三个要素。不随光照变化的表示方法应当仅与三维外形和反射率相关而与光照无关。在本发明中，我们将图像比技术与光照子空间相结合，通过将反射率之比转换成两幅图像之比，获得了人脸图像的一种不随光照变化的表示方法。这种表示方法可用来合成新的光照条件下的人脸图像以及进行图像的光照归一化，从而可用于提高人脸识别系统对光照的鲁棒性。
发明内容
本发明的目的在于提供一种基于图像比的不随光照变化的人脸表示方法以及一种合成各种光照条件下的人脸图像的方法。并且这两种方法可结合用于光照变化下的人脸识别，从而减少光照对人脸识别系统的影响。
这种不随光照变化的人脸表示方法被定义为人脸的反射率之比，由于反射率之比难于直接确定，所以我们将其转换为三维外形和光照条件相同而反射率不同的两幅图像之比。为了计算该图像比，我们首先将构建一个光照子空间。给定一幅人脸图像，通过将其投影到我们预先训练的光照子空间中，可以得到一幅与原始图像的三维外形和光照条件相似的图像，这两幅图像之比将不随光照而变化。这种不随光照变化的人脸表示方法可以用来合成不同光照条件的人脸图像。这种光照合成技术可以用来使两幅人脸图像达到相似的光照条件，实现人脸图像的光照归一化，或者生成任意光照条件下的人脸图像样本，提供丰富的人脸图像训练集。本发明可广泛应用于各种人脸识别系统，推动人脸识别技术在图像检索、身份识别和验证、监控与跟踪等众多领域的应用。
为了实现在光照变化条件下的高性能人脸识别，本发明提出了一种基于图像比的人脸识别方法。首先我们从成像模型的角度进行分析，人脸可近似看作漫反射表面，因此人脸图像I(x，y)可以表示为I(x，y)＝ρ(x，y)n(x，y)Ts，其中(x，y)为图像中的一点，ρ(x，y)和n(x，y)T为该点的反射率和表面法向量，s代表光源。假定两幅人脸图像Iy和Ia，其反射率之比，即ρy(u，v)/ρa(u，v)，很明显是不随光照变化的。因此我们将这种反射率之比定义为人脸图像Iy的不随光照变化的表示方法。然而，人脸的反射率之比很难直接确定，因此我们必须找到其他的方法来计算反射率之比。由漫反射模型可知ρy(u,v)ρa(u,v)=ρy(u,v)n(u,v)Tsyρa(u,v)n(u,v)Tsy=Iyρa(u,v)n(u,v)Tsy=IyIa]]>其中，Ia是三维外形和光照条件都与Iy类似的一幅图像。这意味这我们将反射率之比转换成了图像之比。接下来我们将利用光照子空间的理论获取所需的Iy。
研究显示人脸在所有可能的光照条件下的图像集合可以表示为一个低维子空间。这意味着当我们构建了这种光照子空间时，给定人脸图像Iy，就始终可以在其中找到人脸图像Ia具有与Iy类似的三维外形和光照条件，并且Ia是Iy在光照子空间的最小二乘解。
一种基于图像比的光照变化下的人脸识别方法，包括步骤首先通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法，然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像。
一种基于图像比的光照变化下的人脸识别方法，包括步骤利用通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法，然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像的光照合成方法来合成与原始图像光照一致的人脸图像，从而实现图像的光照归一化，人脸识别可采用主元分析方法、线性鉴别分析方法在完成光照归一化之后的图像上进行。
这种不随光照变化的表示方法是人脸的反射率之比。
反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比。
图像比将通过以下步骤计算得到首先，采集不同人在不同光照条件下的多幅人脸图像组成训练集，然后利用子空间方法构建一个全局光照子空间，给定一幅人脸图像，通过最小二乘近似计算出它在这个子空间中的重建图像，原始图像与该重建图像之比就被定义为反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比的图像比。
光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比，所述的图像比并变换其中的重建系数实现的。
光照归一化方法是通过光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比，所述的图像比并变换其中的重建系数实现的光照合成方法实现的。
图1.本发明提出的基于图像比的不随光照变化的人脸表示方法图示图2.利用本发明提出的图像比表示方法合成各种光照条件下的人脸图像。
图3.本发明在人脸识别系统中的应用框架示例。
图4.本发明的基于图像比的光照变化下的人脸识别方法的流程图。
具体实施例方式
图1.一幅人脸图像与其在全局光照子空间中的投影之比将产生与光照无关的图像比，第一副图像为原始图像，第二幅图像是投影图像，第三幅图像为与光照无关的图像比。
图2.以图1所示的方式得到图像比之后，通过变换投影系数，可以得到该人脸在各种光照条件下的图像图3.对训练集进行统计学习之后，将得到一个全局光照子空间，人脸图像A、B在子空间中的投影以及原始图像与投影图像之比将产生系数A、B和图像比A、B。图像比B和系数A的合成图像将与图像A的光照情况保持一致(即光照归一化)，光照归一化后的人脸图像即可作为人脸识别的输入，判断它们是否属于同一个人。
图4.本发明的基于图像比的光照变化下的人脸识别方法，具体实施步骤如下第一步，采集不同人在不同光照条件下的多幅图像作为样本集，利用现有的人脸对齐方法(例如活动形状匹配(ASM))对训练图像进行归一化和对齐；第二步，利用子空间方法(例如PCA、LDA)等在训练集的基础上构建一个近似的全局光照子空间，提取低维子空间的基向量E；第三步，给定人脸图像Iy，我们可以定义一个能量函数来计算Iy在光照子空间中的最小二乘解Ia，因此Ia可以表示为E的一个线性组合Ia＝Ex，Iy基于图像比Qy的与光照不变的表示方法为，其中x为最小二乘系数Qy=IyIa=IyEx]]>第四步，利用这种图像比表示，人脸y在不同光照条件下的新图像可以通过改变系数x来得到Inew=Σi=1MxiEi⊗Qy]]>第五步，利用步骤4所述的图像合成方xB法来进行人脸图像的光照归一化，假设要比较人脸图像IA和IB是否属于同一人，则可以分别计算QA、xA和QB、xB，然后使用QA和xB合成与IB光照条件一致的图像，从而实现光照的归一化，之后可以用现有的人脸识别方法对光照归一化之后的图像进行识别。
权利要求
1.一种基于图像比的光照变化下的人脸识别方法，包括步骤首先通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法，然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像。
2.一种基于图像比的光照变化下的人脸识别方法，其特征在于，还包括步骤利用通过光照和外形相似、而反射率不同的两幅人脸图像的图像比获得人脸的一种不随光照变化的表示方法，然后利用这种不随光照变化的表示方法来合成不同光照条件下的图像的光照合成方法来合成与原始图像光照一致的人脸图像，从而实现图像的光照归一化，人脸识别可采用主元分析方法、线性鉴别分析方法在完成光照归一化之后的图像上进行。
3.根据权利要求1所述的基于图像比的光照变化下的人脸识别方法，其特征在于这种不随光照变化的表示方法是人脸的反射率之比。
4.根据权利要求3所述的基于图像比的光照变化下的人脸识别方法，其特征在于，反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比。
5.根据权利要求4所述的基于图像比的光照变化下的人脸识别方法，其特征在于，图像比将通过以下步骤计算得到首先，采集不同人在不同光照条件下的多幅人脸图像组成训练集，然后利用子空间方法构建一个全局光照子空间，给定一幅人脸图像，通过最小二乘近似计算出它在这个子空间中的重建图像，原始图像与该重建图像之比就被定义为反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比的图像比。
6.根据权利要求1所述的基于图像比的光照变化下的人脸识别方法，其特征在于，光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比，所述的图像比并变换其中的重建系数实现的。
7.根据权利要求2所述的基于图像比的光照变化下的人脸识别方法，其特征在于，光照归一化方法是通过光照合成方法是通过反射率之比将被转换成三维外形和光照条件类似而反射率不同的两幅图像之比，所述的图像比并变换其中的重建系数实现的光照合成方法实现的。
8.根据权利要求1所述的基于图像比的光照变化下的人脸识别方法，其步骤如下第一步，采集不同人在不同光照条件下的多幅图像作为样本集，利用现有的人脸对齐方法对训练图像进行归一化和对齐；第二步，利用子空间方法在训练集的基础上构建一个近似的全局光照子空间，提取低维子空间的基向量E；第三步，给定人脸图像Iy，我们可以定义一个能量函数来计算Iy在光照子空间中的最小二乘解Ia，因此Ia可以表示为E的一个线性组合Ia＝Ex，Iy基于图像比Qy的与光照不变的表示方法为，其中x为最小二乘系数Qy=IyIa=IyEx]]>第四步，利用这种图像比表示，人脸y在不同光照条件下的新图像可以通过改变系数x来得到Inew=Σi=1MxiEi⊗Qy]]>第五步，利用步骤4所述的图像合成方xB法来进行人脸图像的光照归一化，假设要比较人脸图像IA和IB是否属于同一人，则可以分别计算QA、xA和QB、xB，然后使用QA和xB合成与IB光照条件一致的图像，从而实现光照的归一化，之后可以用现有的人脸识别方法对光照归一化之后的图像进行识别。
全文摘要
本发明提出了一种基于图像比的光照变化下的人脸识别方法。光照是人脸识别系统的一个主要性能瓶颈。本发明通过将图像比技术与光照子空间理论相结合，简便地将反射率之比转换成光照条件和三维外形相似的两幅图像之比，从而得到了一种不随光照变化的人脸表示方法。这种图像比表示方法可用来合成任意光照条件下的人脸图像，从而可用于实现人脸图像的光照归一化或用于生成丰富的训练样本。本发明可在各种人脸识别系统中应用，提高系统在光照变化环境中的识别性能。
文档编号G06K9/00GK1855118SQ20051001164
公开日2006年11月1日 申请日期2005年4月28日 优先权日2005年4月28日
发明者刘俊, 王阳生 申请人:中国科学院自动化研究所, 三星电子株式会社