一种复杂光照场景下的人脸识别方法与流程

本发明涉及图像处理技术领域，尤其涉及一种复杂光照场景下的人脸识别方法。

背景技术：

复杂光照场景下的人脸识别，一直都是业内一项需要不断研究、优化的问题，基于图像处理和基于机器学习的识别方案，是当前常用的提高复杂光照人脸识别光照鲁棒性的两个途径。

由于受到硬件计算效率效率的限制(比如移动终端上的cpu和图像处理器的性能限制)，因此需要尽量采用较少数量的样本作为训练集。目前常用的算法包括了msr(multi-scaleretinex,多尺度视网膜模型)、gf(gradientfaces,梯度脸)和inps(illuminationnormalizationbyaseriesofprocessing,光照归一化处理链算法)，其中，msr算法直接提取物体的光照不变量；gf和inps算法间接提取光照不变量的局部变化趋势，gf对应光照反射率的局部变化方向特征，inps算法对应光照反射率局部变化强度特征。尽管通过msr、gf和inps在理论上都能对应处理目标物体的光照不变特征，但这些光照不变特征仅在光照缓慢变化时才具有真正的光照不变性。

而在实际应用中，由于复杂的照明情况，msr、gf和inps等理论上可行的算法在光照鲁棒人脸识别应用中都存在一定的不足，导致了复杂光照人脸识别的光照鲁棒性难以进一步提高。

技术实现要素：

本发明的实施例提供一种复杂光照场景下的人脸识别方法，能够提高复杂光照人脸识别的光照鲁棒性。

为达到上述目的，本发明的实施例采用如下技术方案：

加载第一至第n光照不变量算法，并通过所加载的光照不变量算法提取原始图像对应的第一至第n光照不变量。其中，n为大于且等于2的整数；

对所提取的光照不变量进行线性鉴别分析，得到对应各光照不变量算法的代数特征。

根据得到的代数特征，通过特征级融合算法，获取所述原始图像的组合代数特征。

通过分类器组对所述得到的代数特征和所述组合代数特征进行类别判定，得到所述原始图像的最终识别结果。

本发明实施例提供的复杂光照场景下的人脸识别方法，设计并改进了特征级融合和决策级融合算法框架。从基于线性鉴别分析的特征级融合和基于分类器决策级融合(决策级类别投票融合机制)的两个角度，提出了一种多光照不变量融合的方法和机制，以发挥各光照不变量在消除光照变化影响人脸识别性能方面各自的优势，提高复杂光照人脸识别的光照鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图,

图1为本发明实施例提供的方法流程示意图；

图2为本发明实施例提供的一种算法框架的实例的示意图；

图3为本发明实施例提供的一种决策级融合框架的实例的示意图；

图4为本发明实施例提供的一种非控光照人脸图像的实例的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例提供一种复杂光照场景下的人脸识别方法，如图1所示，包括：

步骤101，加载第一至第n光照不变量算法，并通过所加载的光照不变量算法提取原始图像对应的第一至第n光照不变量。

其中，n为大于且等于2的整数；

步骤102，对所提取的光照不变量进行线性鉴别分析，得到对应各光照不变量算法的代数特征。

在本实施例中，采用代数特征的协方差矩阵的特征值和特征向量，通过特征级融合得到组合代数特征。其中，线性鉴别分析具体可以采用基于主成分分析的特征提取常被应用于鲁棒光照人脸识别检验光照不变特征的性能。主成分分析的本质是k-l变换，首先求取训练样本对应协方差矩阵的特征值和特征向量，然后选取较大特征值对应的特征向量作为投影空间，实现原始数据的最优维数约简。

假设某光照不变量训练样本协方差矩阵c，γ1,γ2,…,γk和v1,v2,…,vk为协方差矩阵c的非零降序特征值及对应的特征向量。前s个较大特征值的能量占比rs可表示为

其中，i、j表示正整数。举例说明对应各光照不变量算法的代数特征的获取方式，例如：本实施例中运用能量占比rs≈0.9，对应的前s个特征向量构成变换空间us，则一幅人脸图像x对应的主成分分析代数特征y可以表示为

其中，v1,v2,…,v表示变换空间us中的向量。

优选的，为了进一步缩小不同光照不变量对应数据分布的差异，本实施例总首先对光照不变量的代数特征进行归一化处理，然后再将处理后的三种光照不变量代数特征通过串联的形式进行融合形成新的组合代数特征。假定原始人脸图像光照不变量msr、gf和inps对应的归一化代数特征分别是ym、yg和yp，则特征级融合的组合代数特征可表示为yf＝[ym,yg,yp]。

步骤103，根据得到的代数特征，通过特征级融合算法，获取所述原始图像的组合代数特征。

例如：如图2所示的，本实施例的特征级融合算法的整体逻辑框架，首先运用不同的光照不变量算法提取人脸图像对应的光照不变量，然后对各光照不变量分别进行线性鉴别分析提取对应的代数特征值，接着对各代数特征进行特征级融合获取原始图像的组合代数特征，最后将原始图像对应的各代数特征和组合代数特征分别输入不同的分类器进行类别判定，并通过决策级类别投票融合机制获取原始图像的最终识别结果。

步骤104，通过分类器组对所述得到的代数特征和所述组合代数特征进行类别判定，得到所述原始图像的最终识别结果。

其中，所述分类器组包括至少两种对应不同类别的分类器，所述分类器组用于执行决策级类别投票融合机制。

具体的，本实施例中所加载的第一至第n光照不变量算法，n＝3，即所述第一光照不变量算法为多尺度视网膜模型(msr)、所述第二光照不变量算法为梯度脸(gf)、所述第三光照不变量算法为光照归一化处理链算法(inps)。

在本实施例中，所述步骤103，包括：

求取所述得到的代数特征的协方差矩阵的特征值和特征向量；

在所求取的特征值中，选取数值最大的特征值对应的特征向量作为投影空间，并通过所选取的投影空间获取所述原始图像的组合代数特征。

在本实施例中，通过所述步骤104实现决策级融合，具体包括：

采用基于曼哈顿距离的最近邻分类器，建立分类器组。并将各分类结果输入到类别统计器进行类别投票，将得票最多的作为所属的类别。

其中，所述类别判定过程包括：将所述组合代数特征分别输入所述分类器组中各自的最近邻分类器，并获取各分类器输出的分类结果。

具体的，采用基于曼哈顿距离的最近邻分类器进行类别判定。假设两个人脸图像对应的代数特征为y＝[a1,a2,…,as]和a1,a2,…,as、都表示向量化的代数特征，则两个人脸图像之间的距离可表示为

对于“最近邻”的判定方式，假设t个类别每类训练样本平均脸对应的代数特征分别为y¹,y²,…,y^t，某个测试样本对应的代数特征为y^x，若存在

d(y^x,y^m)＝min{d(y^x,yⁱ)|i＝1,2,…,t}(4)

则测试样本属于第m类。

例如：本实施例中可以采用如图3所示的决策级融合框架。将人脸图像对应的四种代数特征分别输入各自的最近邻分类器，获取相应的分类结果，然后将各分类结果输入到类别统计器进行类别投票，若仅有某一个类别的得票最多，则测试样本属于该类别，否则测试样本属于组合代数特征判定的类别。

在目前主流的人脸识别方案中，单独依靠某种光照不变量算法很难满足人脸识别的复杂光照应用环境。本实施例从线性鉴别分析特征级融合和分类器决策级融合两个角度，提供了一种多光照不变量的融合框架，提高了复杂光照人脸识别的光照鲁棒性。具体的，以三种有效的光照不变量算法(msr、gf和inps)结合主成分鉴别分析技术和最近邻分类器为例，给出了具体的特征级和决策级融合的机制与策略。

为了验证本实施例所提算法的性能，可以在复杂光照人脸库yaleb+和非控光照人脸库上进行验证实验。如：

1.yaleb+人脸库

yaleb+人脸库由复杂光照yaleb和扩展的yaleb构成。该库共包含38人，每人64种不同的光照情况。根据光源入射角度差异，yaleb+人脸库可被分为5种光照变化子集：子集1(0。～12。)、子集2(13。～25。)、子集3(26。～50。),子集4(51。～77。)和子集5(>77。)。实验中依次选择其中一个子集作为训练样本，其他四个子集作为测试样本，表1-5分别给出了选择各子集作为训练集时msr、gf、inps和本实施例多特征融合算法不同测试集对应的识别效果，其中，表中全部子集表示所有测试样本的平均识别率。

表1子集1作为训练集的识别率％

表2子集2作为训练集的识别率％

表3子集3作为训练集的识别率％

表4子集4作为训练集的识别率％

表5子集5作为训练集的识别率％

由表1-5可以看出，尽管msr、gf和inps算法在各训练样本情况对应的识别效果都不够理想，但是将三种光照不变量通过本实施例算法融合后可以获取较好的识别性能，而且本实施例算法在全部子集上的识别率都接近或超过99％，明显高于msr、gf和inps算法。yaleb+人脸库的实验结果表明本实施例算法能发挥不同光照不变量自身的光照不变特性，提高复杂光照人脸识别的光照鲁棒性。

2.非控光照人脸库

非控光照人脸库的人脸图像拍摄于真实环境光线下，包括30人，每人32幅，共960幅人脸图像。所有图像尽量仅包含面部信息，图像尺度被归一化为64×64。如图4给出了某个人不同光照情况下的8幅人脸图像，可以看出该人脸库包含更复杂的光照情况，不仅光线角度变化更加剧烈，而且还存在背光、强光和弱光等情况。

实验中每人分别随机选取1，2，3幅人脸图像作为训练样本，其他作为测试样本，重复这种实验模式45次，计算平均识别率。表6给出了msr、gf、inps和本专利算法对应的识别效果。由表6可以看出本专利多特征融合算法可以有效提升少训练样本非控光照人脸识别的性能，平均识别率高于使用msr、gf和inps算法的最好结果，进一步验证了本专利算法的有效性。

表6非控光照人脸库平均识别率％

由此可见，在本发明实施例中通过设计并改进了特征级融合和决策级融合算法框架。首先，运用不同的光照不变量算法提取人脸图像对应的光照不变量；然后，对各光照不变量分别进行线性鉴别分析，提取对应的代数特征值；接着，对各代数特征进行特征级融合，获取原始图像的组合代数特征；最后，将原始图像对应的各代数特征和组合代数特征分别输入不同的分类器进行类别判定，并通过决策级类别投票融合机制获取原始图像的最终识别结果。从而从基于线性鉴别分析的特征级融合和基于分类器决策级融合(决策级类别投票融合机制)的两个角度，提出了一种多光照不变量融合的方法和机制，以发挥各光照不变量在消除光照变化影响人脸识别性能方面各自的优势，提高复杂光照人脸识别的光照鲁棒性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。