基于非均匀光照人脸图像增强的混合人脸成分识别方法

本发明涉及图像处理与人脸识别技术领域，具体而言，特别涉及基于非均匀光照人脸图像增强的混合人脸成分识别方法。

背景技术：

如今，越来越多的场所和场景下需要人脸识别技术和系统的支持，比如火车站等车站的乘客身份识别、大学校园的门禁系统等人流量较多的公共场所，以及智能移动设备或者app的用户身份解锁、支付交易等多种场景下都希望实时地捕获到高清、准确的人脸图像。另外，与虹膜、指纹等生物特征相比，人脸的非接触性使得其具备用户友好的特性。但是，另一方面，不管是布置在户外还是室内的人脸识别系统都不可避免的存在着光源（太阳光、灯光等）方向、距离以及亮度等不均匀变化的干扰，主要是光照角度改变所引起的光照变化，这会使得采集到的人脸图像质量和特征发生巨大变化，即会出现明显的阴影或者亮斑区域，从而会对人脸识别系统的准确性和效率造成直接的不良作用，甚至会影响正常的社会活动的安全和高效。因此，社会生产生活中越来越多的应用场景需要具有抗光照干扰能力的人脸识别系统。

针对现实环境下复杂多样的非均匀光照变化问题，已有很多人脸图像处理和增强技术被提出，主要分为三种：光照归一化算法、光照建模法和光照不变特征提取法。这些现有方法虽然有效，但实现简单且通常建立在理想光照条件下，对人脸识别性能提升有限，所以在诸如复杂非均匀的强侧光照情况下，反而会带来阴影噪声，因此该领域的研究依然具有很大的发展空间。

技术实现要素：

本发明针对非均匀光照角度变化对人脸图像质量带来的影响，所要解决的技术问题在于，提供一种“以补代校”（即以光照增强代替光照校正）的思想，设计一种光照增强算法，能够进一步消除非均匀光照和阴影的负面影响，同时基于面部先验知识，通过提取人脸重要局部关键区域的特征，结合光照不变性人脸特征的提取，从而明显提高系统在光照变化条件下的识别率和鲁棒性。

为了弥补现有技术的不足，并且基于“以补代校”思想,本发明提供了基于非均匀光照人脸图像增强的混合人脸成分识别方法。

本发明是通过如下技术方案实现的：基于非均匀光照人脸图像增强的混合人脸成分识别方法，具体包括以下步骤：

s1：构建光照人脸库，记作；并根据光源的入射角度差异将分为5种不同光照变化子集；

s2：依次选取一个子集作为probeset，其余4个子集作为galleryset；利用卷积神经网络对probeset中的每一张人脸图像，从galleryset中搜索与其相似的q张图像；

s3:利用retinex理论分别计算probeset中输入图像的光照矩阵和对应q张图像的平均光照矩阵，首先利用实现粗粒度的不均匀光照人脸增强，保存增强后的图片为；然后利用实现细粒度的不均匀人脸光照补偿，保存补偿后的人脸为；

s4：在的基础上，分割人脸为多个组件成分的关键区域，将和其组件同时作为三层卷积神经网络的输入，通过强化对各个面部组件的特征表示来增强网络对照明变化的人脸识别鲁棒性。

作为优选方案，步骤s1中具体包括以下步骤：

s1-1：将非均匀光照人脸库extendedyaleb构成所使用的光照人脸库；

s1-2：使用开源计算机视觉库opencv统一对样本图像检测并裁剪出人脸正面区域，图像尺度被归一化为64x64；

s1-3：人脸与摄像机的方向角被称为光源的入射角度，共有5种，分别是12°、25°、50°、77°和90°，根据将人脸库划分为5个子集，记作，其中每个子集代表一种光照角度。

进一步地，步骤s1-1中的非均匀光照人脸库extendedyaleb包括38人，每个人在64种不同的光照情况下拍摄了9种姿态576张图像，共计576x38张人脸图像。

作为优选方案，步骤s2中具体包括以下步骤：

s2-1：依次选择一个子集作为probeset，其他4个子集作为galleryset；

s2-2：构建三层卷积神经网络作为人脸图像的特征提取器，输入为人脸库中的图像，输出为每张人脸图像的特征向量；

s2-3：根据s2-2的操作，对probeset中的每张非均匀光照人脸图像通过计算与galleryset中图像的特征向量之间的相似性，分别搜索到与其对应相似的q张图像。

作为优选方案，步骤s3中具体包括以下步骤：

s3-1：根据retinex理论，每张非均匀光照人脸图像由光照（入射光）分量和反射分量两部分组成，为方便计算将其转换到对数域，表示为：

（1）

（2）

其中，(x,y)表示图像中像素点的坐标，、、分别表示原始图像、反射图像和入射图像在(x,y)处的像素值，而入射图像对应于原始图像中的低频部分，也就是光照分量；反射图像则反映图像的固有属性，即人脸图像中的高频信息；

s3-2：利用小波变换分解出图像的高低频两部分分量，通过高斯低通滤波器来估计出probeset中输入图像和其对应q张图像的低频分量，分别保存为光照矩阵和平均光照矩阵：

（3）

（4）

其中，表示高斯函数，属于低通函数，为卷积符号；

s3-3：光照补偿：

(5)

s3-4：光照增强：

（6）。

作为优选方案，步骤s4中具体包括以下步骤：

s4-1：使用dlib库工具包，对光照增强后的人脸图像，采用68点位置标志出人脸的关键特征区域，然后将其进行面部成分分割；

s4-2：将和分割出的成分子区域同时送入三层卷积神经网络来训练人脸识别器，实现人脸识别。

作为优选方案，步骤s4-1的关键特征区域包括眼睛、鼻子和嘴巴。

本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明内容主要包括两部分，一是提出“以补代校”的思想，通过相似光照人脸的搜索，受到外科手术中的无影灯利用多重照明来消除光照阴影的启发，使用renitex算法，实现了非均匀光照人脸图像的补偿和增强，为复杂光照下的人脸识别技术提供数据处理功能；二是对增强后的人脸图像面部组件分割，将其同时作为卷积神经网络的输入，目的是使得基于面部组件的识别能够尽量减少对姿势和表情变化的敏感度。值得一提的是，这种全局和局部结合的训练方式，不仅可大大减少网络训练时间，而且可增加整体识别的准确性。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的数据样本示例。

图2为非均匀光照人脸图像补偿和增强流程图。

图3为混合人脸成分级的人脸识别流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面结合图1至图3对本发明的实施例的基于非均匀光照人脸图像增强的混合人脸成分识别方法进行具体说明。

如图1至图3所示，本发明提出了本发明是通过如下技术方案实现的：基于非均匀光照人脸图像增强的混合人脸成分识别方法，其特征在于,具体包括以下步骤：

s1：构建光照人脸库，记作；并根据光源的入射角度差异将分为5种不同光照变化子集；具体包括以下步骤：

s1-1：将耶鲁大学公开的非均匀光照人脸库extendedyaleb构成所使用的光照人脸库；非均匀光照人脸库extendedyaleb包括38人，每个人在64种不同的光照情况下拍摄了9种姿态576张图像，共计576x38张人脸图像。

s1-2：使用开源计算机视觉库opencv统一对样本图像检测并裁剪出人脸正面区域，图像尺度被归一化为64x64；

s1-3：人脸与摄像机的方向角被称为光源的入射角度，共有5种，分别是12°、25°、50°、77°和90°，根据将人脸库划分为5个子集，记作，其中每个子集代表一种光照角度。图1给出了每个子集的示例图。

s2：依次选取一个子集作为probeset，其余4个子集作为galleryset；利用卷积神经网络对probeset中的每一张人脸图像，从galleryset中搜索与其相似的q张图像；具体包括以下步骤：

s2-1：依次选择一个子集作为probeset，其他4个子集作为galleryset；

s2-2：构建三层卷积神经网络作为人脸图像的特征提取器，输入为人脸库中的图像，输出为每张人脸图像的特征向量；

s2-3：根据s2-2的操作，对probeset中的每张非均匀光照人脸图像通过计算与galleryset中图像的特征向量之间的相似性，分别搜索到与其对应相似的q张图像。

s3:利用retinex理论分别计算probeset中输入图像的光照矩阵和对应q张图像的平均光照矩阵，首先利用实现粗粒度的不均匀光照人脸增强，保存增强后的图片为；然后利用实现细粒度的不均匀人脸光照补偿，保存补偿后的人脸为；具体包括以下步骤：

s3-1：根据retinex理论，每张非均匀光照人脸图像由光照（入射光）分量和反射分量两部分组成，为方便计算将其转换到对数域，表示为：

（1）

（2）

其中，(x,y)表示图像中像素点的坐标，、、分别表示原始图像、反射图像和入射图像在(x,y)处的像素值，而入射图像对应于原始图像中的低频部分，也就是光照分量；反射图像则反映图像的固有属性，即人脸图像中的高频信息；

s3-2：利用小波变换分解出图像的高低频两部分分量，通过高斯低通滤波器来估计出probeset中输入图像和其对应q张图像的低频分量，分别保存为光照矩阵和平均光照矩阵：

（3）

（4）

其中，表示高斯函数，属于低通函数，为卷积符号；

s3-3：光照补偿：

(5)

s3-4：光照增强：

（6）。

s4：在的基础上，分割人脸为多个组件成分的关键区域，关键特征区域包括眼睛、鼻子和嘴巴。将和其组件同时作为三层卷积神经网络的输入，通过强化对各个面部组件的特征表示来增强网络对照明变化的人脸识别鲁棒性。具体包括以下步骤：

s4-1：使用dlib库工具包，对光照增强后的人脸图像，采用68点位置标志出人脸的关键特征区域，然后将其进行面部成分分割；如图2所示。

s4-2：将和分割出的成分子区域同时送入三层卷积神经网络来训练人脸识别器，实现人脸识别。

在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。