一种基于高维lbp与卷积神经网络特征融合的人脸比对方法
【技术领域】
[0001] 本发明提供了一种基于LBP特征与卷积神经网络特征融合的人脸比对方法。
【背景技术】
[0002] 随着社会的高速发展和科技的迅猛进步，诸如门禁、视频安防监控、人机交互等技 术的不断发展，人们迫切需要一种准确的身份识别方式。传统的身份识别方式有:密匙、身 份证件、门禁卡等等，然而这些身份验证方式很容易被人窃取、伪造、盗用。这些传统的身份 验证方式以及越来越无法满足社会的需要。人脸识别技术正好弥补了这一空缺。目前，人脸 识别技术已经取得了非常大的进步，识别率非常高，速度也很快。然而，该技术目前还是存 在很多未被解决的难题，比如光照的变化、头部饰品佩戴、人脸姿态的变化、人脸表情的变 化等问题带来的识别上的干扰。因此，需要一种高效准确的人脸识别新算法。
[0003] 常见的人脸特征提取的方式有如下几种:基于几何特征的方法、基于模型的方法、 基于统计的方法和基于神经网络的方法。
[0004] 基于几何特征的方法，这种方法是最早期的一种人脸检测和识别的方法。需要检 测出重要的面部特征的形状、相对位置以及这些特征之间的距离等相关参数，以构成一个 能够代表这个人脸的特征向量。其中的特征通常包括:两个特征点之间的距离、曲率和角度 等等。这种方法准确率低，鲁棒性差。
[0005] 基于模型的方法，该算法主要思想是通过数学模型，将具有不同尺度和方向的不 同人脸实例的信息合并，因此该方法对于自然的人脸变形和光照条件具有更大的弹性。主 流使用的有些模型主要包括431^41、1^?、高维1^?等。这种方法能够提取到局部信息的特 征，但是无法提取到全局的信息。因而，该方法的泛化能力弱。
[0006] 基于统计的方法，思想是将人脸图像视为一个随机变量，从而用一些统计方法来 进行分析。基于统计方法的典型的研究工作有:EigenFace、FisherFace、贝叶斯脸等。这种 方法对于正脸的检测准确率较高，但是鲁棒性差，对于脸部姿态、表情变化大的人脸识别效 果差.
[0007] 基于卷积神经网络方法，在很多单一数据集下得到的准确率比传统特征要好，不 过由于卷积神经网络提取到的是全局的特征，而忽略了很多局部信息，因此，它的泛化能力 不强。
[0008] 为了解决上述问题，本发明提供了一种基于高维LBP特征与卷积神经网络CNN特征 融合的人脸比对方法，该方法能够准确高效地判断两张人脸是否为同一个人，且算法鲁棒 性强。
【发明内容】
[0009] 本发明解决的技术问题是:克服了基于高维LBP特征的方法获取全局信息能力差 和基于CNN特征的方法获取局部信息能力的不足，提供了一种基于高维LBP与卷积神经网络 特征融合的人脸比对方法。
[0010]本发明采用的技术方案为:包括以下四个步骤：
[0011]步骤(1)、首先将从输入的图像中检测到人脸区域并截取人脸区域图像，然后将人 脸图像对齐，缩放到特定尺寸，最后将图像进行直方图均衡化；
[0012] 步骤(2)、所有训练图像均通过步骤（1)预处理之后作为输入，分别获取人脸图像 的传统特征以及卷积神经网络特征进行拼接得到6096维的特征向量，再通过PCA进行降维， 得到最终的1024维特征作为图像最后特征向量；
[0013] 步骤(3)、两张人脸图像均经过步骤（1)和步骤(2)，得到两个1024维的特征向量， 作为本步骤输入，通过训练好的Joint Bayesian模型，得到相应的对数似然比；
[0014] 步骤(4)、将步骤(3)得到的对数似然比与先验的阈值进行比对，若对数似然比阈 值，则认为这两张人脸图像为同一个人，否则不是同一个人。
[0015]进一步地，步骤（1)中所述的人脸对齐是通过检测到人脸中眼睛的位置，通过矫正 眼睛位置来进行人脸对齐。
[0016] 进一步地，步骤(2)中所述的高维LBP特征(4000维），卷积神经网络CNN(4096维）， 拼接之后是8096维，使用PCA降维目的是将其中最有用的特征保留下来。
[0017] 进一步地，步骤(3)中所述的人脸比对方法Joint Bayesian通过类内类间特征差 异的分布情况，通过联合贝叶斯的思想得出一个对数似然比。
[0018] 进一步地，步骤(4)中所述先验的阈值是通过之前训练得到，遍历所有训练图片的 对数似然比，找到一个使得人脸验证准确率最高的阈值作为测试所有先验阈值。
[0019] 本发明的原理在于：
[0020] 本发明提供了一种基于高维LBP特征与卷积神经网络CNN特征融合的人脸比对方 法，本方法适用于多种场景下的人脸图像输入，具有高准确率，高鲁棒性的人脸比对特定。 本方法包含四个步骤:首先将从输入的图像中检测到人脸区域并截取人脸区域图像，然后 将人脸图像对齐，缩放到特定尺寸，最后将图像进行直方图均衡化;将预处理之后的图像作 为输入，分别获取人脸图像的传统特征以及卷积神经网络特征进行拼接得到8096维的特征 向量，再通过PCA进行降维，得到最终的1024维特征作为图像最后特征向量;通过训练好的 Joint Bayesian模型，得到相应的对数似然比；将其比与先验的阈值进行比对，若对数似然 比阈值，则认为这两张人脸图像为同一个人，否则不是同一个人。
[0021] 本发明的内容主要包括以下四个方面：
[0022]人脸图像的预处理。人脸图像的预处理是人脸比对算法的先决条件。由于输入的 人脸图像质量、背景差异较大，因而需要一种有效的方法对图像进行预处理。本方法首先通 过检测人脸区域来取人脸;从人脸图像中检测到眼睛作为图像矫正的依据;得到矫正好的 人脸图像之后，再使用灰度直方图均衡化来解决光照问题。
[0023] 高维LBP特征与卷积神经网络CNN特征融合。由于高维LBP特征获取到的特征更多 的是图像的局部信息，而卷积神经网络CNN获取的是全局信息的特征。因此，本发明提出使 用这两种特征融合的方法，得到一种具有更加完备信息的特征。首先分布使用高维LBP和卷 积神经网络CNN得到两种独立的特征，然后，通过拼接的方式，将这两种特征融合到一起，得 到新的特征。
[0024]解决维度灾难的方法。本发明中，由于图像经过高维LBP特征提取器之后得到的特 征有4000维，而经过卷积神经网络CNN提取器之后得到的特征有4096维，如果简单的拼接， 会导致维度过高，从而对后续的方法造成困难。而且，本发明采用PCA作为降维方式，首先将 这两种特征拼接成8046维特征，再使用PCA降维到1024维作为最终的特征。
[0025]基于Joint Bayesian的人脸比对算法。本发明认为人脸由两个部分组成，μ来表示 区分不同人的特征，用ε表示同一人的特征差异(包括:光线，姿态，表情等变化）。通过μ和ε 的分布情况，算出当前分布下对应的对数似然比。将这个对数似然比与阈值进行判断，若大 于阈值，则判断为同一人;否则，判断为非同一个人。
[0026]本发明与现有技术相比的优点在于：
[0027] 1、本发明提出的特征融合方法，首先经过预处理得到对齐好的人脸图像，然后分 别提取高维LBP特征与卷积神经网络CNN特征，再将这两种特征融合。由于高维LBP特征获取 到的特征更多的是图像的局部信息，而卷积神经网络CNN获取的是全局信息的特征，因此局 部信息与全局信息融合能够得到更加完备的信息。这样能够解决高维LBP鲁棒性差，卷积神 经网络CNN泛化能力弱的不足，使得人脸比对的准确率得到提升。
[0028] 2、本发明提出的人脸比对分类器的训练方法，首先提取高维LBP特征与卷积神经 网络CNN特征融合，再经由PCA降维到1024维。融合了高维LBP特征与卷积神经网络CNN的人 脸比对分类器，通过计算类内与类间的特征差异分布情况，得到对数似然比作为相似度的 度量方法，大大提升了人脸比对结果的准确率。
[0029] 3、本发明提出的基于特征融合的人脸比对方法对背景、光照、姿态以及遮挡，具有 很好的鲁棒性，并且能够得到比单独使用一种特征提取方式更高的准确率。
【附图说明】
[0030] 图1为本发明的基于高维LBP和卷积神经网络CNN特征融合的人脸比对流程图；
[0031] 图2为高维LBP特征模板示意图；