基于分块一致lbp和稀疏编码的单训练样本人脸识别方法

专利名称：基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
技术领域：
本发明属于数字图像处理及模式识别技术领域，具体涉及人脸识别方法。
背景技术：
生物特征识别技术所研究的生物特征包括人脸、指纹、手掌纹、掌型、虹膜、视网膜、静脉、声音(语音)、体形、红外温谱、耳型、气味、个人习惯(例如敲击键盘的力度和频率、签字、步态)等，相应的识别技术就有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、静脉识别、语音识别(用语音识别可以进行身份识别，也可以进行语音内容的识别，只有前者属于生物特征识别技术)、体形识别、键盘敲击识别、签字识别等。人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分 生物体个体。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别主要用于身份识别。由于视频监控正在快速普及，众多的视频监控应用迫切需要一种远距离、用户非配合状态下的快速身份识别技术，以求远距离快速确认人员身份，实现智能预警。人脸识别技术无疑是最佳的选择，采用快速人脸检测技术可以从监控视频图象中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别。人脸识别技术主要包括三个步骤人脸特征提取、维数约简和特征分类。“特征提取”是利用图像处理方法和模式识别技术从一幅人脸图像中提取能够描述人脸结构的特征信息，为后续的识别处理提供准确可靠的数据源。“维数约简”是指将提取的原始的特征向量通过算法进行压缩，降低特征向量的维数，用于下一步的特征分类。特征分类是指利用得到的特征向量集合试图找到一种对不同的人脸图像划分的方法。人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的。包括1)相似性。不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。2)易变性。人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件(例如白天和夜晚，室内和室外等)、人脸的很多遮盖物(例如口罩、墨镜、头发、胡须等)、年龄等多方面因素的影响。在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化(inter-class difference),而称第二类变化为类内变化(intra-class difference)。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。目前常用的几种人脸识别方法有
特征脸识别方法特征脸方法是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交
基，保留其中重要的正交基，由这些基可以转成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是特征脸方法的基本思想。这些方法需要较多的训练样本，而且完全是基于图像灰度的统计特性的。目前有一些改进型的特征脸方法。 神经网络识别
神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练，而在许多应用中，样本数量是很有限的。弹性图匹配
弹性图匹配法在二维的空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人也不再需要多个样本进行训练。线段Hausdorff 距离
心理学的研究表明，人类在识别轮廓图(比如漫画)的速度和准确度上丝毫不比识别灰度图差。LHD是基于从人脸灰度图像中提取出来的线段图的，它定义的是两个线段集之间的距离，与众不同的是，LHD并不建立不同线段集之间线段的一一对应关系，因此它更能适应线段图之间的微小变化。实验结果表明，LHD在不同光照条件下和不同姿态情况下都有非常出色的表现，但是它在大表情的情况下识别效果不好。支持向量机
近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率，但是它需要大量的训练样本(每类300个)，这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，核函数的取法没有统一的理论。由于人脸的复杂性，人脸识别技术所要解决的问题相当复杂。目前的人脸识别技术在实际应用中还存在一些不足之处，例如摄像角度的变化、表情变化、佩戴饰物造成遮挡、等都会给人脸的识别造成一定的难度。此外，在算法层面上，传统的特征提取往往会丢失很多人脸结构的原始信息，传统的维数约简往往采取线性运算而导致进一步丢失信息，这样使得对分类算法的改进无法带来实质性的改善。

发明内容
本发明的目的是，为解决上述两种易混淆的问题，以及传统算法丢失原始信息、识别率和鲁棒性不佳的问题，提供一种基于分块LBP和稀疏编码的人脸识别方法。本发明提出的基于分块LBP和稀疏编码的人脸识别方法，具体步骤如下(I)分块统计LBP直方图
①将人脸图像按一定格式分割成网格状，其步骤为将人脸图像的灰度值图像按行4等分、列4等分的模式，划分成16个大小相等的子图像；
②在步骤(I)-①的原图像分割处理之后，对每个子图像区域进行LBP直方图计算，其步骤为对于图中每个像素点，比较其与周围8个邻居像素点的灰度值大小，邻居点较大则置为1，否则置为O，再从12点钟位置开始按顺时针方向将8个数字连成一个8位的2进制数。(2)统计一致LBP直方图并求得与整幅人脸图像对应的特征向量
对于步骤(I)-②得到的8位2进制数分类，首先将2进制数首尾相连，形成一个环，将其中0-1转换次数不多于I次的归为一类，称为一致LBP算子；将剩余的2进制数都归到另一类，即非一致LBP算子。于是我们可以通过排列组合计算出，8位的一致LBP算子共58种(即00100000这种)，而我们又将非一致LBP算子计为I种，则可以用一个59维的向量描述 图像的LBP直方图，其中第i维是相应的10进制数值为i的2进制数的个数。将16个59维向量连接成一个16*59维的列向量，即为该副图像对应的特征向量。(3)制作人脸图像训练集矩阵
对人脸图像数据库中的每幅图像进行步骤(I)-步骤(2)的处理，得到n个特征向量，将n个特征向量作为列向量排列，组合成一个矩阵，作为训练集矩阵，记为A。(4)将测试图像表示成训练集上的线性组合
对于测试图像，进行步骤(I)-步骤(2)的处理，计算得到对应的特征向量，记为y。将测试图像表示成训练集上的线性组合，即列出以下方程Ax=y，其中线性组合系数向量X，即为问题的解。(5)求解线性组合系数向量X的最稀疏解
根据最稀疏原理，即具有最少非零元素的向量X是正确解的可能性最大，再结合
(4)的方程，将原问题转化为约束最优化问题，得到X的唯一解。再根据X中具有最大值的元素的位置，确定测试图像所属的人脸对象，例如，X中第i维的元素最大，则测试图像确定为属于数据库中第i个人脸对象。本发明的积极效果是
(I)利用LBP能够准确提取人脸结构信息的特性，该方法提取的向量比其他特征提取算法保留了更多的人脸结构信息。(2)再通过将人脸图像分块，从对子区域计算LBP得到的直方图，获得人脸图像的全局特征向量，避免了直接统计全局信息带来的误差。(3)合理利用了稀疏性原理，将分类问题转化成约束最优化问题，在光照、表情、遮挡的情况下，能得到更高的识别率和鲁棒性。


图I是本发明基于分块LBP和稀疏编码的人脸识别方法的流程框图。图2是几种不同的分割方法。其中，右图为本发明采用的是4*4的分割法。图3是3*3邻域LBP计算过程。图4是不同尺度的一致LBP算子，本文采用的是I像素半径，8邻居的算子。
图5是本专利使用的人脸数据库的部分截图。图6是本专利使用的人脸数据库对应的特征矩阵。图7是一个测试用例，图像为模拟佩戴佩戴墨镜的女子的头像。图8是经过本专利发明方法后求得的方程解。
具体实施例方式以下结合附图解释本发明基于分块LBP和稀疏编码的人脸识别方法的具体实施方式
，但是应该指出，本发明的实施不限于以下的实施方式。一种基于分块LBP和稀疏编码的人脸识别方法，首先对人脸图像进行分块统计LBP直方图，再统计一致LBP直方图并求得与整幅图像对应的特征向量，然后制作人脸图像训练集矩阵，将测试图像表示成训练集上的线性组合，最后求解线性组合系数向量X的最 稀疏解。本发明方法的具体运算步骤如附图I所示。 一、分块统计LBP直方图
首先，将人脸图像按一定格式分割成网格状，其步骤为将人脸图像的灰度值图像按行4等分、列4等分的模式，划分成16个等大小的子图像，如图2中右图所示。对每个子图像区域进行LBP直方图计算，其步骤为对于图中每个像素点，比较其与周围8个邻居像素点的灰度值大小，邻居点较大则置为1，否则置为0，再从12点钟位置开始按顺时针方向将8个数字连成一个8位的2进制数。方法原理图如图3所示，计算方法如下公式所示
T-I
=— A)2*
，d,) = Ilj x -0
Io5 X < 0(I)
其中，P为邻居数，本专利中采用8邻居，R为半径大小，本专利采用I个像素。I和
分别为邻居像素点的灰度值和中心像素点的灰度值。二、统计一致LBP直方图并求得与振幅人脸图像对应的特征向量
将步骤(I)-②得到的8位2进制数分类，首先将2进制数首尾相连，形成一个环，将其中0-1转换次数不多于I次的归为一类，称为一致LBP算子；将剩余的2进制数都归到另一类。经统计，一致LBP算子共58种，非一致LBP算子计为I种，则可以用一个59维的向量描述图像的LBP直方图，其中第i维是相应的10进制数值为i的2进制数的个数。将16个59维向量连接成一个16*59维的列向量，即为该副图像对应的特征向量，如图3所示。三、制作人脸图像训练集矩阵
本专利使用的人脸数据库部分截图如图5所示。对人脸图像数据库中的每幅图像进行上述的处理，将得到的n个特征向量，将它们作为列向量排列，组合成一个矩阵，作为训练集矩阵，记为A ;如公式(2)所示
训练样本库共包含k个人，第i个人有ni个训练样本，这些样本以列向量形式组成矩阵Ai,如下
4. =-…e m-mMi(2)
四、将测试图像表示成训练集上的线性组合
对于测试图像，进行上述处理，计算得到对应的特征向量，记为y。将测试图像表示成训练集上的线性组合，即列出以下方程Ax=y，其中线性组合系数向量X，即为问题的解。则将训练库用矩阵表示为
A =[為,4...,4}] = [17W Vl,2> --■，vI^
本专利使用的人脸数据库经过上述处理得到的特征矩阵A的部分截图如图6所示。 当样本足够多时，可以将属于第i个人的测试样本y近似表示成
y =+ GjH + --- +，即
y = Ar。，其中
x0 = [Oj ...,Oj a;.<23 ... CKijlijOj 07 e Ma
五、求解线性组合系数向量X的最稀疏解
根据最稀疏原理，即具有最少非零元素的向量X是正确解的可能性最大，再结合(4)的方程，将原问题转化为约束最优化问题，得到X的唯一解。再根据X中具有最大值的元素的位置，确定测试图像所属的人脸对象，例如，方程式的解X的第i维的元素最大，则测试图像确定为属于数据库中第i个人脸对象。问题公式如(3)所示
ij = arg min||jr| , = ^(3)
其中，A为步骤四里定义的对应人脸数据库的特征向量矩阵，y为测试图像的特征向
量，X为方程解，限制条件argmin表示的是最终解&必须是所有符合方程解的x中，LI范数
最小的那个。此处展示一个具体用例，如图7所示，在对人脸对象的眼睛部位附加遮挡后，形成了佩戴墨镜的效果。将上述处理过程应用于该幅图像，将所得的特征向量作为方程的y，然后求解公式(3)，得到的解如图8所示。其中最大值出现在第I维，其值为0.6178，则说明该佩戴墨镜的女子对应的是人脸数据库中的第I个人，此解正确。
权利要求
1.一种基于分块一致LBP和稀疏编码的人脸识别方法，其特征在于具体步骤如下(1)分块统计LBP直方图①将人脸图像按一定格式分割成网格状，其步骤为将人脸图像的灰度值图像按行4等分、列4等分的模式，划分成16个大小相等的子图像；②在步骤(I)-①的原图像分割处理之后，对每个子图像区域进行LBP直方图计算，其步骤为对于图中每个像素点，比较其与周围8个邻居像素点的灰度值大小，邻居点较大则置为1，否则置为O，再从12点钟位置开始按顺时针方向将8个数字连成一个8位的2进制数；(2)统计一致LBP直方图并求得与整幅人脸图像对应的特征向量将步骤(I)-②得到的8位2进制数分类，首先将2进制数首尾相连，形成一个环，将其中0-1转换次数不多于I次的归为一类，称为一致LBP算子；将剩余的2进制数都归到另一类；经统计，一致LBP算子共58种，非一致LBP算子计为I种，则用一个59维的向量描述图像的LBP直方图，其中第i维是相应的10进制数值为i的2进制数的个数；将16个59维向量连接成一个16*59维的列向量，即为该副图像对应的特征向量；(3)制作人脸图像训练集矩阵对人脸图像数据库中的每幅图像进行步骤(I)-步骤(2)的处理，得到η个特征向量，将η个特征向量作为列向量排列，组合成一个矩阵，作为训练集矩阵，记为A ；(4)将测试图像表示成训练集上的线性组合对于测试图像，进行步骤(I)-步骤(2)的处理，计算得到对应的特征向量，记为y;将测试图像表示成训练集上的线性组合，即列出以下方程Ax=y，其中线性组合系数向量X，即为问题的解；(5)求解线性组合系数向量X的最稀疏解根据最稀疏原理，即具有最少非零元素的向量X是正确解的可能性最大，再结合步骤(4)的方程Ax=y，将原问题转化为约束最优化问题，得到X的唯一解；再根据X中具有最大值的元素的位置，确定测试图像所属的人脸对象。
全文摘要
本发明属于数字图像处理及模式识别技术领域，具体为一种基于分块一致LBP和稀疏编码的人脸识别方法。本发明首先将人脸图像按4*4分割成等大小的16块子区域，对于每块区域计算其1像素半径、8邻居的一致LBP直方图，再将16个子区域的LBP直方图连接成一个列向量，作为单幅人脸图像的特征向量。然后将通过将测试图像表示成训练集上的一个最稀疏线性组合，识别出人脸对象。相比于传统的特征提取和分类的算法，本发明能够更好的提取人脸的结构信息，并且能够在单训练样本和存在遮挡的情况下，表现出较高的识别率和鲁棒性。
文档编号G06K9/00GK102799870SQ20121024154
公开日2012年11月28日 申请日期2012年7月13日 优先权日2012年7月13日
发明者董文彧, 郭跃飞, 蒋龙泉, 鲁帅, 冯瑞 申请人:复旦大学