专利名称：基于约束采样的稀疏表示人脸识别方法
技术领域：
本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及人脸识别方法。
背景技术：
生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及 与人脸识别技术相融合的生物特征识别技术。目前已有的人脸识别方法主要是对整个人脸进行识别的，而在诸多的识别方法 中，主要采用主分量分析(PCA-Principal Component Analysis)、弹性匹配、神经网络、几 何特征等方法。同时，人脸识别的难点还在于
(1)表情引起的人脸塑性变形(2)姿态引起的人脸多样性(3)年龄引起的人脸变化(4)发型、胡须、眼镜、化装等因素引起的人脸模式的多重性(5)光照的角度、强度以及传感器特性等因素引起的人脸图像的差异性诸多的因素使得人脸识别成为一项棘手而富挑战性的课题，也因此在近年成为科 研的热点。目前已有的一种基于稀疏表示的人脸识别方法其主要特点是将稀疏信号表示这 一新理论应用于人脸识别。该方法首先假设待识别的人脸可以由训练集中该类别的人脸线 性表示，利用这一假设，通过计算Ll范数最小值求得稀疏表达。该方法具体包括以下步骤1)对于训练集中每一幅人脸图像进行处理，提取特征向量，将训练集的所有特征 向量排列形成特征矩阵A，将特征矩阵中的一行或多行作为训练集的一个类别，一个类别对 应训练集的一个人的多幅人脸图像；2)对于待识别的人脸图像按照同样的方法提取特征向量y ；3)将待识别人脸图像的特征向量用训练集图像的特征向量线性表示，求出线性表 示的系数；(由于这种线性表示的系数具有多样性)计算如下Ll范数最小值问题，选择其 中Ll范数最小的系数作为线性表示的系数X = argmin||x| ,满足 | | y-Ax |2 ^ ε (7)其中ε为预设的误差，I Iy-Axl |2为向量y-Ax的L2范数；4)对于训练集的每一类别i = 1，…，k(k为训练集的类别数)，根据步骤3)得到 的系数i，按照公式⑶计算对应于该类别的残差A (y)；(^) = I^(8)其中，《(x)e沢“，对于第i类，Si(X) =x;对于其他类，Si(X) =0；5)比较步骤4)求出每一类的对应残差，残差的最小值对应的训练集的类别作为 待识别人的识别结果。该方法对人脸光照和表情的变化具有鲁棒性，但是对图像的配准有较高的要求。当图像之间的配准有几个像素的偏差时，它的性能就会受到很大的影响。与本发明相关的已有技术说明如下人脸检测利用Real Adaboost方法与新的特征定义形式以及构造方式得到层次 型检测器，并选择计算次数少的特征作为候选特征以提高检测速度。人脸关键特征点的提取其主要特点是利用SUSAN算子提取边缘，并与方向积分 投影方法结合，获得眼球、鼻尖、下巴等一系列关键特征点位置。实验结果表明，该方法平均 定位准确率在95%以上。
发明内容
本发明的目的是为了提高人脸识别算法的鲁棒性，利用人脸关键点的精确定位结 果，提出一种基于约束采样的稀疏表示人脸识别方法，该方法通过对约束区域进行采样，使 其具有更高的人脸识别率。本发明提出的基于约束采样的稀疏表示人脸识别方法，其特征在于，该方法包括 以下步骤1)对训练集中所有人脸图像分别进行特征提取，得到训练集人脸图像的特征向 量，将训练集的所有人脸图像的特征向量排列形成特征矩阵，将特征矩阵中的一行或多行 作为训练集的一个类别，一个类别对应训练集的一个人的多幅人脸图像；2)对待识别人的人脸图像进行特征提取，得到待识别图像的特征向量；3)将待识别人脸图像的特征向量用训练集人脸图像的特征向量线性表示，求出线 性表示的系数；选择其中Ll范数最小的系数作为线性表示的系数；4)对于训练集的每一类别，根据步骤3)得到的系数计算对应于该类别的残差；5)按照步骤4)求出训练集的每一类的对应残差，残差的最小值对应的训练集的 类别作为待识别人的识别结果；所述步骤1)或步骤2)中的进行特征提取，具体包括(a)对于给定的一幅人脸图像，通过人脸检测定位其人脸区域；定位两个眼球点， 将图像尺度归一化，并进行旋转，使两眼呈水平状；(b)选取人脸区域中的两个以上的关键特征点进行定位；(C)对约束区域进行采样根据所述关键特征点的位置选定眼睛、鼻尖和嘴巴区 域；对这些约束区域进行均勻采样，得到人脸图像的纹理特征；(d)将约束采样得到的人脸图像纹理特征排列成向量，并进行L2范数归一化，得 到人脸图像的特征向量。本发明的特点及效果本发明根据人脸的关键特征点，划定眼睛、鼻尖、嘴巴区域，再通过约束采样提取 出纹理特征。接着根据稀疏表示的理论进行识别的矩阵运算，满足了原算法对配准的要求， 具有更高的人脸识别率。
具体实施例方式本发明提出的基于约束采样的稀疏表示人脸识别方法结合实施例详细说明如下 本实施例方法包括以下步骤
1)对训练集中所有人脸图像分别进行特征提取，得到训练集人脸图像的特征向 量，将训练集的所有人脸图像的特征向量排列形成特征矩阵A，将特征矩阵中的一行或多行 作为训练集的一个类别，一个类别对应训练集的一个人的多幅人脸图像；2)对待识别人的人脸图像进行特征提取，得到待识别图像的特征向量y ；3)将待识别图像的特征向量用训练集图像的特征向量线性表示，求出线性表示的 系数；(由于这种表示具有多样性)选择其中Ll范数最小的系数作为线性表示的系数；步 骤1)_2)得到训练矩阵A，特征向量y，步骤3)就是求解如下线性方程Ax = y (9)(由于通常情况下，训练矩阵A的行数小于列数，方程(9)为不定方程，有多个非零 解，必须增加约束条件)定义X的Ll范数I I X I 11为I χ I1 = X1KlX2I+...+IxJ (10)其中Xj(j = 1,2,... ,η)为向量χ的一个分量，Xj为Xj的绝对值，η为向量χ的维数。根据公式(7)，计算Ll范数最小的系数作为线性表示的系数。4)对于训练集的每一类别，根据3)得到的系数计算对应于该类别的残差；对于每一类别i = 1，…，k，提取出对应于该类的系数，与该类的特征向量线性组 合，再与待识别的特征向量比较，分别按照(8)式计算其残差ri。6)按照4)求出每一类对应的残差A (i = 1，…，k)，残差的最小值对应的训练集 的类别作为待识别人的识别结果；上述步骤1)或步骤2)中的进行特征提取，具体包括a)对于储存在计算机的人脸图像，根据人脸检测定位其人脸区域；定位两眼球 点，并将图像尺度归一化到360X480像素，使人脸位于图像中间，且下颂点到两眼中心连 线的距离大约为200个像素(该尺度只作为举例说明，并不对图像大小进行约束)，通过旋 转，使双眼在同一水平线上；b)定位双眼球、鼻尖、下巴四个关键特征点(四个点的选取只作为举例说明，实际 应用中也可以选取两个以上的其他部位的关键点，随着关键点选取的不同，性能将有微小 差别)；本实施例采用SUSAN算子提取边缘，并与方向积分投影方法结合，获得眼球、鼻 尖、下巴四个关键特征点的位置；c)对约束区域进行采样根据所述关键特征点的位置选定眼睛、鼻尖和嘴巴区 域；对这些约束区域进行均勻采样，得到人脸图像的纹理特征；本实施例具体的做法是用LeftEye_x，LeftEye_y分别表示左眼球的横、纵坐标值；RightEye_x， RightEye_y分别表示右眼球的横、纵坐标值；NoseTip_x、NoseTip_y表示鼻尖的横、纵坐标 值；Chin_X、Chin_y分别表示下颂点的横、纵坐标值。按照公式(1)_(6)，取参数 =0. 3,a2 =0，4，a3 = 0. 3，a4 = 0. 2,b1 = 0. 35,b2 = 0，l，b3 = 0. 3，。= 0. 5，c2 = 0，2，c3 = 0. 8，分 别得到左眼区域ImgEyeLeft，右眼区域ImgEyeRight，鼻尖区域ImgNose以及EyeDistance 嘴巴区域。接着根据预设的采样间隔r = 6 (r ^ 1)，对这四个区域进行固定点均勻采样，得到人脸图像的纹理特征(属于常规技术)；d)将约束采样得到的人脸图像纹理特征排列成向量，并进行L2范数归一化，得到 人脸图像的特征向量；向量χ的L2范数I |x| |2定义为
<formula>formula see original document page 7</formula>其中Xj(j = 1，2，...，n)为向量χ的一个分量，η为向量χ的维数。基于约束采样的稀疏表示人脸识别方法在AR库以及中科院人脸表情库进行测 试。AR库选取90个不同类别的人脸，其中每一类包含14张不同光照和表情的正面图像，实 验中7张训练另外7张用来测试，所达到的识别率为98. 1%,(纹理特征维数为432)；中 科院人脸库选取202类不同人脸，其中每一类包含6张不同表情的正面图像，实验中任意选 择4张训练，另外2张用来测试，所达到识别率为98.51% (纹理特征维数768)。
权利要求
一种基于约束采样的稀疏表示人脸识别方法，其特征在于，该方法包括以下步骤1)对训练集中所有人脸图像分别进行特征提取，得到训练集人脸图像的特征向量，将训练集的所有人脸图像的特征向量排列形成特征矩阵，将特征矩阵中的一行或多行作为训练集的一个类别，一个类别对应训练集的一个人的多幅人脸图像；2)对待识别人的人脸图像进行特征提取，得到待识别图像的特征向量；3)将待识别人脸图像的特征向量用训练集人脸图像的特征向量线性表示，求出线性表示的系数；选择其中L1范数最小的系数作为线性表示的系数；4)对于训练集的每一类别，根据步骤3)得到的系数计算对应于该类别的残差；5)按照步骤4)求出训练集的每一类的对应残差，残差的最小值对应的训练集的类别作为待识别人的识别结果；所述步骤1)或步骤2)中的进行特征提取，具体包括(a)对于给定的一幅人脸图像，通过人脸检测定位其人脸区域；定位两个眼球点，将图像尺度归一化，并进行旋转，使两眼呈水平状；(b)选取人脸区域中的两个以上的关键特征点进行定位；(c)对约束区域进行采样根据所述关键特征点的位置选定眼睛、鼻尖和嘴巴区域；对这些约束区域进行均匀采样，得到人脸图像的纹理特征；(d)将约束采样得到的人脸图像纹理特征排列成向量，并进行L2范数归一化，得到人脸图像的特征向量。
2.如权利要求1所述的方法，其特征在于，所述步骤(c)对约束区域进行采样，具体包括用LeftEye_x，LeftEye_y分别表示左眼球的横、纵坐标值；RightEye_x，RightEye_y 分别表示右眼球的横、纵坐标值；NoSeTip_X、NoseTip_y表示鼻尖的横、纵坐标值；Chin_x、 Chin_y分别表示下颂点的横、纵坐标值；定义EyeDistance为双眼距离EyeDistance = Ri ghtEye_x~LeftEye_x(1)左眼区域ImgEyeLeft定义为一个矩形区域，它表示为ImgEyeLeft = LeftEye_x~a1 XEyeDistance, LeftEye_y-a2XEyeDistance(2)LeftEye_x+a3XEyeDistance, LeftEye_y+a4XEyeDistance其中等式右边分别为矩形区域左上角横坐标，纵坐标，右下角的横坐标，纵坐标。系数 ai，a3的取值范围为
，a2，a4取值范围为
。同理，右眼区域ImgEyeRight 表示为ImgEyeRight = RightEye_x~a1 XEyeDistance, RightEye_y-a2XEyeDistance(3)RighttEye—x+a3XEyeDistance, RightEye—y+a4XEyeDistance其中系数&1，a2，a3，a4取值同式(2)；鼻尖区域ImgNose表示为ImgNose = NoseTip_x-b1 XEyeDistance, NoseTip_y-b2XEyeDistance(4)NoseTip_x+b1 XEyeDistance, NoseTip_y+b3XEyeDistance其中系数、的取值范围为
，b2，b3取值范围为
。定义MouthDistance 为嘴巴区域的垂直距离MouthDistance = Ch i n_y-No s e T i p_y(5)嘴巴区域ImgMouth定义为一矩形区域，它表示为ImgMouth = NoseTip_x-c1 XEyeDistance, NoseTip_y+c2XMouthDistance(6)NoseTip_x+c1 XEyeDistance, NoseTip_y+c3XMouthDistance 其中系数。的取值范围为
, c2取值范围为W.2，0.4]，c3的取值范围为
。接着根据预设的采样间隔r(r≥1)，对这四个区域进行固定点均勻采样，得到 人脸图像的纹理特征。
全文摘要
本发明涉及基于约束采样的稀疏表示人脸识别方法，属于图像处理领域，该方法包括对训练集中所有人脸图像分别基于约束区域进行采样进行特征提取，得到的特征矩阵，特征矩阵的一个类别对应训练集的一个人的多幅人脸图像；对待识别人的人脸图像基于约束区域进行采样进行特征提取，得到待识别图像的特征向量；该特征向量用训练集人脸图像的特征向量线性系数；对于训练集的每一类别计算对应于该类别的残差；残差的最小值对应的训练集的类别作为待识别人的识别结果；该方法通过对约束区域进行采样，使其具有更高的人脸识别率。
文档编号G06K9/00GK101833654SQ20101014079
公开日2010年9月15日 申请日期2010年4月2日 优先权日2010年4月2日
发明者熊英, 王晶, 苏光大 申请人:清华大学