基于块稀疏结构低秩表示的单样本人脸识别方法与流程

本发明涉及单样本人脸识别方法，特别是涉及每个待识别对象仅有一幅训练图像的基于块稀疏结构低秩表示的单样本人脸识别方法，属于人脸识别
技术领域：
。
背景技术：
：自动人脸识别是利用计算机分析人脸图像或视频，实现辨认身份的一种技术。作为一种最直接、最自然、最容易被人接受的生物特征识别技术，自动人脸识别一直是模式识别和计算机视觉领域最热门的研究课题之一，其在理论和实际应用方面都有非常重要的研究意义。在理论方面，自动人脸识别问题的深入研究和有效解决，可以极大地促进模式识别、图像处理与分析、计算机视觉、神经计算和认知心理学等相关学科的发展。在实际应用方面，人脸识别技术在公共安全和日常生活中有着广泛的应用，特别是“9.11”恐怖袭击事件之后，恐怖组织直接威胁到国家安全和平常百姓的生命安全，人脸识别技术作为一种简单、有效的反恐手段而受到前所未有的重视，被广泛应用于商场、地铁和机场等公共场所。在众多已有的人脸识别方法中，鉴别特征的提取是人脸识别的关键。过去几十年中，在众多的特征提取算法中子空间学习方法受到了广泛的关注。其基本思想是通过一定的准则函数寻找一组基向量，把原始的高维特征投影到这组基向量所张成的低维子空间中，从而使得数据更加紧凑更具有鉴别性，另外也可以降低计算量。子空间学习方法中最具代表性的当属主成分分析(M.A.Turk,A.P.Pentland,“Eigenfacesforrecognition,”Journalofcognitiveneuroscience,1991,3(1):71-86)和线性鉴别分析(P.N.Belhumeur,J.P.Hespanha.Kriegman,D.J.“Eigenfacesvs.Fisherfaces:Recognitionusingclassspecificlinearprojection,”IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(7):711-720)，其已经被广泛地应用于人脸识别中并取得了很好的识别结果。近年来J.Wright等人提出的基于稀疏表示的人脸识别方法(A.Yang,A.Ganesh,S.Sastry,andY.Ma,“RobustFaceRecognitionviaSparseRepresentation,”IEEETrans.PatternAnalysisandMachineIntelligence,vol.31,no.2,pp.210-227,2009)使得特征空间的选择不再那么重要，其基本原理是利用所有训练图像构造字典，再通过求解一个欠定方程组来求得测试图像的最稀疏线性组合系数，然后根据这些系数来对图像进行识别分类。在实际生活中，例如护照验证、安全监控、身份证验证通常一个人只有一个样本，这种情况下的人脸识别问题我们称之为“单样本”问题。在这种情况下，很多传统的人脸识别方法以及基于稀疏或协同表示的人脸识别方法性能下降严重甚至无法工作。这主要是因为这些传统的方法对单样本情况下产生的野值点或遮挡、光照等稀疏噪声不够鲁棒。技术实现要素：本发明所要解决的技术问题是：提供基于块稀疏结构低秩表示的单样本人脸识别方法，为单样本人脸识别问题提供了一种简单有效的解决方案。本发明为解决上述技术问题采用以下技术方案：基于块稀疏结构低秩表示的单样本人脸识别方法，包括如下步骤：步骤1，用大小相等的正方形窗口对所有类的训练人脸图像和测试人脸图像进行分块，正方形窗口滑过图像的每个像素点，在图像的每一个像素点处得到对应的一个正方形块，接着在每个正方形块内部，再确定出一个中心子块及其若干邻域子块；步骤2，假设每个正方形块内的不同子块属于同一线性子空间，利用所有类的训练人脸图像像素i处对应的正方形块内的全部子块构建局部字典Ai，所有类的测试人脸图像像素i处对应的正方形块内的全部子块构建测试矩阵Xi，使用低秩表示模型描述不同测试人脸图像所对应的子空间；步骤3，在步骤2的低秩表示模型中加入块稀疏约束，得到新的低秩表示模型；步骤4，通过非严格的增广拉格朗日乘法求解步骤3新的低秩表示模型，得到低秩表示系数矩阵；步骤5，根据低秩表示系数矩阵，对每个测试人脸图像的各正方形块进行分类；步骤6，识别每个测试人脸图像的各正方形块的类别后，通过投票的方法确定测试人脸图像所属的类别。作为本发明的一种优选方案，所述步骤1的具体过程为：1.1定义图像中任意一个像素i为中心、半径为R的正方形上的像素为该像素的邻域像素，则像素i的领域像素集表示为每个邻域像素对应一个以该邻域像素为中心的S×S子块，S为大于等于3的奇数，子块中的中的S2个像素表示成向量形式为同样地，中心像素i也对应一个S×S子块，表示成向量形式为中心像素i及其邻域像素对应的所有子块形成一个以像素i为中心、大小为(S+2R)×(S+2R)的正方形块，P表示邻域像素的总个数；1.2采用边缘像素境像的方法来处理图像的边缘像素，得到以图像的边缘像素为中心的正方形块。作为本发明的一种优选方案，所述步骤2的具体过程为：2.1局部字典其中表示第k个或类训练人脸图像在像素i处对应的正方形块内的子块构成的字典，k＝1,2,…,K，K表示训练人脸图像的总个数或总类别数，P表示像素i的邻域像素的总个数；2.2测试矩阵其中表示第j个测试人脸图像在像素i处对应的正方形块内的子块构成的矩阵，j＝1,2,…,M，M表示测试人脸图像的总个数，P表示像素i的邻域像素的总个数；2.3使用低秩表示模型描述不同测试人脸图像所对应的子空间：minZi,Ei12||Ei||F2+λ||Zi||*,s.t.Xi=AiZi+Ei]]>其中，Zi表示低秩表示系数矩阵，Ei表示误差，λ表示||Zi||*的正则项系数，||·||F表示F范数，||·||*表示核范数。作为本发明的一种优选方案，步骤3所述新的低秩表示模型为：minZi,Ei12||Ei||F2+λ||Zi||*+βΣjΣk||δk,j(Zi)||F,s.t.Xi=AiZi+Ei]]>其中，Zi表示低秩表示系数矩阵，Ei表示误差，λ表示||Zi||*的正则项系数，β表示∑j∑k||δk,j(Zi)||F的正则项系数，δk,j表示映射函数，δk,j(Zi)表示将Zi中与第k类训练人脸图像和第j个测试人脸图像相关的系数保留下来，其余全部置0，||·||F表示F范数，||·||*表示核范数，Xi表示测试矩阵，Ai表示局部字典。作为本发明的一种优选方案，所述步骤4的具体过程为：4.1将步骤3新的低秩表示模型转化为如下形式，忽略像素i：minZ,E12||E||F2+λ||H||*+βΣjΣk||δk,j(Q)||F]]>s.t.X＝AZ+E,Z＝H,Z＝Q其中，Z表示低秩表示系数矩阵，E表示误差，λ表示||H||*的正则项系数，β表示∑j∑k||δk,j(Q)||F的正则项系数，δk,j(Q)表示将Q中与第k类训练人脸图像和第j个测试人脸图像相关的系数保留下来，其余全部置0，||·||F表示F范数，||·||*表示核范数，X表示测试矩阵，A表示局部字典；4.2将4.1的模型转换为增广拉格朗日函数L：L=12||E||F2+λ||H||*+βΣjΣk||δk,j(Q)||F+Tr(Y1T(X-AZ-E))+Tr(Y2T(Z-H))+Tr(Y3T(Z-Q))+μ2(||X-AZ-E||F2+||Z-H||F2+||Z-Q||F2)]]>其中，Tr(·)表示矩阵的迹，Y1、Y2、Y3表示拉格朗日乘子，T表示转置，μ为大于0的惩罚参数；4.3Z、H、Q、E、Y1、Y2、Y3初始化为0，μ＝10-6，固定其他未知数，更新H，则模型的目标函数可以转化为如下求H的目标函数：H=argminλμ||H||*+12||H-(Z+Y2/μ)||F2]]>该目标函数可以通过SVT算子求得闭合解；4.4获得4.3中H的最优解后，固定其他未知数，更新Q，则模型可以转化为如下求Q的目标函数：Q=argminβμΣjΣk||δk,j(Q)||F+12||Q-(Z+Y3/μ)||F2]]>令W＝Z+Y3/μ，上述求Q的目标函数可以转化为如下形式：Q*=argminαΣjΣk||δk,j(Q)||F+12||Q-W||F2]]>对于任意的k、j，4.5固定其他未知数，通过如下方式更新Z：Z＝(ATA+2I)-1(ATX-ATE+H+Q+(ATY1-Y2-Y3)/μ)4.6固定其他未知数，通过如下方式更新E：E＝(μ(X-AZ)+Y1)/(1+μ)4.7更新拉格朗日乘子：Y1＝Y1+μ(X-AZ-E)Y2＝Y2+μ(Z-H)Y3＝Y3+μ(Z-Q)4.8更新参数μ：μ＝min(ρμ,μmax)，其中，μmax＝1010，ρ＝1；4.9检查是否满足以下收敛条件：||X-AZ-E||∞＜ε||Z-H||∞＜ε||Z-Q||∞＜ε其中，ε＝10-8，当不满足上述收敛条件时，重复4.3-4.9，直至满足收敛条件，得到低秩表示系数矩阵。作为本发明的一种优选方案，所述步骤5的分类公式为：rji=argmaxk||δk,j(Zi)||F]]>其中，表示第j个测试人脸图像的像素i对应的正方形块所属的类别，δk,j(Zi)表示将Zi中与第k类训练人脸图像和第j个测试人脸图像相关的系数保留下来，其余全部置0，||·||F表示F范数。本发明采用以上技术方案与现有技术相比，具有以下技术效果：1、本发明一方面由于低秩表示对表情、光照变化和遮挡等具有很好的鲁棒性，因而具有较高的识别精度，另一方面源于加入的块稀疏约束增强了低秩模型的判别能力。2、本发明无需特征提取，分类简单易行；且充分利用了样本的互补性和相关性。3、本发明判别图像块类别的工作可以并行处理，因而可以大大节省计算时间，提供计算效率。附图说明图1是本发明基于块稀疏结构低秩表示的单样本人脸识别方法的算法流程图。图2是本发明基于块稀疏结构低秩表示的单样本人脸识别方法的像素邻域示意图；其中，(a)P＝8，R＝1；(b)P＝16，R＝2；(c)P＝24，R＝3。图3是本发明基于块稀疏结构低秩表示的单样本人脸识别方法的子块关系示意图，以P＝8，R＝1为例；其中，(a)为中心像素i0的子块，(b)为邻域像素i1的子块，(c)为邻域像素i5的子块。图4是本发明基于块稀疏结构低秩表示的单样本人脸识别方法的块与子块两级划分示意图，以P＝16，R＝2为例。图5是本发明基于块稀疏结构低秩表示的单样本人脸识别方法块稀疏结构图。图6是本发明基于块稀疏结构低秩表示的单样本人脸识别方法在ExtendedYaleB人脸库上的性能效果对比图。图7是本发明基于块稀疏结构低秩表示的单样本人脸识别方法在AR人脸库Session1上的性能效果对比图。图8是本发明基于块稀疏结构低秩表示的单样本人脸识别方法在AR人脸库Session2上的性能效果对比图。图9是本发明基于块稀疏结构低秩表示的单样本人脸识别方法在LFW人脸库上的性能效果对比图。具体实施方式下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。近年来，低秩表示LRR(G.Liu,Z.Lin，Robustrecoveryofsubspacestructuresbylow-rankrepresentation)由于能够实现多个子空间结构的有效分割从而吸引了越来越多的关注。它试图揭示隐含在高维空间的成员关系。由于低秩约束对野值和各种图像变化更加鲁棒，因而，LRR也应该可以用来解决单样本问题。此外，低秩表示模型利用样本间的相关性和互补性从全体数据中捕捉本质特征，并且符合人类视觉感知的稀疏编码策略，因此理论上适合用于提升单样本人脸识别性能。基于这一想法，本发明提出一种基于块稀疏结构低秩表示的单样本人脸识别方法。结合图1所示，本发明基于块稀疏结构低秩表示的单样本人脸识别方法，包括以下步骤：1、将所有单训练样本和测试样本的人脸图像划分为多个重叠的块，每个块中心对应图像的一个像素点；接着在每一块内部，再划分出一个中心子块和周边的若干邻域子块，提出人脸图像的每一个块内的不同子块属于同一线性子空间的合理假设，具体如下：(1)将所有单训练样本和测试样本的人脸图像划分为多个重叠的块，每个块中心对应图像的一个像素点，以该像素点为中心、半径为R的正方形上的像素为该像素的邻域像素，则像素i的邻域像素集可以表示为如图2的(a)、(b)、(c)所示，分别为不同P，R情况下的邻域集。邻域集中的每个像素对应一个以其为中心的S×S子块(S取大于等于3的奇数)，子块中的S2个像素表示成向量形式为同样地，中心像素i也对应一个S×S的子块，表示成向量形式为中心像素i及其邻域像素对应的所有小块形成了一个以像素i为中心的大块，大小为(S+2R)×(S+2R)，如图3的(a)、(b)、(c)所示。对所有训练人脸图像和测试人脸图像使用上述固定大小的正方形大块进行分块，大块中心对应图像中的像素点，每个大块由图3所示的一个中心子块和周边的若干邻域子块组成。如图4所示，为图像的两级划分示意图。(2)对于图像边缘像素，采用边缘像素境像的方法来处理因大块超出图像边缘而导致其内部部分像素值缺失的现象，得到以图像边缘像素为中心的大块。(3)由于大块内的中心子块与邻域子块具有极强的相似性，因此可以假设其属于同一线性子空间。2、一个单训练样本对应一个类，使用所有类的训练人脸图像的像素i处对应的块内的全部子块构成局部字典Ai，所有类的测试人脸图像的像素i处对应的块内的全部子块构成测试矩阵Xi；使用如下的低秩表示模型来描述不同人脸所对应的子空间：minZi,Ei12||Ei||F2+λ||Zi||*,s.t.Xi=AiZi+Ei]]>其中，Zi表示低秩表示系数矩阵，Ei表示误差，λ表示||Zi||*的正则项系数。3、根据1.2所述的低秩表示模型，每张测试图像的局部块内的子块可以由训练图像在相同位置的子块及其邻域子块线性联合表示，所以在理想情况下利用低秩模型获取低维表征系数后，表征系数矩阵会呈现出块稀疏的结构，如图5所示。为了进一步加强系数矩阵的块稀疏性，我们在低秩表达式模型中显式地加入一个块稀疏约束来进一步强化所得系数矩阵的块稀疏性，即：minZi,Ei12||Ei||F2+λ||Zi||*+βΣjΣk||δk,j(Zi)||F,s.t.Xi=AiZi+Ei]]>其中，β表示∑j∑k||δk,j(Zi)||F的正则项系数，δk,j表示映射函数即Rm×n→Rm×n，δk,j(Zi)表示将Zi中与第k类训练人脸图像和第j个测试人脸图像相关的系数保留下来，其余全部置0。4、通过非严格的增广拉格朗日乘法求解1.3中的低秩模型获得表示系数矩阵Zi，具体步骤如下：(1)为了方便，我们忽略1.3中低秩模型的上标i，将基于块稀疏结构的低秩模型转化为如下的形式：minZ,E12||E||F2+λ||H||*+βΣjΣk||δk,j(Q)||F]]>s.t.X＝AZ+E,Z＝H,Z＝Q(2)将(1)中的低秩模型转换为如下的增广拉格朗日函数L：L=12||E||F2+λ||H||*+βΣjΣk||δk,j(Q)||F+Tr(Y1T(X-AZ-E))+Tr(Y2T(Z-H))+Tr(Y3T(Z-Q))+μ2(||X-AZ-E||F2+||Z-H||F2+||Z-Q||F2)]]>其中，Tr(·)表示矩阵的迹，Y1、Y2、Y3表示拉格朗日乘子，T表示转置，μ为大于0的惩罚参数。(3)Z、H、Q、E、Y1、Y2、Y3初始化为0，μ＝10-6，μmax＝1010，ρ＝1，ε＝10-8。(4)首先固定其他未知数，更新H，则模型的目标函数可以转化为如下求H的目标函数：H=argminλμ||H||*+12||H-(Z+Y2/μ)||F2]]>该目标函数可以通过SVT(SingularValueThresholding)算子求得闭合解。(5)获得(4)中H的最优解后，固定其他未知数，更新Q，则模型可以转化为如下求Q的目标函数：Q=argminβμΣjΣk||δk,j(Q)||F+12||Q-(Z+Y3/μ)||F2]]>该目标函数可以一块一块地去解，令W＝Z+Y3/μ，那么上述求Q的目标函数可以转化为如下形式：Q*=argminαΣjΣk||δk,j(Q)||F+12||Q-W||F2]]>对于任意的k、j，(6)固定其他未知数，通过如下方式更新Z：Z＝(ATA+2I)-1(ATX-ATE+H+Q+(ATY1-Y2-Y3)/μ)(7)固定其他未知数，通过如下方式更新E：E＝(μ(X-AZ)+Y1)/(1+μ)(8)更新拉格朗日乘子：Y1＝Y1+μ(X-AZ-E)Y2＝Y2+μ(Z-H)Y3＝Y3+μ(Z-Q)(9)更新参数μ：μ＝min(ρμ,μmax)(10)检查是否满足以下收敛条件：||X-AZ-E||∞＜ε||Z-H||∞＜ε||Z-Q||∞＜ε若不满足，则重复(4)-(10)的操作，直至满足收敛条件。5、根据表示系数矩阵Zi直接进行分类，第j个测试样本的第i个区域块的分类结果由下式获得：rji=argmaxk||δk,j(Zi)||F]]>其中，表示第j个测试人脸图像的像素i对应的正方形块所属的类别。6、对每个测试人脸图像块矩阵Xi的低秩表示分类可以并行进行，即可以同时对多个测试人脸图像块矩阵进行步骤1.2、1.3、1.4、1.5操作。7、识别每个测试人脸块的类别之后，通过投票的方法最终确定测试人脸图像所属的类别。本发明基于块稀疏结构低秩表示的单样本人脸识别方法，每块的低秩表示分类可以并行操作，图6为在ExtendedYaleB人脸库上的性能效果对比图，图7为在AR人脸库Session1上性能效果对比图，图8为在AR人脸库Session2上的性能效果对比图，图9为在LFW人脸库上的性能效果对比图。从图6可以看出，本发明方法取得了最佳的识别率。另外图6也充分说明本发明方法对光照变化具有很强的鲁棒性，因为ExtendedYaleB人脸库中的人脸图像光照变化非常大。从图7和图8可以发现，本发明方法可以在不依赖于额外训练样本集的条件下仍然获得最佳性能，同时对光照、表情、遮挡、时间变化都具有很好的鲁棒性。从图9可以看出，本发明方法在无约束环境下仍然可以获得最佳的性能。以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。当前第1页1 2 3