一种类别特色字典和共享字典学习的人脸表示算法
【专利摘要】本发明公开了一种类别特色和共享字典学习的人脸表示算法，所述人脸表示算法主要包括类别特色字典学习算法和共享字典学习算法两大模块；所述类别特色字典学习主要通过约束类别子字典之间尽量相互不相关以及稀疏系数类内方差尽量小类间方差尽量大，提高类别子字典和稀疏系数的辨别性。所述的类间共享字典是为了得到测试样本可能包含的各种复杂的变化本发明的积极效果在于为训练样本为正常人脸、测试样本包含复杂变化的人脸表示方式提供理论支撑，为提高人脸识别的效率提供了实验依据。
【专利说明】
一种类别特色字典和共享字典学习的人脸表示算法
技术领域
[0001] 本发明涉及一种自适应人脸表示算法，特别是一种针对训练样本为正常人脸、测 试样本包含光照表情姿态遮挡等变化的人脸表示算法。
【背景技术】
[0002] 近年来，人脸识别已被广泛研究，并试图应用于实际场景。其中基于稀疏表示的方 法取得了很好的人脸识别效果，而字典学习作为稀疏表示的关键，已被广泛研究。通过学习 方法得到字典的方法可以分为两种，一种是为所有类别学习一个整体字典而另一种是为每 一类数据学习一个对应的子字典。前者对应的稀疏系数是具有辨别性的，例如Jiang等人通 过增加同类系数更加相似这一约束来学习字典。此外，非负稀疏约束、局部稀疏约束也可有 效提高稀疏系数的分类能力。然而，学习整体字典的方法会丢失字典原子与训练数据标签 之间的联系，无法充分利用每类数据的重构误差进行分类。后者对应的稀疏系数和字典均 是具有辨别性的，如Sprechmann等人利用稀疏系数为每类训练数据学习子字典，并应用于 人脸识别和聚类;Yang等人提出的H)DL算法基于Fisher准则，使学习到的稀疏系数具有更 强的分类能力；同时，Ca等人提出的SVGDL算法利用SVM的思想通过参数的方法用于辨别字 典学习。但实际上，以上辨别子字典学习的方法均需在训练样本充分的前提下才能达到理 想的效果，且在测试数据相较于训练数据存在较大的差异时，分类结果也不佳。为了解决这 个问题，Zhou等人利用马尔科夫随机场的思想，在测试样本中存在局部连续遮挡时仍能取 得较好的分类效果。Deng等人提出的ESRC算法通过计算辅助数据中有变化的数据与标准数 据的差异来构造类内变化字典，用于缓解测试数据存在较大差异这一难题。随后，Deng等人 又提出SSRC算法，通过计算每类辅助数据到其类中心的差异来减少辅助字典中原子的数 量，这两种方法在测试数据存在较大差异时分类效果均有所提升。由此可见，辅助数据发挥 了至关重要的作用，而在ESRC和SSRC中，通过偏手工的方法计算辅助字典则会受辅助数据 个体的影响，从而降低其泛化能力。同时，这两种方法作为SRC的扩展，也是直接将训练数据 作为字典。相应地，其字典的辨别能力也是不足的。
[0003] 基于以上讨论，本发明旨在解决训练样本有限，测试样本含有未知变化的复杂情 况下的人脸表示问题。通过类别子字典学习使学习到的类别子字典尽量相互不相关，从而 提高子字典的分类能力;此外，令稀疏系数类内方差尽量小类间方差尽量大以提高稀疏系 数的辨别性;与此同时，通过学习的方法得到类内变化字典有效降低了偏手工辅助字典的 局限性。经过不断的研究、设计和实验验证之后，终于得出了颇具实用价值的本发明。
【发明内容】
[0004] 本发明的主要目的在于，克服现有的人脸表示算法在复杂条件下表现不够理想， 提出一种类别子字典和稀疏变化字典结合的人脸表示算法，提高了复杂环境下人脸识别的 准确率。
[0005] 本发明提出的一种类别特色字典和稀疏变化字典结合的人脸表示算法，所述算法 主要包括类别特色字典学习和类间共享字典学习两大部分;所述类别特色字典是通过约束 类别子字典之间尽量相互不相关以及稀疏系数类内方差尽量小类间方差尽量大，提高类别 子字典和稀疏系数的辨别性。与此同时，为了解决测试样本存在一系列变化的问题，提出通 过辅助数据学习测试样本可能存在的变化。
[0006] 本发明的实现步骤如下：
[0007] si:分别对训练样本、测试样本、辅助样本进行特征提取。每幅人脸图像的特征提 取具体步骤包括：
[0008] SlOl:对相应的人脸图像进行人脸区域检测；
[0009] S102:对检测到的人脸进行人脸特征点检测，一般情况下检测人脸的五个特征点， 包括眼睛、鼻尖、嘴角部分。通过检测到的特征点进行人脸区域的裁剪；
[0010] S103:按照步骤S102得到的各部分人脸，组成训练样本矩阵、测试样本矩阵、辅助 数据矩阵，并通过PCA将样本投影到相同的空间。
[0011] S2:将训练样本进行类别特色字典学习，类别特色字典学习的目的是得到更具有 分类能力字典，其特征在于，其目的是最小化目标函数(1):
[0012]
[0013]训练数据A= M1，A2，…，Ακ}，其中為e 为第i类训练数据，X^A^D重构的稀疏 系数，-是乂樹^重构的稀疏系数，Xi e 为第i类数据的稀疏系数，类别字典为D= (D1 ,D2，…， Dk}，其中Di为学习到的第i类的字典，字典D中除了Di之外剩余的集合表示为Di-，Di-= [D1，…，Dp1，
(Mi 为稀疏系数的类内方差和类间方差。具体的步骤包括：
[0014] S201:初始化类别特色字典，此时初始化的方法一般包括随机初始化和特征向量 初始化的方法；
[0015 ] S202 :初始化字典之后，计算每个训练样本由初始化字典表示得到的稀疏系数。更新的 方法为求解泛(為）=细咕间4為,纪+別1別11}，其中￡(4%右）=丨14-乃別|^4 并计算每个样本由初始化字典重构的重构误差；
[0016] S203:稀疏系数更新完之后，更新每个类别特色字典中的原子;逐个更新子字典， 当更新第j个子字典，默认其他子字典h (i矣j)已更新完毕。
[0017] S204:判断是否符合迭代的条件，若符合则停止迭代得到类别特色字典，否则返回 重复步骤S202和步骤S203。
[0018] S3:通过辅助数据中的正常人脸和变化人脸迭代求解稀疏变化字典，其特征在于， 其目的为学习到测试数据中可能存在的变化。其具体步骤包括：
[0019] S301:共享字典学习时字典初始化方法为随机初始化；
[0020] S302:共享字典学习，原理为每一类的变化人脸减去该类的正常人脸。其特征在 于，通过以下方式得到Ds = [Bi-mici，B2-m2C2,…，BkikCk]其中.Q eUBk为第k类 的变化数据。
[0021] S4:得到类别特色字典和稀疏变化字典之后，重构测试数据，可将子字典与共享字 典结合组成K个子字
[0022] S401:重构
其中^为类别特色字典上的稀疏系数，％为稀疏变化字典上的稀疏系数；[00231 以彳+管甫拔1彳呈荖你菊丨田S讲轩人脸分类，具体的由每类数据重构的重构误差
y 于是测试数据的标签为identify (y) = arg ΓΓι丄ill L。1 j 0
[0024] 本发明具有明显的有益效果。借由上述技术方案，本发明的类别特色和类间共享 字典结合的人脸表示算法的优点是，为人脸识别算法增加了鲁棒性，提高了训练样本为正 常脸，测试样本包含丰富的干扰变化的情况下的人脸识别的效率。在使用的实用性及成本 效益上，确实完全符合产业发展所需，相当具有产业利用价值。
【附图说明】
[0025] 图1为人脸图像预处理流程图；
[0026] 图2为本发明类别特色字典和稀疏变化字典人脸表示流程图；
[0027]图3为稀疏变化字典学习原理图；
[0028]图4类别特色字典和稀疏变化字典的人脸表示原理图；
[0029]图5 AR数据库上训练和测试样本；
[0030]图6为AR库上实验2图片尺寸为120*165的实验结果图；
[0031]图7为AR库上实验2图片尺寸为60*80的实验结果图。
【具体实施方式】
[0032] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明，这些附图均为简化的示意图，仅以示意方式说明本 方面的基本结构，因此其仅显示与本发明有关的构成。
[0033] 本发明的实验平台为MATLAB 2014,计算机主机配置：Inter(R)Core(TM) 15-3470 的中央处理器，8GB内存。
[0034] 实施例
[0035] 现结合附图对本发明作进一步说明，参见图1和图2,一种类别特色字典和共享字 典学习的人脸表示算法的具体步骤：
[0036] 1.输入样本，通过步骤SlOl得到人脸区域，通过步骤S102得到裁剪后的人脸，此时 人脸以矩阵形式存储，以便后续的特征降维。然后通过PCA寻找投影矩阵，记投影矩阵为W， 注意此处的投影矩阵是通过计算训练样本的最佳投影矩阵得到的，投影之后的训练样本、 测试样本、辅助数据均在一个空间中。
[0037] 2.步骤S2类别特色字典学习的详细过程如下：
[0038] (1)初始化字典D
[0039]将训练数据A的特征向量初始化为字典的原子，且将字典的每一类归一化为 \\DiX：J)\\2 =IlVilJ-,
[0040] (2)固定字典，更新X目标函数转换为：
[0041] Q(Xi) = +.2)·'丨14110(2)
[0042] 其中γ =h/2，Xi的求解可通过SRC中的方法；
[0043] (3)固定X，更新D。逐个更新子字典，当更新第j个子字典，默认其他子字典 j)已更新完毕，因此目标函数可转化为：
[0047] 其中Ai. = = [Α,?同理，逐个更新込.=.[#,-.tip:]中的原子，当更新Cif时，
其他原子已更新完毕，设Zi =[ Z⑴；…；Z (m)]，其中Z (k)为Zi的第Η?，-于是有：
[0053] (4)重复步骤2和步骤3直到前后两次的函数Q的值达到阈值或者达到最大迭代次 数为止
[0054] 3.步骤S4类别特色字典和稀疏变化字典的人脸表示算法
[0055] 类^特色与稀疏变化字典的人脸表示算法的原理见图4。得到类别特色字典和稀疏变化字典 之后，重构测试数据，可将子字典与共享字典结合组成K个字典S 1 =间,os]，δ2 = [02, Di]，·"，Sff = [Oft !y:, 用于重构测试数据，计算测试数据y由每个字典重构时的稀疏系数：
[0056]
[0057]
[0058]
[0059]同样地，y的标签为：
[0060] identify(y) =arg miru{ei} (10)
[0061] 通过上述算法具体的工作过程，本发明的类别特色字典为训练样本仅为一个正常 人脸的情况下的学习更具有分类能力的字典。稀疏变化字典学习算法，旨在解决测试样本 含有丰富变化的情况下的人脸表示问题。提高了训练样本为正常脸，测试样本包含丰富的 干扰变化的情况下的人脸识别的效率。
[0062] 4.实验结果与分析
[0063]为了验证本发明算法的有效性，在AR、CMUPIE数据集上设计了实验。数据集样本见 图4。同时为了对比本文算法在人脸表示上的优越性，首先将算法进行PCA降维后，利用CRC、 3此、顺、？001^』5此、5￥601^与本文的算法进行分类。其中本文算法类别特色字典中可变参数 均通过五折交叉验证得到，其中A 1、λ2可从集合中{〇. 1，〇. 05，0.01，0.005，0.001}中选择，在 所有的实验中均取ω =0.5。
[0064] AR库上实验
[0065] 在AR库中，设计了两组实验:实验1和实验2。
[0066]在实验1中随机选取100人用于实验，每人一张正面人脸用于训练，其余每个人的 26张图片被分为7个集合，如图5,其中没有光照表情变化的两张人脸用于训练，其余的用于 测试，S1为包含表情变化的样本;S 2为包含光照变化的样本;S3为包含遮挡变化的样本;S4为 戴眼镜且包含光照变化的样本;S 5为戴围巾且包含光照变化的样本;S6= {S4，S5}为包含遮 挡和光照变化的样本。实验图片下采样为60X80,无其他任何预处理操作，最后采用PCA将 样本降为160维。图3中，（a)图为每类数据的正常脸的平均脸，（b)图为AR库中辅助数据得到 的部分类间共享字典。表1为各算法在各集合上的识别率。
[0067]表1:算法在AR库上的实验1的结果（％ )
[0069] 从表1中可看出，本文算法在集合Si、S2、S3、S5、S6中均取得了最好的分类结果，表明 CSSVDL算法在测试样本与训练样本差异较大的情况下，也能达到理想的效果。此外ESRC和 本文算法在仅存在光照变化的集合S 2上的准确率均达到了98%以上，这说明在测试样本含 有光照变化时引入了类内差异字典学习的方法可有效提高识别率。同样ESRC、SSRC的分类 准确率优于原始的SRC也表明引入辅助字典的是十分有必要的。同理本文算法的结果优于 仅通过类别字典学习的FDDL。而本文的算法在存在比较复杂的变化集合S 6上的表现优于 ESRC和SSRC也表明本文算法在处理测试样本存在复杂变化的时更有优势。
[0070] 由实验1中集合S6上的分类结果可知，算法还有很大的提升空间，可以做的提升 有：1)提取更有辨别力的人脸特征;2)增加训练样本的数量。为了验证该假设我们设计了实 验2,上在实验2中，选取每个人的正常脸和具有表情光照变化的样本作为训练样本，具有光 照和遮挡变化的样本作为测试样本，同时提取样本的局部Gabor特征，原始人脸图像的尺寸 为120*165和下采样后的60*80,将提取后的特征分别用PCA降到200、250、300、350、400、 450、500维，观察特征空间对识别率的影响。采用尺寸为120*165图片的实验结果见图6,采 用尺寸为60*80图片的实验结果见图7。从图6和图7可知，各算法识别率均会随着子空间维 度的增加而增加。相对于其他算法，本文算法在各子空间的识别率比较稳定，即本文算法的 更具有鲁棒性。此外，由图6可图7的实验结果可知，各算法的识别率会因图片下采样操作而 下降，为了观察个算法的下降程度，我们引入下降率，计算方法为:假设SRC算法在图6中特 征空间为200维时的识别率为心，相应的在图7中R 2，则SRC算法在特征维度为200维时，图片 下采样操作导致的识别率的下降率为(R1-R 2)A1。计算每个算法的下降率，得到各算法的下 降率见表2。表2中加粗的部分为相应的维度的下降率最小值，下降率最小表示算法更有鲁 棒性，由表2的结果可知，本文算法在各个维度上均得到了最小的下降率。说明算法在图片 尺寸发生变化时的更具有稳定性。
[0071]表2各算法在AR库上实验2的下降率（％ ) 维度 CRC SEC M FDDL ESEC SVGDL 本文 200 25.40 24.28 25.45 22,25 6. 6 17.09 3. 34 250 22.06 22.02 26.29 20. 91 6.51 18.05 2. 84
[0072] 300 20.67 19.90 27.29 0 0 18.70 G 850 20.54 20.69 28.68 21.93 6.91 17.33 0 4:00 20.99 20.69 27.27 17. 21 7.55 17.33 6.22 450 21.89 20.84 27.47 26.29 8. 14 17.08 0.22 500 21. 62 20.62 27.00 25. 28 8.17 17.29 0,42
[0073]上述说明已经充分揭露了本发明的【具体实施方式】。需要指出的是，熟悉该领域的 技术人员对本发明的【具体实施方式】所做的任何改动均不脱离本发明的权利要求书的范围。 相应地，本发明的权利要求的范围也并不仅仅局限于所述【具体实施方式】。
【主权项】
1. 本发明旨在解决训练样本有限，测试样本含有未知变化的复杂情况下的人脸表示问题。 通过类别子字典学习使学习到的类别子字典尽量相互不相关，从而提高子字典的分类能力； 此外，令稀疏系数类内方差尽量小类间方差尽量大W提高稀疏系数的辨别性;与此同时，通 过学习的方法得到类内变化字典有效降低了偏手工辅助字典的局限性。设有测试数据Υ = 化爪，...，￥。}，本发明的目的是最小化重构误差加叫|间|^5.1-.>；二〇1^ +化為.4-日;的,.其 中Ε代表重构误差，Di是第i类字典，χ?是在Di上的稀疏系数，Ds是类内变化字典，;4是在化 上的稀疏系数。本文的主要目的是最小化Yi由化和化重构的重构误差，因此我们需要分别学 习类别特色字典和类间共享字典。2. -种类别特色字典和类间共享字典的人脸表示算法，其特征在于，包括W下步骤： S1:分别对训练样本、测试样本、辅助样本进行特征提取。每幅人脸图像的特征提取具 体步骤包括： S101:对相应的人脸图像进行人脸区域检测； S102:对检测到的人脸进行人脸特征点检测，一般情况下检测人脸的五个特征点，包括 眼睛、鼻尖、嘴角部分。通过检测到的特征点进行人脸区域的裁剪； S103:按照步骤S102得到的各部分人脸，组成训练样本矩阵、测试样本矩阵、辅助数据 矩阵，并通过PCA将样本投影到相同的空间。 S2:将训练样本进行类别特色字典学习，类别特色字典学习的目的是得到更具有分类 能力字典，其特征在于，其目的是最小化目标函数(1):训练数据A= {Ai，A2，…，Ακ}，其中如臣巧mxni为筋类训练数据，石是Ai视廬构的稀疏系数，X/ 是Ai被化重构的稀疏系数，成臣RWx~为第i类数据的稀疏系数，类别字典为D = {Di，化，…，Dk}， 其中Di为学习到的第i类的字典，字典D中除了 Di之外剩余的集合表示为Di-，Di-=[Di，···， Di-i，Di + i，...，Dk] ( i = 1，...k)。此外抖ο)臟-斯)哨稀疏系数的类内方差和类间方差。具体的步骤包括： S201:初始化类别特色字典，此时初始化的方法一般包括随机初始化和特征向量初始 化的方法； S202:初始化字典之后，计算每个训练样本由初始化字典表示得到的稀疏系数。更新的 方法为求解Q化）=前峭巧(如,從,骑+ 2判劍li}，其中Ε成,斯,超)=II如-+ ΙΚ - 并计算每个样本由初始化字典重构的重构误差； S203:稀疏系数更新完之后，更新每个类别特色字典中的原子;逐个更新子字典，当更 新第j个子字典，默认其他子字典化(i ^ j)已更新完毕。 S204:判断是否符合迭代的条件，若符合则停止迭代得到类别特色字典，否则返回重复 步骤S202和步骤S203。 S3:通过辅助数据中的正常人脸和变化人脸迭代求解稀疏变化字典，其特征在于，其目 的为学习到测试数据中可能存在的变化。其具体步骤包括： S301:共享字典学习时字典初始化方法为随机初始化； S302:共享字典学习，原理为每一类的变化人脸减去该类的正常人脸。其特征在于，通 过 W下方式得到Ds = [B广mici，B2-m2C2，· · ·，Bk-mkCk]其中 q = [1,1,...，巧 6:皮ix"i，Bk为第k类的变 化数据。 S4:得到类别特色字典和稀疏变化字典之后，重构测试数据，可将子字典与共享字典结 合组成K个子字典旬=I化，化.]馬=L化，化、]，...局< =，具体步骤为： S401:重构测试数据，计算稀疏系爹其中勒为类别特色字典上的稀疏系数，起为稀疏变化字典上的稀疏系数； S402:计算重构误差并利用其进行人脸分类，具体的由每类数据重构的重构误差为于是测试数据的标签为identify(y) =arg mini {θ?} ο3. 根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述 步骤S202所述的i特征在于，中第一项表示i 类训练数据Ai被整体字典D重构的误差，第二项是Ai被本类子字典化重构的重构误差。4. 根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述 步骤S2自^其特征在于，稀疏系数类内方差越小越好而类间 方差越大越好，并且类别子字典尽量不相关。5. 根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述 步骤S301中字典初始化的具体方法为巧=ΚΛ，化...，〇;、，]〇/= 乂<. ./,，,，其中Mi为第i类标 准数据的中屯、，一般可取该类数据的平均向量为大小为m的单位向量。
【文档编号】G06K9/00GK105844223SQ201610158586
【公开日】2016年8月10日
【申请日】2016年3月18日
【发明人】梁久祯, 李文静
【申请人】常州大学