基于自适应虚拟样本产生准则的单样本人脸识别方法
【专利摘要】本发明公开了一种基于自适应虚拟样本产生准则的单样本人脸识别方法，主要解决现有技术人脸识别率低的问题。其实现步骤为：1.选取人脸图像并划分训练和测试样本集；2.对训练样本进行奇异值分解，根据分解后的基图像重构新的训练样本图像；3.结合训练样本图像和新的重构图像构造虚拟训练样本图像，并对训练样本图像和虚拟训练样本图像分块，构成块训练样本集；4.利用这些块训练样本训练最优投影空间；5.用同样的方法对测试样本分块，将其投影到最优空间，得到块样本特征；6.根据块样本特征对块测试样本分类，用最大投票准则得到最终识别结果。本发明减小了人脸识别中鉴别信息的缺失，提高人脸识别率，可用于身份证、驾照和护照的识别。
【专利说明】
基于自适应虚拟样本产生准则的单样本人脸识别方法
技术领域
[0001] 本发明属于图像处理技术领域，特别涉及一种人脸识别方法，可用于身份证、驾 照、和护照识别。 技术背景
[0002] 人脸识别是模式识别与计算机视觉等领域的热点话题，近些年许多的方法已经被 提出，广泛应用于公共安全，视频监控。但它同时也是一个困难和复杂的问题，比如考虑到 样本存储问题和样本获取难度问题，经常会面临每一类训练样本只有一个的情况，在这种 情况下，一些常用的人脸识别方法不能直接的应用，需要设计出一种识别算法能够有效地 从单个的训练样本提取不同个体的本质性鉴别特征，因此，设计有效的单训练样本识别方 法是近几年人脸识别研究领域内重要的问题。目前，针对这一问题，主要的解决方法有通用 学习法、图像分块法和虚拟样本法。
[0003] 通用学习法是从一组多样本人脸库学习鉴别信息，来求解单样本人脸识别的问 题。Su等提出了一种适应性的通用学习方法来解决单样本人脸识别问题，由于在单训练样 本的情况下，用LDA求解时类内散度矩阵为零，因此，它首先通过一个每类有很多训练样本 的公共的人脸数据库求解类内散度矩阵和类间散度矩阵，然后线性表示单训练样本的类内 散度矩阵和类间散度矩阵。然而，不同数据库存在很大的差异，线性表示的不能充分反映人 脸的鉴别信息，同时选取合适的通用数据库也是一个问题。
[0004] 图像分块法是利用图像本身的信息，将图像分成大小一样的小块，把这些小块当 成独立的样本进行特征提取和识别。Chen等将图像分块，利用FLDA将分的块进行特征提取， 用最近邻分类器进行分类，最终测试样本的分类结果是所有块分类结果的最大投票。Zhu等 提出了一种分块的稀疏表示的人脸识别方法，他是将每个单样本图像分成有重叠的小块， 用这些小块构造字典，用稀疏表示的方法求解。图像分块法能充分利用图像的局部信息，但 是会增加算法的时间复杂度。
[0005] 虚拟样本法是通过每一类的单训练样本来产生虚拟的样本，从单个的训练样本和 它产生的虚拟样本那里学习鉴别特征。Gao等提出了基于奇异值分解的虚拟样本产生方法， 它利用奇异值分解的原理将每类训练样本图像分解为一套基图像，选取较大的奇异值对应 的基图像重构虚拟样本，这样每一类会有两个样本，单个的训练样本和它重构的虚拟样本。 Koc等提出了基于QRCP图像分解原理来产生虚拟样本，它将单样本图像和它的转置图像进 行QRCP分解，产生两组基图像，然后分别重构这两组基图像来获得两个虚拟样本图像，结果 每一类有三个训练样本。然而这两种方法都有一个共同的缺点就是重构过程基图像的数目 是固定不变的，造成部分鉴别信息会缺失，影响到人脸识别系统的识别率。
【发明内容】
[0006] 本发明的目的在于针对上述已有技术的不足，提出一种基于自适应虚拟样本产生 准则的单样本人脸识别方法，以减小鉴别信息的缺失，提高人脸识别率。
[0007] 本发明的技术方案是:结合图像的奇异值分解原理和图像的分块思想，对每一类 的训练样本自适应的产生虚拟训练样本，将训练样本图像和产生的虚拟训练样本图像分成 大小一样的重叠块;把这些重叠块当成独立的训练样本，用2D-FLDA方法对其进行特征提 取，用k近邻分类器进行分类，得到人脸图像上各个部分重叠块的分类标签，用最大投票准 则得到最终的分类结果。其实现步骤包括如下：
[0008] (1)从标准人脸库中获得C类样本的G幅人脸图像，并在每一类中选取一幅图像作 为训练样本图像，其余的图像作为N幅测试样本图像，构成训练样本集
和测试 样本集
Xi表示第i个训练样本，yi表示Xi的类别标签，Zi 表示第i个测试样本，Vi表示Zi的类别标签；
[0009] (2)对训练样本集中的第i副图像乂1进行奇异值分解，得到
其中η为 Xi的列数，是Xi的奇异值，且σι多多…多ση，Uj和％分别是不#和的第j列，5 表 示基图像，T表示转置，j = l，2，···，n;
[0010] (3)根据奇异值分解后的基图像V丨，选取前k个最大奇异值对应的基图像重构 一个新的图傷
，其中k为选取的基图像的数量4 =卜vg(r)/2〇」，其中，r为Xi的 秩，avg表示取均值，L」表示取下整数；
[0011] (4)枏据笛i幅图像Xi和重构后的新的图像^ ,得到虚拟训练样本图像$ :
[0012]
[0013] 其中，g是一个控制参数，取值为0.25;
[0014] (5)分别将第i幅图像X1和虚拟训练样本图像1分成大小相同的重叠块{ Xll，···，
其中，X1P是图像X1的第P个重叠块，?是虚拟训练样本图像 的第P个重叠块，P = 1，2，…，I，1表示重叠块的数量；
[0015] (6)重复步骤(2) - (5)，依次对C个训练样本生成C个虚拟训练样本图像，并对C幅 训练样本图像和它们产生的虚拟训练样本图像进行分块，得到C个训练样本图像的重叠块
啦虚拟训练样本图像的重叠珙
[0016] (7)根据步骤(6)得到的所有训练样本图像和虚拟训练样本图像的重叠块，构成块 训练样本集'
[0017] (8)利用块训练样本集
1丨丨练出1个最优投影空间{W1，…，W p，…，Wi}，将 训练样本图像的重叠_
投影到最优投影空间(W1，…，Wp，···，％};
[0018] (9)对于人脸测试样本集Φ中的任意一个人脸测试样本Zi，先对其进行分块，得到 1个块测试样本{Z1，…，z P，…，ζι}，再分别将其投影到相对应的最优投影空间(W1，…，WP，···， Wl}，得到块测试样本{zi,…，Zp,…，Zl}的特征丨Ρρ···，~··'，?φ
[0019] (10)根据步骤(9)得到的特征丨H,,.…肩；?用k近邻分类器对块测试样本{Z1，···， zP，…，Z1}进行分类，根据块分类结果，按最大投票准则求出人脸测试样本21的识别结果;按 照这种方法依次对人脸测试样本集Φ中的N幅人脸测试样进行识别，得到N幅人脸测试样本 最终的识别结果。
[0020] 本发明与现有技术相比具有如下优点：
[0021] 1.本发明基于奇异值分解原理将单训练样本进行分解，并重构新图像，再结合新 图像和训练样本图像得到虚拟训练样本图像，使每一类都有两个训练样本，从而解决了 2D-FLDA不能直接求解单样本人脸识别的问题。
[0022] 2.本发明在对奇异值分解后的基本图像进行重构的时候，结合不同人脸的能量分 布情况不同这一原理，自适应的选取基图像的数量，并且结合原始训练样本图像得到虚拟 训练样本图像，减小鉴别信息的缺失，提高了人脸识别系统的识别率。
[0023] 3.本发明对每一个训练样本图像和测试样本图像进行分块，对这些块进行特征提 取和分类，最终的识别分类结果是这些块的最大投票结果，从而充分利用了图像的局部信 息，增强了人脸识别系统对表情、姿态和光照变化的鲁棒性。
【附图说明】
[0024]图1是本发明的实现总流程图；
[0025]图2是本发明使用数据库中的样本图像；
[0026] 图3是在不同子空间下用本发明和现有两个方法对YALE、FERET、UMIST和ORL人脸 图像库的识别结果图。
【具体实施方式】
[0027]以下结合附图，对本发明的技术方案和效果作进一步详细描述。
[0028]参照图1，本发明的实施步骤如下：
[0029] 步骤1.人脸图像预处理。
[0030] (Ia)选取人脸图像：
[0031]本实例从Yale人脸库中选15人组成的165幅人脸图，从FERET人脸库中选70人组成 的490幅人脸图，从UMIST人脸库中选取20人组成的380幅人脸图，从ORL人脸库选40人组成 的400幅人脸图像。分别将原人脸图像采样大小设为64\64、80\80、112\112和256父256 ;
[0032] (Ib)构成训练样本集和测试样本集：
[0033] 从每组人脸库中获得C类样本的G幅人脸图像，并在每一类中选取一幅图像作为训 练样本图像，其余的图像作为N幅测试样本图像，构成训练样本集Θ = #,〇·,)匕和测试样本 集? =丨(2^,)匕，:其中(^2,〇2，1^1工表示第1个训练样本^表示乂册类别标签，2康示 第i个测试样本，Vi表示Zi的类别标签。
[0034] 步骤2.对训练样本图像进行奇异值分解。
[0035] 对训练样本集中的第i副图像&进行奇异值分解，得51
其中η为&的 列数，是Xi的奇异值，且σ0σ2彡…彡〇n，Uj和Vj分别是為尤和的第j列，Wt丨表示 基图像，T表示转置，j = l，2,…，n。
[0036] 步骤3.重构新的图像。
[0037] 根据奇异值分解后的基图像~》,·<，选取前k个最大奇异值对应的基图像重构一 个新的图I
，其中k为选取的基图像的数量，<t = l_?vg(r)/2〇」，其中，!^Xi的秩， avg表示取均值，L」表示取下整数。
[0038] 步骤4.重构虚拟训练样本。
[0039] 根据第i幅训练图像X1和重构后的新的图像X，得到虚拟训练样本图像1 :
[0040]
[00411其中，g是一个控制参数，取值为0.25。
[0042]步骤5.对训练样本进行分块。
[0043] 分别将第i幅图像X1和虚拟训练样本图像$分成大小相同的重叠块{Xll，···，
，.其中，Xip是图像X1的第P个重叠块，&是虚拟训练样本图像E 的第P个重叠块，P = 1，2，…，I，1表示重叠块的数量，取块的大小为10 X 10，重叠的部分为5 X 5〇
[0044] 步骤6.重复步骤2-步骤5,依次对C个训练样本生成C个虚拟训练样本图像，并对C 幅训练样本图像和它们产生的虚拟训练样本图像进行分块，得到C个训练样本图像的重叠 块
和虚拟训练样本图像的重叠J
[0045]步骤7.枏据步骤6得到的所有训练样本和虚拟训练样本图像的重叠块，构成块训 练样本I
[0046] 步骤8.利用步骤7得到的块训练样本_
训练出1个最优投影空间
[0047] (8a)定义基于2D-FLDA的第p个重叠块的类内散度矩阵纪和类间散度矩阵纪:
[0048]
[0049]
[0050] 其中，&表示第p个重叠块的类内均值，i表示第p个重叠块的所有训练样本的均 值，它们分别为：
[0051]
[0052]
[0053] (8b)根据第p个重叠块的类内散度矩阵K与类间散度矩阵纪，对进行特征 值分解，得到前q个特征值λ! >λ2 >…> Aq> 〇对应的特征向量IU，q2，…，Ik，构成第p个重叠 块的最优投影空间Wp，其中q < C;
[0054] (8c)重复步骤(8a) - (8b)，求出1个重叠块的最优投影空间（W1，…，WP，将 训练图像的重叠块丨、···，.V…,.UtI1投影到最优投影空间(W1，…，W p，…，R}。
[0055] 步骤9.对N幅人脸测试样进行识别。
[0056] (9a)对于人脸测试样本集Φ中的任意一个人脸测试样本Zi，先对其进行分块，得 到l个块测试样本{Z1，…，ζΡ，···，ζι}，再分别将其投影到相对应的最优投影空间（W 1，…， WP，···，Wi}，得到块测试样本{ζι,…，ζρ,…，ζι}的特征，％,，…，丨，按照下式进行：
[0057]
[0058] 其中T表示转置；
[0059] (9b)根据（9a)得到的特征·，?ν···，4用k近邻分类器对块测试样本{Z1，…， Zp，···，Zl}进行分类；
[0060] (9c)根据(9b)的块分类结果，按最大投票准则求出人脸测试样本21的识别结果；
[0061] (9d)重复(9c)，依次对人脸测试样本集Φ中的N幅人脸测试样进行识别，得到N幅 人脸测试样本最终的识别结果。
[0062] 本发明的效果可以通过仿真实验进一步说明：
[0063] 1.实验条件：
[0064] 实验在CPU为Core (TM) 3 · 40GHZ、内存4G、WINDOWS 7系统上使用MatlabR2012b进行 仿真。
[0065] 选取Yale人脸数据库中15个人组成的165幅图像，每个人包括不同光照、不同表 情、戴或不戴眼镜变化，如图2a;
[0066] 选取FERET人脸数据库中70个人组成的490幅图像，每个人有不同的姿态和表情的 变化，如图2b;
[0067] 选取UMIST人脸数据库中20个人组成的380幅图像，每幅人脸图像是不同方向旋转 变化的，如图2c;
[0068] 选取ORL人脸数据库中40个人组成的400幅图像，每个人有表情、光照和角度的变 化，如图2d;
[0069] 分别将这四组人脸库中的图像采样大小设置为64 X 64、80 X 80、112 X 112和256 X 256〇
[0070] 2.实验内容：
[0071]实验1:针对以上四个人脸数据库，每类随机的选取一个样本作为训练样本，其他 的样本作为测试样本，分别用现有的SVD算法、QRCP算法和本发明方法在不同子空间数下进 行人脸识别实验，结果如图3。其中：
[0072]图3a是用所述三种方法在Yale人脸数据库上，分别进行30次独立实验并取平均得 到的结果；
[0073]图3b是用所述三种方法在FERET人脸数据库上，分别进行30次独立实验并取平均 得到的结果；
[0074]图3c是用所述三种方法在UMIST人脸数据库上，分别进行30次独立实验并取平均 得到的结果；
[0075]图3d是用所述三种方法在ORL人脸数据库上，分别进行30次独立实验并取平均得 到的结果。
[0076]从图3a、图3c、图3d可以看出，在Yale、UMIST和ORL人脸数据库上，本发明的方法相 对于现有SVD算法和QRCP算法识别率有很大的提升。
[0077]从图3b中可以看出，在FERET人脸数据库上，本发明的方法较其他的两个算法在识 别率上略微有提高。
[0078]实验2:针对以上四个人脸数据库，分别运用现有SVD、QRCP和本发明方法进行人脸 识别，实验是在相同条件下进行30次得到的平均值，比较其识别率，结果如表1所示：
[0079 ]表1本发明和对比其它方法在四个人脸数据库上的识别率
[0081]从表1中可以看出，本发明的方法在四组人脸数据库上都具有最高的识别率，这主 要在于重构虚拟样本的过程中基图像数k的自适应选取、结合单训练样本重构虚拟样本和 图像分块方法的引入。这样能更好的从单训练样本中提取出鉴别信息，同时也充分的利用 了图像的局部信息。
【主权项】
1. 一种基于自适应虚拟样本产生准则的单样本人脸识别方法，包括： (1) 从标准人脸库中获得C类样本的G幅人脸图像，并在每一类中选取一幅图像作为训 练样本图像，其余的图像作为N幅测试样本图像，构成训练样本集? =丨《，幻匕和测试样本 集# = _^)【1，其中(^2,〇2』》14表示第1个训练样本^表示乂册类别标签，2康示 第i个测试样本，vi表示Zi的类别标签； (2) 对训练样本集中的第i副图像X,进行奇异值分解，，其中η为乂,的 列数，σj是Xi的奇异值，且σχ彡σ2彡…彡ση，Uj和Vj分别是式If和XX的第j列，W ν:表示 基图像，T表示转置，j = l，2，···，n; (3) 根据奇异值分解后的基图像选取前k个最大奇异值对应的基图像重构一个 新的图傷其中k为选取的基图像的数量彳4??(〇/2〇」，其中，r为X,的秩， avg表示取均值，L」表示取下整数； (4) 根据第i幅图像&和重构后的新的图像无，得到虚拟训练样本图像1 :其中，g是一个控制参数，取值为0.25; (5) 分别将第i幅图像L和虚拟训练样本图像E分成大小相同的重叠块{Χι1，···，Χιρ，…， xu}和卜…^…山卜其中以讣是图像乂册第口个重叠块&是虚拟训练样本图像无的第口个 重叠块，P = 1，2，…，1，1表示重叠块的数量； (6) 重复步骤(2) - (5)，依次对C个训练样本生成C个虚拟训练样本图像，并对C幅训练 样本图像和它们产生的虚拟训练样本图像进行分块，得到C个训练样本图像的重叠块 二和虚拟训练样本图像的重叠块p-···工，…工 (7) 根据步骤(6)得到的所有训练样本和虚拟训练样本图像的重叠块，构成块训练样本(8) 利用块训练样本集* = 训练出1个最优投影空间m，…，WP，···，}，将训练 样本图像的重叠块丨.^、^4,111投影到最优投影空间1^，一為，~，}; (9) 对于人脸测试样本集Φ中的任意一个人脸测试样本Zi，先对其进行分块，得到1个块 测试样本{Z1，…，ζ Ρ，···，ζι}，再分别将其投影到相对应的最优投影空间{Wi，…，WP，···，％}， 得到块测试样本{ Z1，…，Zp，…，Z1}的特征"肩j_; (10) 根据步骤(9)得到的特征h，···，％，…，用k近邻分类器对块测试样本{Z1，…，zP，···， Z1}进行分类，根据块分类结果，按最大投票准则求出人脸测试样本21的识别结果;按照这种 方法依次对人脸测试样本集Φ中的N幅人脸测试样进行识别，得到N幅人脸测试样本最终的 识别结果。2. 根据权利要求1所述的方法，其中所述步骤(5)中将训练样本分成重叠块，是对一幅 图像Xi取块的大小为10 X 10,重叠的部分为5X5,最终分成1个重叠的块，得到图像Xi的重叠 块{xil，…，Xip，…，Xil}和虚拟训练样本图像Jf,.的重叠块fn··,Xl>，…，：V： 17j。3. 根据权利要求1所述的方法，其中所述步骤(8)，按照如下步骤进行： (8a)定义基于2D-FLDA的第p个重叠块的类内散度矩阵粑和类间散度矩阵砹:其中，'表示第P个重叠块的类内均值，&表示第P个重叠块的所有训练样本的均值，它 们分别为：(8b)根据第p个重叠块的类内散度矩阵私与类间散度矩阵sf，对汉:广私进行特征值分 解，得到前q个特征值- 对应的特征向量ru，q2，…，qq，构成第p个重叠块的最优 投影空间^，其中q〈C; (8c)重复步骤(8a) - (8b)，求出1个重叠块的最优投影空间{Wv，WP，~，Wi}。4. 根据权利要求1所述的方法，其中所述步骤(9)将块测试样本{Z1，…，zP，…，Z1}投影 到最优投影空间{W1，…，W p，…，W 1 }，得到块测试样本{ Z 1，…，Z p，…，Z 1 }的特征 h，，…，约卜按照下式进行： 其中T表示转置。
【文档编号】G06K9/00GK106056088SQ201610390003
【公开日】2016年10月26日
【申请日】2016年6月3日
【发明人】刘靳, 阿鹏仁, 姬红兵, 赵航, 袁勇, 董含
【申请人】西安电子科技大学