一种基于多层次语义特征的人脸特征提取方法及识别方法
【专利摘要】本发明公开了一种基于多层次语义特征的人脸特征提取方法及识别方法。本方法为：1）划分人脸图集A中每一图像的各器官区域；2）提取每一器官的底层特征并聚类；从聚类结果中任取两类作为正负样本，两两组合训练得到一分类器集合，将该集合对底层特征的判别结果联合得到该器官中层特征；4）将A中图像按标签进行分类；从每一标签的分类结果中任取两类作为正负样本，两两组合训练得到一分类器集合，将该集合对A中所有中层特征分类判别结果联合，即该标签的高层特征；将底层、中层、高层特征构建该图像的人脸表征。对任一待查找的图像q，生成其人脸表征Vq；将Vq与A中的人脸表征进行匹配返回查询结果。本发明大幅提升了识别精度和稳定性。
【专利说明】一种基于多层次语义特征的人脸特征提取方法及识别方法
【技术领域】
[0001]本发明涉及一种人脸特征提取方法及识别方法，尤其涉及一种基于多层次语义特征的人脸特征提取方法及识别方法，属于图像识别【技术领域】。
【背景技术】
[0002]目前人脸识别检测技术在各领域得到广泛应用，成为当前的一项研究热点，比如申请号201210313721.9、名称“人脸识别方法”的专利文献，申请号201210310643.7、名称“一种人脸识别方法及其系统”的专利文献。
[0003]人脸表征(face representation),即从原始自然图像中提取可供计算机运算分析的特征向量或特征图，是人脸识别系统中最重要的一环。比如申请号201310115471.2、名称“一种人脸自动标注方法及系统”首先从截取的视频中检测出人脸，获取人脸图片集合，然后过滤出人脸图片集合，同时，获取相邻帧图片的HSV颜色直方图差值，采用空间颜色直方图的镜头边缘检测算法进行镜头分割，对来自相邻帧的人脸，检测第一帧的目标区域内角点，并使用局部匹配的方法将这些角点递延给下一帧，并进行相应的更新，并统计匹配个数，依据匹配个数的阈值，依此进行下去获取人脸序列。然后通过唇动检测模块根据人脸序列中说话人的唇动检测出说话人和未说话人，将说话人、说话内容及说话时间三者融合进行标注；最后，读入每个序列上的人脸，逐个定位，再根据定位结果进行仿射变换，并提取变换后特征点附近固定大小圆形区域内的像素灰度值，作为该人脸特征。申请号201110390185.8的专利文献公开了一种基于非清晰区域抑制的多特征融合显著区域提取方法，首先输入待处理的源图像，再进行如下处理:(I)预处理；(2)对经过预处理的图像进行低层特征提取，获得空间显著图和频域显著图；(3)对经过预处理的图像进行高层语义特征提取，获得人脸显著图；(4)对步骤(2)和步骤(3)获得的空间显著图、频域显著图和人脸显著图进行中心聚集化操作，获得综合显著图；(5)根据综合显著图对待处理的源图像进行分割处理，提取出显著区域。
[0004]人脸表征算法的好坏，直接决定了生成的人脸特征的描述性、区分性及有效性，进而将影响到最终人脸识别系统的性能。在传统的人脸表征算法中，仅仅一些简单的底层图像特征被提取出来，如方向梯度、纹理边缘等，此类传统算法往往过分专注于细节的描述而缺乏泛化能力，使得其生成的人脸特征对一些变化干扰十分敏感，例如人脸表情变化、人脸朝向变化、光照条件、部分遮挡等等，最终限制了人脸识别系统的整体性能。
【发明内容】
[0005]针对现有技术中存在的技术问题，本发明的目的在于提供一种基于多层次语义特征的人脸特征提取方法及识别方法。
[0006]本发明的技术方案为:
[0007]—种基于多层次语义特征的人脸特征提取方法，其步骤为:
[0008]I)对人脸图像集A中每一张属性标注的人脸图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置；
[0009]2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置；
[0010]3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量；
[0011]4)对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点；
[0012]5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量；
[0013]6)将人脸图像集A中属性标注的人脸图像按照每一标注属性的标签进行分类；对每一标签的分类结果，从中任取两类，用其中一类所包含的中层特征向量作为正样本，另一类所包含的中层特征向量作为负样本，训练一个支持向量机分类器；如此遍历该分类结果类中所有的两两组合，得到该标签的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对该人脸图像集A中所有图像的中层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该标签对应的高层特征向量；
[0014]7)将每一人脸图像的所述底层特征向量、中层特征向量、高层特征向量归一化后拼接在一起，作为该人脸图像的人脸表征。
[0015]进一步的，对步骤3)所提取的所有底层特征向量分别进行投影降维，然后步骤4)对各器官的降维后的底层特征向量进行聚类。
[0016]进一步的，依次利用主成分分析算法、线性判别分析算法对步骤3)所提取的所有底层特征分别进行投影降维。
[0017]进一步的，利用每一图像的关键点位置对该图像的人脸进行旋转及缩放矫正，将该图像的人脸对齐到一个标准的格式上。
[0018]进一步的，所述底层特征向量包括:方向梯度直方图特征向量及局部二值模式特征向量。
[0019]一种基于多层次语义特征的人脸识别方法，其步骤为:
[0020]I)对人脸图像集A中每一张属性标注的人脸图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置；
[0021]2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置；
[0022]3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量；
[0023]4 )对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点；
[0024]5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量；
[0025]6)将人脸图像集A中属性标注的人脸图像按照每一标注属性的标签进行分类；对每一标签的分类结果，从中任取两类，用其中一类所包含的中层特征向量作为正样本，另一类所包含的中层特征向量作为负样本，训练一个支持向量机分类器；如此遍历该分类结果类中所有的两两组合，得到该标签的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对该人脸图像集A中所有图像的中层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该标签对应的高层特征向量；
[0026]7)将每一人脸图像的所述底层特征向量、中层特征向量、高层特征向量归一化后拼接在一起，作为该人脸图像的人脸表征。
[0027]8)对任意一张待查找的人脸图像q，生成其对应的所述人脸表征Vq ；
[0028]9)将Vq与该图像集A中人脸图像的人脸表征进行相似度计算，返回匹配的查询结
果O
[0029]与现有技术相比，本发明的积极效果为:
[0030]I)提出一种结合多层不同语义的人脸特征，该特征由低层图像特征(如梯度、纹理)到高层符合人类认知的属性(如性别、年龄)层层之间互补融合而生成；中层及高层的人脸语义信息被嵌入在了最终的特征里的，使得最终的人脸特征更具有描述性和区分性，因此更加鲁邦有效，可用在人脸识别、人脸验证、人脸搜索等多种实际应用中；
[0031]2)降低了表示特征对底层图像细节纹理的依赖，使得最终的人脸特征对变化干扰，如人脸表情变化、人脸朝向变化、光照条件、部分遮挡等等，更为鲁邦；
[0032]3)不同特征层的特征组合灵活，即可组合使用，也可以单独使用。在单独使用中层或高层特征的时候，相比传统方法的特征维度大为降低，使得后续人脸识别更加快捷高效。
[0033]本发明提出一种新的中层语义层及其学习方法，该层介于底层和高层语义之间，可通过机器学习自动聚类得出，使得其在既获得泛化能力的同时又不需要添加额外的人工标注。
[0034]基于以上原因，本发明大幅提升了人脸识别系统的精度和稳定性。
【专利附图】
【附图说明】
[0035]图1.基于局部区域匹配的相似度计算方法；
[0036]图2.人脸器官中层特征计算方法。
【具体实施方式】
[0037]下面结合附图对本发明进行进一步详细描述，其具体算法流程如下(见图1):
[0038]a)建立训练用人脸图像集A，其中每一张人脸都被同时人工标注了若干属性标签，包括身份、性别、年龄、种族等；
[0039]b)利用经典的人脸检测及人脸关键点检测算法对A中每一张图像做人脸检测和关键点检测，输出为人脸矩形区域及人脸各个器官(眉、眼、鼻、嘴)上关键点位置；
[0040]c)利用关键点的位置对A中所有检测出的人脸进行旋转及缩放矫正，使得其都对齐到一个标准的格式上，同时划分出每张人脸各个器官的区域位置；
[0041]d)对于c)中生成的每一张标准格式脸的各个器官区域，分别提取方向梯度直方图特征向量(Histogram of Oriented Gradients, HOG)及局部二值模式特征向量(LocalBinary Patterns, LBP)作为底层特征向量；
[0042]e)在d)步骤后所获得的所有测试集中图片的底层特征向量上，依次利用经典的主成分分析算法(Principal Component Analysis, PCA)及线性判别分析算法(LinearDiscriminant Analysis, LDA)对各个器官的底层特征向量分别做投影降维；
[0043]f)利用机器学习中的聚类算法将e)中所得的各个器官的降维后的特征向量分别划分成k类(不同的器官可以选择不同的k值，为书写方便以下默认不同器特征在聚类时使用相同的k值)，并记录各类的中心点
[0044]g)对某一器官k类中任取两类，用其中一类所包含的特征向量作为正样本，而另一类作为负样本，训练一个支持向量机分类器(Support Vector Machine, SVM)。如此遍历所有的两两组合，最终对每一个器官共得到包含k*(k-l)/2个支持向量机分类器的集合；
[0045]h)对某一个器官(以眼睛为例)，将步骤e)中所产生的集合A中每一个关于该器官的特征向量，通过该器官的分类器集合做分类判别，获得k*(k-l)/2个判别结果。将这k*(k-l)/2个判别结果联合成为新的特征向量，即该器官中层特征，记为￥1*_眼(见图2);
[0046]i)对每一种自然属性(如性别，年龄区间)，将A中所有样本按照其人工标注的标签分类，如將性别分为男、女两类，将年龄分为婴儿，儿童，青年，中年，老年等几类；
[0047]j)类似于步骤g)，对于每一种自然属性的类别，任取两类分别作为正样本及负样本(如在性别上取男性/女性，年龄上遍历所有的两两组合，婴儿/儿童，婴儿/青年，婴儿/中年，婴儿/老年，儿童/青年，儿童/中年等等)，训练出一个输入为中层特征的支持向量机分类器的集合。此过程与g)的不同之处在于，g)中的两两类别是机器自动聚类生成的，并不包含高层语义，只有一些简单的机器语义。而此步骤中，任意两类直接是有明确的自然语义的。两个步骤方法类似，但是输入完全`不同；
[0048]k)类似于步骤h)，将A中所有样本的中层特征通过j)所获得的分类器集合，将各个分类器的输出结果归一化后连接作为新的特征向量，即图1中所示的高层特征；
[0049]I)对任意一张新的无标注人脸图像，重复步骤a)b)c)d)e)h)k)，结合底层、中层、高层的特征，并将其归一化后拼接在一起，作为最后的人脸表征。
[0050]m)将本发明应用在人脸识别搜索系统中，其步骤为:给定一个人脸数据库D，对D中所有图片进行步骤1)，得到特征集合IVJ ;给一张待搜索无标注图片q，进行步骤1)，得到多层融合特征V,。
[0051]η)将\和{VD}中的所有特征向量两两间计算L2/L1距离，并且返回与\相对距离最近的前N张人脸作为搜索结果。
[0052]相比于传统方法(即只用底层特征)，本发明的积极效果十分明显，在构建的名人数据集上(5000个名人共30000张图片)，分别将本发明所得到的多层语义特征应用在人脸搜索及人脸验证两套系统上，实验结果如表1、2所示:
[0053]表1人脸搜索对比表
[0054]
人脸搜索传统方法(底层特征) 本发明(底+中层特征)
前10准确率42%51%[0055]表2人脸验证对比表
[0056]
【权利要求】
1.一种基于多层次语义特征的人脸特征提取方法，其步骤为: 1)对人脸图像集A中每一张属性标注的人脸图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置； 2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置； 3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量； 4)对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点； 5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量； 6)将人脸图像集A中属性标注的人脸图像按照每一标注属性的标签进行分类；对每一标签的分类结果，从中任取两类，用其中一类所包含的中层特征向量作为正样本，另一类所包含的中层特征向量作为负样本，训练一个支持向量机分类器；如此遍历该分类结果类中所有的两两组合，得到该标签的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对该人脸图像集A中所有图像的中层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该标签对应的高层特征向量； 7)将每一人脸图像的所述底层特征向量、中层特征向量、高层特征向量归一化后拼接在一起，作为该人脸图像 的人脸表征。
2.如权利要求1所述的方法，其特征在于对步骤3)所提取的所有底层特征向量分别进行投影降维，然后步骤4)对各器官的降维后的底层特征向量进行聚类。
3.如权利要求2所述的方法，其特征在于依次利用主成分分析算法、线性判别分析算法对步骤3)所提取的所有底层特征分别进行投影降维。
4.如权利要求1或2或3所述的方法，其特征在于利用每一图像的关键点位置对该图像的人脸进行旋转及缩放矫正，将该图像的人脸对齐到一个标准的格式上。
5.如权利要求1所述的方法，其特征在于所述底层特征向量包括:方向梯度直方图特征向量及局部二值模式特征向量。
6.一种基于多层次语义特征的人脸识别方法，其步骤为: 1)对人脸图像集A中每一张属性标注的人脸图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置； 2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置； 3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量； 4)对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点； 5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量； 6)将人脸图像集A中属性标注的人脸图像按照每一标注属性的标签进行分类；对每一标签的分类结果，从中任取两类，用其中一类所包含的中层特征向量作为正样本，另一类所包含的中层特征向量作为负样本，训练一个支持向量机分类器；如此遍历该分类结果类中所有的两两组合，得到该标签的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对该人脸图像集A中所有图像的中层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该标签对应的高层特征向量； 7)将每一人脸图像的所述底层特征向量、中层特征向量、高层特征向量归一化后拼接在一起，作为该人脸图像的人脸表征。 8)对任意一张待查找的人脸图像q，生成其对应的所述人脸表征Vq； 9)将Vq与该图像集A中人脸图像的人脸表征进行相似度计算，返回匹配的查询结果。
7.如权利要求6所述的方法，其特征在于对步骤3)所提取的所有底层特征向量分别进行投影降维，然后步骤4)对各器官的降维后的底层特征向量进行聚类。
8.如权利要求7所述的方法，其特征在于依次利用主成分分析算法、线性判别分析算法对步骤3)所提取的所有底层特征分别进行投影降维。
9.如权利要求8所述的方法，其特征在于所述底层特征向量包括:方向梯度直方图特征向量及局部二值模式特征`向量。
【文档编号】G06K9/62GK103824052SQ201410053341
【公开日】2014年5月28日 申请日期:2014年2月17日 优先权日:2014年2月17日
【发明者】姜宇宁, 印奇, 曹志敏 申请人:北京旷视科技有限公司