一种基于局部区域匹配的人脸搜索方法
【专利摘要】本发明公开了一种基于局部区域匹配的人脸搜索方法。本方法为：1）对人脸图集A中每一图像的人脸对齐到一标准格式脸上并划分出各个器官的区域；2）提取每一器官的底层特征向量并聚类；3）从每一器官聚类结果中任取两类作为正负样本，训练一个支持向量机分类器；如此两两组合训练得到该器官的分类器集合，将该集合中每一分类器对底层特征向量的判别结果联合成新的特征向量，即该器官中层特征向量；4）计算脸轮廓上每个关键点到左右眼的距离与两眼间距的比值作为人脸轮廓的中层特征向量；组合上述中层特征向量得到Vr；5）对一待查人脸图像q，生成其中层特征向量Vq；将Vq与A中Vr进行匹配返回查询结果。本发明提升了相似人脸搜索效果。
【专利说明】—种基于局部区域匹配的人脸搜索方法
【技术领域】
[0001]本发明涉及一种人脸搜索方法，尤其涉及一种基于局部区域匹配的人脸搜索方法，属于图像识别【技术领域】。
【背景技术】
[0002]目前人脸识别检测技术在各领域得到广泛应用，成为当前的一项研究热点，比如申请号201210313721.9、名称“人脸识别方法”的专利文献，申请号201210310643.7、名称“一种人脸识别方法及其系统”的专利文献。
[0003]相似人脸搜索(face search),即是给定一张待查找人脸(query face),要从包含数十万甚至更多人脸的图像数据库中找到与其长相相似的结果，并返回按照其相似程度排序的图片序列。随着如今互联网图片的爆发性增长及安全监控设备的日益普及，每天都会产生海量人脸图像数据，而这些人脸数据都有待有效的组织索引及查找分析。在这种背景下，相似人脸搜索技术，尤其是针对大规模数据库的相似人脸搜索技术，就被迫切地需求了。
[0004]在传统的相似人脸搜索系统中，在计算任意两张人脸之间的相似度时，每张脸被当作一个整体来考虑，即每张脸被表示为一个单一的特征向量，之后通过计算两个特征向量的距离来获得两张人脸之间的整体相似程度。然而，因为不同用户对人脸“长相相似”的定义是不同的，以整脸相似度为标准搜索出来的结果往往不能让用户满意(例如，有的用户倾向于去搜索眼睛相似的人脸，而另一些用户倾向于去搜索脸型轮廓相似的人脸)。同时，整脸相似度很容易受到局部变化的干扰，尤其是对局部遮挡(如戴墨镜)等非常敏感。在这种情况下，其整脸相似度往往会被这些有干扰的区域严重影响，使得本该很相似的人脸被这些“不好”的局部区域拉低了整体的相似程度，因而无法被查找返回。
【发明内容】
[0005]针对现有技术中存在的技术问题，本发明的目的在于提供一种基于局部区域匹配的人脸搜索方法。
[0006]本发明的技术方案为:
[0007]—种基于局部区域匹配的人脸搜索方法，其步骤为:
[0008]I)对人脸图像集A中每一张图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置；
[0009]2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置；
[0010]3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量；
[0011]4)对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点；
[0012]5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量；
[0013]6)对于步骤2)得到的每一标准格式脸，计算标准格式脸轮廓上每个关键点分别到左右眼的距离，并将该距离与两眼间距的比值作为对应图像的人脸轮廓的中层特征向量；
[0014]7)将每一人脸图像各器官的中层特征向量与人脸轮廓的中层特征向量组合，得到该人脸图像的中层特征向量Vr ；
[0015]8)对任意一张待查找的人脸图像q，生成其中层特征向量Vq ;
[0016]9)将Vq与该图像集A中人脸图像的中层特征向量进行相似度计算，返回匹配的查询结果。
[0017]进一步的，对步骤3)所提取的所有底层特征向量分别进行投影降维，然后步骤4)对各器官的降维后的底层特征向量进行聚类。
[0018]进一步的，依次利用主成分分析算法、线性判别分析算法对步骤3)所提取的所有底层特征分别进行投影降维。
[0019]进一步的，所述底层特征向量为方向梯度直方图特征向量及局部二值模式特征向量。
[0020]进一步的，利用每一图像的关键点位置对该图像的人脸进行旋转及缩放矫正，将该图像的人脸对齐到一个标准的格式上。
[0021]进一步的，所述器官包括眉、眼、鼻、嘴；每一人脸图像的中层特征Vr=(Vr_轮廓，Vr_ 眉，Vr_ 眼，Vr_ 鼻，Vr_ 嘴)。
[0022]进一步的，根据计算Vq与该图像集A中人脸图像的中层特征向量的距离dist，确定与Vq的相似度。
[0023]进一步的,所述相似度计算公式为:(118〖='\￥_轮廓*(1_轮廓+￥_眉*(1_眉+￥_眼*(1_眼+w_鼻*d_鼻+w_嘴*d_嘴；其中，d_轮廓为Vq中轮廓中层特征向量与该图像集A中人脸图像的轮廓中层特征向量的距离；d_眉为Vq中器官眉的中层特征向量与该图像集A中人脸图像的眉中层特征向量的距离；d_眼为Vq中眼中层特征向量与该图像集A中人脸图像的眼中层特征向量的距离；d_鼻为Vq中鼻中层特征向量与该图像集A中人脸图像的鼻中层特征向量的距离；d_嘴为Vq中嘴中层特征向量与该图像集A中人脸图像的嘴中层特征向量的距离；w_轮廓，w_眉，w_眼，w_鼻，w_嘴分别为各个器官的权重。
[0024]与现有技术相比，本发明的积极效果为:
[0025]I)搭建出一种基于不同人脸器官(眉、眼、鼻、嘴、脸型轮廓)的相似人脸搜索系统，人脸相似度计算不再是依据整张人脸特征，而是依据人脸不同局部区域的相似度的组合；用户可以通过调节各个器官区域权重的方式定义个性化的“相似人脸”，从而达到最优的用户体验。这样的距离计算更为灵活，因为可以根据不同用户对“相似人脸”的定义不同而选择不同的区域权重，使得整套系统有更好的用户体验；
[0026]2)中层语义特征取代了底层纹理特征，用来描述局部区域；这样的特征更具有描述性和泛化性，使得人脸匹配时对光照条件、表情变化、姿态变化等不再敏感，使得整套系统更加鲁棒稳定。选定包含5，000个名人共30，000张图片作为搜索测试集，仅仅使用底层特征，其平均前十准确率为42% ;而在使用中层特征后，其准确率为51%。
[0027]3)中层语义层在底层图像文理特征的基础上可通过机器学习自动聚类得出，使得该特征具有更强的描述能力及泛化能力；该特征对平面内旋转及缩放都可保持不变，能很好地描述人脸型轮廓特点。
[0028]基于以上原因，本发明大幅提升了相似人脸搜索的效果及体验。
【专利附图】
【附图说明】
[0029]图1.基于局部区域匹配的相似度计算方法；
[0030]图2.人脸器官中层特征计算方法；
[0031]图3.人脸轮廓特征的计算方法。
【具体实施方式】
[0032]本发明公开了一种基于局部区域匹配的相似人脸搜索系统，其具体系统流程如下:
[0033]a)建立人脸图像集A作为搜索训练数据库；
[0034]b)利用人脸检测及人脸关键点检测算法对A中每一张图像做人脸检测和关键点检测，输出为人脸矩 形区域及人脸各个器官(眉、眼、鼻、嘴)以及脸型轮廓上关键点位置；
[0035]c)利用关键点的位置对A中所有检测出的人脸进行旋转及缩放矫正，使得其都对齐到一个标准的格式上，同时划分出每张人脸各个器官的区域位置；
[0036]d)对于c)中生成的每一张标准格式脸的眉、眼、鼻、嘴器官区域，分别提取方向梯度直方图特征向量(Histogram of Oriented Gradients, HOG)及局部二值模式特征向量(Local Binary Patterns, LBP)作为底层特征；
[0037]e)在d)步骤后所获得的所有测试集中图片的底层特征上，依次利用经典的主成分分析算法(Principal Component Analysis, PCA)及线性判别分析算法(LinearDiscriminant Analysis, LDA)对各个器官的底层特征向量分别做投影降维；
[0038]f)利用机器学习中的聚类算法将e)中所得的各个器官的降维后的特征向量分别划分成k类(不同的器官可以选择不同的k值，为书写方便以下默认不同器特征在聚类时使用相同的k值)，并记录各类的中心点；
[0039]g)对某一器官k类中任取两类，用其中一类所包含的特征向量作为正样本，而另一类作为负样本，训练一个支持向量机分类器(Support Vector Machine, SVM)。如此遍历所有的两两组合，最终对每一个器官共得到包含k*(k-l)/2个支持向量机分类器的集合；
[0040]h)对某一个器官(以眼睛为例)，将步骤e)中所产生的集合A中每一个关于该器官的特征向量，通过该器官的分类器集合做分类判别，获得k*(k-l)/2个判别结果。将这k*(k-l)/2个判别结果联合成为新的特征向量，即该器官中层特征，记为￥1*_眼(见图2);
[0041]i)对于b)中生成的每一张标准格式脸的脸型轮廓，计算每个轮廓上关键点分别到左右眼的距离，并将该距离与两眼间距的比值作为人脸轮廓的特征Vr_轮廓，见图3 ；
[0042]j)结合h)和i)步骤的输出结果，对数据库中任意一张人脸图像r，其表示为5种针对不同器官的特征向量的组合，即Vr=(Vr_轮廓，Vr_眉，Vr_眼，Vr_鼻，Vr_嘴);
[0043]k)对任意一张待查找的人脸图像q，重复步骤a) b) c) d) e) h) i) j)，生成其特征为Vq= (Vq_ 轮廓，Vq_ 眉，Vq_ 眼，Vq_ 鼻，Vq_ 嘴)；
[0044]I)将Vq与图像库中所有的人脸特征向量Vr计算距离,计算公式为dist=w_轮廓*d_轮廓+w_眉*d_眉+w_眼*d_眼+w_鼻*d_鼻+w_嘴*d_嘴,其中(w_轮廓，w_眉，w_眼，w_鼻，w_嘴)为用户输入的符合自己相似定义的各个器官的权重，如图1所示；
[0045]m)根据与待查找人脸q的距离将数据库中人脸图片按升序排列，返回该序列的前若干张图片，即为查找结果。
【权利要求】
1.一种基于局部区域匹配的人脸搜索方法，其步骤为: 1)对人脸图像集A中每一张图像进行人脸检测和关键点检测，输出人脸矩形区域、人脸各器官及人脸轮廓上的关键点位置； 2)利用每一图像的关键点位置将该图像的人脸对齐到一标准格式脸上，并划分出该人脸各个器官的区域位置； 3)对于每一标准格式脸的各器官区域，分别提取每一器官的底层特征向量； 4)对各器官的底层特征向量进行聚类，将每一器官的底层特征向量分别划分成若干类，并记录各类的中心点； 5)对每一器官，其聚类结果为k类，从中任取两类，用其中一类所包含的底层特征向量作为正样本，另一类作为负样本，训练一个支持向量机分类器；如此遍历该器官k类中所有的两两组合，得到该器官的支持向量机分类器集合，然后利用该集合中的每一支持向量机分类器对步骤4)所述底层特征向量进行分类判别，将该判别结果联合成新的特征向量，即该器官中层特征向量； 6)对于步骤2)得到的每一标准格式脸，计算标准格式脸轮廓上每个关键点分别到左右眼的距离，并将该距离与两眼间距的比值作为对应图像的人脸轮廓的中层特征向量； 7)将每一人脸图像各器官的中层特征向量与人脸轮廓的中层特征向量组合，得到该人脸图像的中层特征向量Vr ; 8)对任意一张待 查找的人脸图像q，生成其中层特征向量Vq； 9)将Vq与该图像集A中人脸图像的中层特征向量进行相似度计算，返回匹配的查询结果O
2.如权利要求1所述的方法，其特征在于对步骤3)所提取的所有底层特征向量分别进行投影降维，然后步骤4)对各器官的降维后的底层特征向量进行聚类。
3.如权利要求2所述的方法，其特征在于依次利用主成分分析算法、线性判别分析算法对步骤3)所提取的所有底层特征分别进行投影降维。
4.如权利要求1或2或3所述的方法，其特征在于所述底层特征向量为方向梯度直方图特征向量及局部二值模式特征向量。
5.如权利要求1或2或3所述的方法，其特征在于利用每一图像的关键点位置对该图像的人脸进行旋转及缩放矫正，将该图像的人脸对齐到一个标准的格式上。
6.如权利要求1所述的方法，其特征在于所述器官包括眉、眼、鼻、嘴；每一人脸图像的中层特征Vr= (Vr_轮廓，Vr_眉，Vr_眼，Vr_鼻，Vr_嘴)。
7.如权利要求6所述的方法，其特征在于根据计算Vq与该图像集A中人脸图像的中层特征向量的距离dist，确定与Vq的相似度。
8.如权利要求7所述的方法,其特征在于所述相似度计算公式为:dist=w_轮廓*(1_轮廓+w_眉*d_眉+w_眼*d_眼+w_鼻*d_鼻+w_嘴*d_嘴；其中，d_轮廓为Vq中轮廓中层特征向量与该图像集A中人脸图像的轮廓中层特征向量的距离；d_眉为Vq中器官眉的中层特征向量与该图像集A中人脸图像的眉中层特征向量的距离；d_眼为Vq中眼中层特征向量与该图像集A中人脸图像的眼中层特征向量的距离；d_鼻为Vq中鼻中层特征向量与该图像集A中人脸图像的鼻中层特征向量的距离；d_嘴为Vq中嘴中层特征向量与该图像集A中人脸图像的嘴中层特征向量的距离；w_轮廓，w_眉，w_眼，w_鼻，嘴分别为各个器官的 权重。
【文档编号】G06K9/62GK103824051SQ201410053334
【公开日】2014年5月28日 申请日期:2014年2月17日 优先权日:2014年2月17日
【发明者】姜宇宁, 印奇, 曹志敏 申请人:北京旷视科技有限公司