专利名称：一种基于多分辨lbp的人脸检索方法
技术领域：
本发明是针对现有人脸识别与检索系统中计算复杂度高以及人脸视觉区域判别 能力不足等问题提出的，具体涉及一种基于多分辨LBP (local binarypattern,局部二值模 式)的人脸检索方法。
背景技术：
人脸检索是信息检索与信息安全领域中的一个重要内容。利用人脸信息进行检索 也是网络图像视频媒体分析和分类的一个重要环节。在机场，海关等重要的场所检查到得 人脸进行身份确认是确定是否非法入境以及和罪犯追踪的重要依据。以人脸识别为例，在中国专利ZL01136577. 3中公开了一种基于部件主分量分析 的多模式人脸识别方法。在中国专利ZL200810104401. 6中所公开的人脸部件特征和Gabor 人脸特征融合的人脸识别方法及其装置。现有的专利及文献中大都采用基于部件分析的人 脸融合方法进行人脸识别。通常情况下在特征描述中采用Gabor变换的多尺度特征，这种 特征描述方法维数很高，但是对于存在大量人脸数据的人脸库而言，现有的人脸识别方法 采用基于特征匹配和特征融合的方法来进行。这是一一匹配的方法，其处理的速度受到严 重影响，因此本发明中提出采用基于多分辨分析与视觉词汇索引的方法进行快速的人脸检 索。有效地提升人脸识别方法的速度和性能。
发明内容
本发明是针对人脸识别方法采用基于特征匹配方法在处理海量人脸数据库中的 不足而提出的一种基于多分辨LBP的人脸检索方法。为达到以上目的，本发明是采用如下技术方案予以实现的一种基于多分辨LBP的人脸检索方法，其特征在于，包括下述步骤对输入的人脸 图像10执行基于多分类器融合的人脸检测单元20，进行图像中人脸区域的检测，并用矩 形框标出人脸在图像中的位置；然后执行人脸图像中关键部位的检测单元30，对人脸中的 两只眼睛的中心，鼻尖以及左右嘴角5个关键部位进行定位；接下来执行人脸图像形状归 一化处理单元40，按照左右眼角或者眼睛中心的位置，对输入的图像进行形状归一化处理； 接下来执行关键部位局部区域采样图像单元50，以所述的5个关键部位为中心划分成具有 一定交叠的栅格，设每个局部区域划分的栅格数目为P*Q，假定两个眼睛中心的距离为L， 鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度记为GH，宽度记为GW，分别 由如下公式计算得出GH = 2T/Q ；Gff = L/P ；接下来执行多分辨LBP特征描述单元60，分别 对5个关键部位的局部区域的每个栅格进行多分辨的LBP特征提取；接下来执行视觉词汇 生成与索引建立单元70 ；最后执行基于TF-IDF的相似性度量单元80 ；最终在检索结果显 示单元90中显示检索结果。上述方案中，所述的多分辨LBP特征描述单元60包括下述步骤对输入图像61， 一次执行如下3个步骤多级图像滤波与低分辨图像生成步骤62，低分辨图像的空间金字塔采样步骤63，以及多分辨的LBP特征描述步骤64。所述的视觉词汇生成与索引建立单元70包括下述步骤首先对于训练的人脸图 像71，从现有的图像库中选取10000幅图像作为训练集；然后执行人脸中关键部位的手动 标定步骤72，对所选取的人脸图像分别标注其中的关键部位，关建部位包括2个眼睛的中 心位置，一个鼻尖和2个嘴角的位置；然后根据标注的人脸中的关键部位，对所选取的训练 图像执行人脸图像形状归一化处理步骤73 ；接下来执行关键部位局部区域采样图像步骤 74 ；然后执行多分辨LBP特征描述步骤75，提取多分辨的LBP特征；最后执行基于K均值聚 类的聚类中心生成步骤76，对所选取的图像中的局部区域的局部图像块所对应的LBP特征 进行聚类中心生成，在聚类中心生成中，聚类中心的数目K设置为10万个。本发明所提供的基于多分辨LBP的人脸检索方法与现有的人脸识别方法相比，其 有益效果表现在，特征描述中采用多分辨分析的LBP描述方法，该方法的优点是特征即具 有抵抗图像在发生尺度变化时的鲁棒性，有有效地降低了算法处理的时间复杂度。另外通 对关键位所在的局部区域划分成具有交叠的网格，这种方法有效地凸显了主要区域在人脸 检索和识别中的权重。有效地削弱了非重要区域在人脸检索性能的影响。另外基于视觉词 汇的检索方法，相对于现有的基于特征匹配方法而言，能够有效地降低匹配中的算法复杂 度。
以下结合附图及实施例对本发明作进一步的详细说明。
图1为本发明中基于多分辨LBP的人脸检索方法的总体步骤示意图。图2示例地给出了图1中关键步骤结果示意照片。首先对输入图像边，经过基于 多分类器融合的人脸检测单元之后得出的检测结果为照片巡；为了后续处理的鲁棒性，在 照片巡的基础上进行扩展得到显示结果的照片巡i ；在检测结果照片巡中，人脸图像中关 键部位用黒色圆点标记出来，其中分别为两个眼睛的中心，鼻尖，和两个嘴角共5个关键位 置；以照片迎中的5个关键点为中心，划分P*Q的网格，照片迎中显示了 P = 5，Q = 7的 情况。对于照片迎所划分的网格所对应的局部图像如照片Mi所示；照片Mi中每个网格 所对应的局部区域如照片_所示；■中的每个局部区域经过多分辨的LBP特征描述之 后，进行量化所得出的相应的索引如照片巡所示。图3为图1中多分辨LBP特征执行单元的具体流程。图4为图像在金字塔采样级数为3的情况下所对应的形式。图像在x-，y_方向上 的下采样率分别为Rx = Ry = 2。其中，图4(a)为原始图像，图4(b)为对图4(a)作下采样 图像，图4(c)为对图4(b)作下采样图像，图4(d)为对图4(c)作下采样图像。图5为图1中训练人脸图像库视觉词汇生成与索引建立执行单元的具体流程。
具体实施例方式图1给出了本发明中基于多分辨LBP的人脸检索方法总体实施步骤结构框图。包 含输入的人脸图像单元10，对输入的人脸图像执行基于多分类器融合的人脸检测单元20 ； 然后执行人脸图像中关键部位的检测单元30 ；接下来执行人脸图像形状归一化处理单元 40 ；接下来执行关键部位局部区域采样图像单元50 ；接下来执行多分辨LBP特征描述单元60 ；接下来执行视觉词汇生成与索引建立单元70 ；最后执行基于TF-IDF的相似性度量单元 80 ；最终的检索结果在单元90中进行显示。本发明执行步骤20中对于输入的人脸图像进行基于多分类器融合的人脸检测方 法采用公知的方法(P. viola and Μ. Jones, "Rapid Object Detection usinga boosted cascade of simple features，”in Proc. CVPR 2001)进行图像中人脸区域的检测，并用矩 形框标出人脸在图像中的位置。图2中示例地给出了一幅输入的人脸图像边，经过多分类 器融合的方法检测之后得出的人脸区域图像为照片迎。在照片迎的基础上进行扩展得到 显示结果照片m。在图1的人脸图像中关键部位的检测单元30中，实现对人脸中的两只眼睛的中 心，鼻尖以及左右嘴角5个关键部位进行定位。其中关键部位的定位方法采用现有公开文 献中的方法(L. Iang, R.Xiao, F. Wen, and J. Sun, "facealignment via component based discriminative search”，in Proc. ECCV 2008)。图2中示例显示了 5个关键部位的检测 结果照片巡。在眼睛定位的基础上，图1中所示的人脸图像形状归一化处理单元40按照左右眼 角(或者中心)的位置，对输入的图像进行形状归一化处理。这形状归一化处理的方法可 以将人脸进行对齐，并且进行尺度和旋转的消除。在图1中的关键部位局部区域采样图像单元50中，以5个关键部位为中心划分成 具有一定交叠的栅格。将设每个局部区域划分的网格数目为P*Q。假定两个眼睛中心的距 离为L，鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度(记为GH)和宽度 (记为GW)分别由如下公式计算得出GH = 2T/QGff = L/P在图2的照片迎中直观显示了 P = 7 ;Q = 5的划分形式向的5个关键部位局部 区域的栅格在原图上的对应关系。相应的5个局部区域的栅格形式如图2中的照片Mi所 示，其中每个栅格中的局部图像块在照片■中直观地予以显示。在图1中的多分辨的LBP特征提取单元60中，分别对5个关键部位的局部区域的 每个栅格，进行多分辨的LBP特征提取。基本的LBP特征提取的方法可参照文献(T. Ojala, M. Pietikainen, and Μ. Maenpaa. Multiresolutiongray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24，2002，pp. 971-987.)。本发明中的多分辨 LBP特征描述方法如图3所示。其中包括对输入图像61，一次执行如下3个步骤多级图像 滤波与低分辨图像生成步骤62，低分辨图像的空间金字塔采样步骤63，以及多分辨的LBP 特征描述步骤64。设f(x，y)表示原始输入图像，G1(Xj)表示滤波和采样的级数为1时的 金字塔图像。G1 (x, y)与f (X，y)具有如下关系
'G,(x,y) = f(x,yX / = 1s
G1 (χ, >0 = Σ Σ K、m, n)Gii (Rxx+m, Ryy+nll>l
、m η其中Rx与Ry分别表示在χ-与y_方向上的空间金字塔图像的采样率。Rx = Ry =1是表示不采样(也即滤波后的图像与原始图像大小相同)，当Rx = Ry = 2时，采样后的图像大小是上一级图像大小的1/4。本发明中的采样率的选取自由度很大，但推荐采用 Rx = Ry = 2的采样形式。κ (m,n)表示滤波器的核函数。当其为高斯核时，κ (x,y)具有 如下的表达形式
… 1 「1P2 /Tφ,γ) = --exp -- —+ —
2;τσχ Lay J _其中σ χ与σ y分别表示高斯滤波器在χ-与y_方向上的标准差。本发明中滤波 器的选择可以是多种形式的，可以是高斯核函数，也可以采用区域加权的滤波器，也可以采 用小波变换的核函数。虽然本发明中核函数的选取自由度很大，但是我们推荐采用小波变 换核，并且选取小波基为“DB2” (关于小波核函数在本领域内是公知的，在此不作累述)。图4中直观地显示了，采样级数为3时所得出的采样图像图。虽然采样的级别数 可以任意设定，本发明中推荐采样级别数为5。在多分辨的LBP特征描述步骤64中，执行对 步骤63中所得出的不同分辨率的图像用LBP特征进行描述。本发明在LBP特征描述中采 用邻域为8 (ρ = 8)，半径为l(r= 1)的LBP特征。关于LBP特征描述在公开发表的论文中 有详细的描述，并且在本领域内是公知的，在此不作累述。在LBP特征描述中，可以采用原 始的 LBP 特征，uniform LBP 以及 Uniform-Rotation Invariant LBP，在 ρ = 8，r = 1 时 其维数分别是256，59和10。在级数L = 5时，其相应的LBP的特征维数为256 = 1280, 59*5 = 295，和 5*10 = 50。在图1中的视觉词汇生成与索引建立单元70中，实现对输入图像中每个局部块对 应的多分辨LBP特征用训练样本图像的聚类中心(也成为视觉词汇或者视觉码书)进行量 化，并获得其相应的索引号。视觉词汇生成方法是采用在量化中采用K-means方法(K均值 聚类方法)。具体而言其中包括如图5所示的6个步骤。首先对于训练的人脸图像71，我们从现有的图像库中选取10000幅图像作为训练 集。然后执行人脸中关键部位的手动标定步骤72，对所选取的人脸图像分别标注其中的关 键部位。该关建部位包括2个眼睛的中心位置，一个鼻尖和2个嘴角的位置。然后根据标注 的人脸中的关键部位，对所选取的训练图像执行人脸图像形状归一化处理步骤73。接下来 执行关键部位局部区域采样图像步骤74。其中采样的步骤和方法与图1中所示的单元50 相同。然后执行多分辨LBP特征描述步骤75，提取多分辨的LBP特征。最后执行基于K均 值聚类的聚类中心生成步骤76，对所选取的图像中的局部区域的局部图像块所对应的LBP 特征进行聚类中心生成。在聚类中心生成中，聚类中心的数目K设置为10万个。假设K个聚类中心为Ck(k = 1，. . .，K)，当前块所对应的特征为F，其相应的视觉 码书的标号确定方法如下
τdK0 = argmin C -F ；k = i，...，K
k其中，取d = 2(表示欧氏距离)。在图1中的基于TF-IDF的相似性度量单元80中，执行基于TF-IDF的相似性对量。 其中的TF-IDF方法在本领域内是一种公知的方法。在该方法中是将如图1所示的5个关 键部位中每个栅格(共5*5*7 = 175)所对应的视觉词汇作为查询项，然后度量一个给定的 人脸图像与人脸库中每个图像相似性。
在图1中的检索结果显示单元90中，按照相似度由大到小的顺序对结果进行排序。
权利要求
1.一种基于多分辨LBP的人脸检索方法，其特征在于，包括下述步骤对输入的人脸图 像(10)执行基于多分类器融合的人脸检测单元(20)，进行图像中人脸区域的检测，并用矩 形框标出人脸在图像中的位置；然后执行人脸图像中关键部位的检测单元(30)，对人脸中 的两只眼睛的中心，鼻尖以及左右嘴角5个关键部位进行定位；接下来执行人脸图像形状 归一化处理单元(40)，按照左右眼角或者眼睛中心的位置，对输入的图像进行形状归一化 处理；接下来执行关键部位局部区域采样图像单元(50)，以所述的5个关键部位为中心划 分成具有一定交叠的栅格，设每个局部区域划分的栅格数目为P*Q，假定两个眼睛中心的距 离为L，鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度记为GH，宽度记为 GW，分别由如下公式计算得出GH = 2T/Q ；Gff = L/P ；接下来执行多分辨LBP特征描述单元 (60)，分别对5个关键部位的局部区域的每个栅格进行多分辨的LBP特征提取；接下来执行 视觉词汇生成与索引建立单元(70)；最后执行基于TF-IDF的相似性度量单元(80)；最终 在检索结果显示单元(90)中显示检索结果。
2.如权利要求1所述的基于多分辨LBP的人脸检索方法，其特征在于，所述的多分辨 LBP特征描述单元(60)包括下述步骤对输入图像(61)，一次执行如下3个步骤多级图像 滤波与低分辨图像生成步骤(62)，低分辨图像的空间金字塔采样步骤(6 ，以及多分辨的 LBP特征描述步骤(64)。
3.如权利要求1所述的基于多分辨LBP的人脸检索方法，其特征在于，所述的视觉词汇 生成与索引建立单元(70)包括下述步骤首先对于训练的人脸图像(71)，从现有的图像库 中选取10000幅图像作为训练集；然后执行人脸中关键部位的手动标定步骤(72)，对所选 取的人脸图像分别标注其中的关键部位，关建部位包括2个眼睛的中心位置，一个鼻尖和2 个嘴角的位置；然后根据标注的人脸中的关键部位，对所选取的训练图像执行人脸图像形 状归一化处理步骤(7 ；接下来执行关键部位局部区域采样图像步骤(74)；然后执行多分 辨LBP特征描述步骤(7 ，提取多分辨的LBP特征；最后执行基于K均值聚类的聚类中心 生成步骤(76)，对所选取的图像中的局部区域的局部图像块所对应的LBP特征进行聚类中 心生成。
全文摘要
本发明公开了一种基于多分辨LBP的人脸检索方法，其特征是，包括如下执行步骤首先对输入的人脸的图像10执行基于多分类器融合的人脸检测单元20；然后执行人脸图像中关键部位的检测单元30；接下来执行人脸图像形状归一化处理单元40；接下来执行关键部位局部区域采样图像单元50；接下来执行多分辨LBP特征描述单元60；接下来执行视觉词汇生成与索引建立单元70；最后执行基于TF-IDF的相似性度量单元80；最终的检索结果在单元90中进行显示。
文档编号G06K9/00GK102136062SQ20111005498
公开日2011年7月27日 申请日期2011年3月8日 优先权日2011年3月8日
发明者汪欢, 钱学明 申请人:西安交通大学