海量人脸库的快速准确检索方法
【技术领域】
[0001] 本发明涉及一种海量人脸库的快速准确检索方法。
【背景技术】
[0002] 大规模人脸库的快速检索在人员管理、视频监控等系统中有重要的实用价值，如 人员身份验证、嫌疑人员轨迹搜索等。人脸库中的人脸图像可能来源于静态的人脸采集，如 身份证件照片，也可能来源于视频监控系统中的动态人脸检测与提取。尤其是后者，将导致 采集的人脸数量指数增长，形成海量的人脸库。对于一张待查询的人脸图像，如何在海量的 人脸库中以近实时的方式进行检索，准确的提供与待查询人脸相似度最高的若干人脸结果 及相关信息（如人脸图像采集的时间、地点等），是人员管理、视频监控等系统中一个亟待 解决的问题。
[0003] 解决上述问题需要同时解决准确性和快速性两方面问题。基于深度学习的人脸识 别技术，尽管可以实现高准确度的人脸识别，但对计算资源有很高要求，无法应用于海量人 脸库的检索。另一方面，基于主成分分析（PCA)、线性判决分析（LDA)等技术实现人脸识别， 虽然计算复杂度较低，但在光照、姿态等条件变化下人脸识别的准确度不高，在大规模人脸 库的情况下，无法提供满意的检索效果。从提高检索速度的角度，大规模图像库的检索，其 主要思想都是采用建立图像库层次索引结构的方法来实现加速检索。具体到人脸检索，如 何在保证人脸识别准确度的前提下，为海量人脸库建立合适的层次索引结构，实现快速检 索，是目前亟需解决的主要技术问题。
[0004] 在实际应用中，人脸库中存储的人脸数目和内容都不断变化。因此，海量人脸库的 检索，还需要解决层次索引结构的动态更新问题。此外，由于人脸检索的结果通常都通过人 工进行最终的判定，因此，在海量人脸库中存在一部分已确定匹配或不匹配的人脸图像集 合。如何在人脸库层次索引结构的建立和更新过程利用这部分先验知识，也是目前亟需解 决的技术问题。
[0005] 海量人脸库的检索问题可以简单表述为：给定一个有N张人脸的大规模人脸库和 一张待查询人脸，如何在库中快速的检索出与待查询人脸最相似的前n张人脸图像？这个 问题涉及到人脸识别和数据检索两方面技术。通过对人脸库中每一张人脸进行特征提取， 得到每一张人脸的一个特征向量，从而建立与人脸图像库对应的人脸特征库，再对应提取 待查询人脸的特征向量，与人脸特征库中的特征向量进行逐一比对，计算特征向量间距离 (如欧氏距离），特征向量距离越小，则对应的人脸相似度越高。
[0006] 由于对大规模人脸特征库进行逐一比对的计算复杂度太高，通常采用聚类检索的 方式。其基本思想是将整个人脸特征库分成多个类，对每一个类计算一个中心向量，检索时 通过与每一个类的中心向量比对，将检索范围迅速缩小到一个或几个类，达到加速的目的。
[0007] 中国专利文件CN102609733A"海量人脸库应用环境下的人脸快速识别方法"引入 二分K-均值聚类算法BKM结合PCA+LDA算法对大规模人脸库进行特征提取。首先对人脸 库计算每个样本的均值向量，本着类内聚合度最大、类间耦合度最小的原则映射到某个维 度空间；然后在这个维度空间对其进行聚类；得到聚类结果后，将各个样本按照其簇属性 重新组合分组；最后在每个簇上使用线性子空间人脸特征提取算法进行特征提取。
[0008] 现有技术基于人脸PCA和LDA特征，在光照、姿态等条件变化下人脸识别的准确度 不高，在大规模人脸库的情况下，无法提供满意的检索效果。更重要的是，现有技术在对大 规模人脸库进行层次聚类时通过简单的距离度量进行类内耦合度和类间相似度的判定，未 能实现最优的特征降维和最具判决作用的聚类结果。此外，现有技术未能很好地解决层次 索引结构的动态更新问题，也没有在人脸库层次索引结构的建立和更新过程中利用人工标 注的人脸匹配结果。
[0009] 因此，亟需一种海量人脸库的快速准确检索方法。
【发明内容】
[0010] 本发明的目的是提供一种海量人脸库的快速准确检索方法。
[0011] 为了实现上述目的，本发明提供的技术方案为：提供：一种海量人脸库的快速准 确检索方法，包括：
[0012] (1)对人脸图像库中人脸图像提取人脸局部特征或局部和整体特征，建立与人脸 图像库对应的人脸特征库；
[0013] (2)利用人脸图像库中一个已标注为匹配或不匹配的人脸图像集合及其对应特 征，通过距离度量学习获得一个特征变换；
[0014] (3)将获得的特征变换应用于人脸特征库，对变换后的人脸特征采用K-均值方法 进行二分或多分聚类；
[0015] (4)对获得的每一聚类所对应的人脸特征库及其对应的人脸图像库重复步骤（2) 和（3)，直至一结束条件得到满足，从而建立海量人脸库的层次索引结构，该索引结构的每 一叶节点和非叶节点分别对应于一个针对人脸局部特征或局部和整体特征的特征变换； [0016] (5)对待查询人脸图像提取与（1)对应的局部特征或局部和整体特征；
[0017] (6)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变 换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；
[0018] (7)若该聚类为层次索引结构中的非叶节点，则继续（6)，否则在该聚类中通过最 近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。
[0019] 其中提取的人脸局部特征或局部和整体特征为局域二值模式特征。
[0020] 其中提取的人脸局部特征或局部和整体特征为通过神经网络获取的。
[0021]将一个已标注的人脸特征库表示为{(Xi，Xj，yij)}，其中Xi,Xj代表两张人脸图像 的局域二值模式特征，Yij= 1若Xi，Xj对应同一人，yU= -1若Xi，Xj对应不同人，则距离 度量学习的目标是找到一个线性特征变换，即投影矩阵H，使以下误差函数最小：
【主权项】
1. 一种海量人脸库的快速准确检索方法，其特征在于，包括： (1) 对人脸图像库中人脸图像提取人脸局部特征或局部和整体特征，建立与人脸图像 库对应的人脸特征库； (2) 利用人脸图像库中一个已标注为匹配或不匹配的人脸图像集合及其对应特征，通 过距离度量学习获得一个特征变换； (3) 将获得的特征变换应用于人脸特征库，对变换后的人脸特征采用K-均值方法进行 二分或多分聚类； (4) 对获得的每一聚类所对应的人脸特征库及其对应的人脸图像库重复步骤（2)和 (3)，直至一结束条件得到满足，从而建立海量人脸库的层次索引结构，该索引结构的每一 叶节点和非叶节点分别对应于一个针对人脸局部特征或局部和整体特征的特征变换； (5) 对待查询人脸图像提取与（1)对应的局部特征或局部和整体特征； (6) 对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后， 通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类； (7) 若该聚类为层次索引结构中的非叶节点，则继续（6)，否则在该聚类中通过最近邻 搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。
2. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：其中提取的人 脸局部特征或局部和整体特征为局域二值模式特征。
3. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：其中提取的人 脸局部特征或局部和整体特征为通过神经网络获取的。
4. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：将一个已标注 的人脸特征库表示为（(Xi，X」，yd)，其中X i, \代表两张人脸图像的局部特征或局部和整 体特征，yu= 1若X i，χ」对应同一人，y ij=-1若X i，χ」对应不同人，则距离度量学习的目 标是找到一个线性特征变换，即投影矩阵H，使以下误差函数最小：
为逻辑回归的损失函数。
5. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：通过距离度量 学习寻找一个投影空间，使投影后的特征中已标注为匹配的人脸间距离尽量小，而使已标 注为不匹配的人脸间距离尽量大。
6. 如权利要求4或权利要求5所述的海量人脸库的快速准确检索方法，其特征在于： 对人脸库中所有人脸特征进行特征变换，对变换后的特征集合，采用K-均值的方法实现二 分或多分聚类，对得到的每一聚类，再针对该聚类中的人脸图像和特征集合，采用同样的方 法进行新的距离度量学习和K-均值聚类，直到层次结构达到预先定义的深度，或每一聚类 内人脸数目满足预定义的大小。
7. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：由步骤（1)建 立的层次索引结构中，每一叶节点和非叶节点均有一个对应的特征变换矩阵。
8. 如权利要求1所述的海量人脸库的快速准确检索方法，其特征在于：步骤（4)中的 结束条件为每一聚类对应的人脸数目不超过一个预定义的数目。
【专利摘要】本发明公开了一种海量人脸库的快速准确检索方法，包括：(1)建立与人脸图像库对应的人脸特征库；(2)利用人脸图像库中的人脸图像集合及其对应特征，通过距离度量学习获得一个特征变换；(3)对变换后的人脸特征采用K-均值方法进行二分或多分聚类；(4)建立海量人脸库的层次索引结构；(5)对待查询人脸图像提取局部特征或局部和整体特征；(6)对应层次索引结构及其相应的特征变换，对提取的人脸特征进行一次特征变换后，通过与每一聚类的中心向量计算距离度量，判决属于哪一聚类；(7)若该聚类为层次索引结构中的非叶节点，则继续(6)，否则在该聚类中通过最近邻搜索的方法，检索距离度量最小的人脸特征并返回对应的人脸图像。
【IPC分类】G06F17-30
【公开号】CN104765768
【申请号】CN201510103271
【发明人】田第鸿, 陈宁
【申请人】深圳云天励飞技术有限公司
【公开日】2015年7月8日
【申请日】2015年3月9日