一种人脸相似度匹配方法及装置的制作方法

专利名称：一种人脸相似度匹配方法及装置的制作方法
技术领域：
本发明涉及认证识别领域，尤其涉及一种人脸相似度匹配方法及装置。
背景技术：
隨着视频监控技术的发展，为解决社会安全问题带来了契机。视频监控 利用图像和摄像头记录场景数据，以便于在线监控，并为事后事件处理提供 了凭证。随着监控设备成本的下降，装备视频监控系统己经成为了预防犯罪 和保障生命财产安全的重要手段，因而在金融机构、政府部门、重要交通、 边检防卫和门禁小区中得到了广泛应用。
其中，面向监控视频的人脸智能分析是视频监控技术中的重要技术，对 于监控视频的人脸分析，人脸检测和人脸相似度匹配是极其重要的两个步骤。 监控视频中的人脸相似度匹配由人脸特征提取和特征相似度度量组成。人脸 特征提取模块通过对原始人脸图像数据进行变换，得到最能反映人脸表示或 分类本质的特征数据。根据特征抽取区域的不同，目前主要的特征提取方法
包括全局特征提取方法和局部特征提取方法，例如基于特征脸Eigenface和 Fisherface等方法提取的人脸特征是典型的全局特征，而基于Gabor、局部二 值模式(Local Binary Pattern, LBP)和尺度不变特征变换(Scale Invariant Feature Transform, SIFT)等方法提取的特征为人脸局部特征。
然而，监控环境下的视频与影视、新闻等视频相比，存在人员不配合、 成像环境更加恶劣、人脸图像分辨率和清晰度较低的特点，因此造成了监控 视频人脸图像包含了大量姿态变化、光照变化、分辨率变化和遮挡等不利于 人脸分析的因素。图la、图lb、图lc、图l d分别显示了监控视频一般存在
5的姿态、尺度、遮挡和光照变化，加上由于人脸的非配合特性，这些因素造 成了人脸面部器官精确定位和人脸归一化存在很大难度。基于以上分析可知， 在监控视频中，如果盲目采用传统人脸识别方法提取特征和进行相似度比较， 必定会造成人脸检索性能的不可接受，因此，在监控视频中，要进行准确的 人脸相似度匹配，必须探索与传统方法所不同的技术路线。
现有技术中，Bicego等的方法首次引入了 SIFT作为人脸相似度度量器， 并且以人脸识别率作为人脸相似度度量准确性的参数衡量。该方法主要采用 了如下的技术手段
1、 对归一化的人脸图像提取SIFT特征，获取关键点的位置、尺度、方 向和特征向量；
2、 比较人脸图像A和人脸图像B中的所有关键点特征描述子之间的欧氏 距离来比较人脸之间的相似度；
3、 比较提取的眼睛和嘴部的SIFT关键点的特征向量之间的距离，计算 人脸之间的相似度；
4、 将人脸迸行分块进行SIFT匹配计算关键点的特征向量之间的距离， 计算人脸之间的相似度。
在实现本发明过程中，发明人发现现有的人脸相似度匹配方法准确性不 高，因为-
1、 现有技术简单采用直接匹配的方法比较人脸之间的相似度，没有考虑 存在的多个匹配点判决信息；
2、 现有技术仅比较眼睛和嘴部的关键点特征向量之间的平均距离衡量人 脸之间的相似度。实际上，人脸存在的判决性信息不一定仅限存在于这些部 位，如痣和雀斑等个性特征对人脸相似度匹配起着重要的作用。

发明内容
本发明实施例提供了一种人脸相似度匹配方法及装置，可以提高人脸匹
6配的准确率。
一方面，本发明提供了一种人脸相似度匹配方法，该方法包括摄取第 一人脸图像；提取所述第一人脸图像和存储的第二人脸图像中多个关键点的 特征数据；对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的
关键点中搜索相匹配的关键点；计算所述第一人脸图像的关键点与相匹配的 所述第二人脸图像的关键点的相似度分数；将所述第一人脸图像的每一个关 键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹 配。
另一方面，本发明提供了一种人脸相似度匹配装置，该装置包括摄像 单元，用于摄取第一人脸图像；提取单元，用于提取所述第一人脸图像和存 储的第二人脸图像的关键点的特征数据；搜索单元，用于对于所述第一人脸 图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点； 相似度计算单元，用于计算所述第一人脸图像的关键点与相匹配的所述第二 人脸图像的关键点的相似度分数；判断单元，用于将所述第一人脸图像的每 一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断 是否匹配。
上述技术方案具有如下优点或有益效果是提出了基于一种人脸相似度 匹配方法和装置，这种似度分析方法和装置通过融合多对存在匹配关系的 SIFT特征点信息，以提高总体匹配性能。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图la至图ld是监控视频中的人脸变化因素7图2是本发明实施例提供的一种人脸相似度匹配方法流程图； 图3是基于图像多尺度表示的人脸关键点检测流程图； 图4是尺度空间人脸图像序列图； 图5是DOG图像序列图6a、图6b是候选关键点定位方法和结果图； 图7是监控视频人脸图像的SIFT关键点分布； 图8是由关键点邻域梯度信息生成特征向量； 图9是基于最近邻匹配点的相似度度量流程图； .O人脸特征匹配与相似度比较示意图； 1是融合匹配点的相似度度量流程:2本发明实施例提供的一种人脸相似度匹配装置的模块示意图； .3本发明另一实施例提供的一种人脸相似度匹配装置的模块示意图； [4本发明另一实施例提供的一种人脸相似度匹配装置的模块示意是实验测试数据库样本； :6a至图16d是识别率与注册模板数的关系曲线图； 17是增加遮挡处理的数据库样本；
8a至图18d是遮挡情况下识别率与注册模板数的关系曲线图； [9是遮挡情况下搜索到的匹配SIFT关键点示意图。
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出了一种人脸相似度匹配方法，可以满足监控视频内容 分析需求，如图2所示，该方法包括步骤201，摄取第一人脸图像；
步骤202，提取所述第一人脸图像和存储的第二人脸图像的关键点的特征 数据；
步骤203，根据所述第一人脸图像和第二人脸图像的关键点的特征数据， 对第一人脸图像和第二人脸图像进行一致性比较以判断是否匹配。
其中，提取所述第一人脸图像和第二人脸图像的特征数据是通过尺度不 变特征变换SIFT方法提取的。基于SIFT的人脸特征提取算法本质上是一种 基于局部特征提取的图像表示与相似度度量的方法，局部特征的提取分为两 步提取目标关键点和对关键点进行描述，关键点的定位是目标识别的基础， 一般是图像灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也 可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易 于匹配的信息。特征点描述即建立特征向量，特征空间的选择决定了图像的 哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量，以确保最 低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以 降低各类图像变化因素对匹配算法速度、稳健性的影响。
本发明实施例中的提取人脸图像关键点特征数据的步骤具体包含以下两
个步骤
1)基于图像多尺度表示的人脸关键点检测
为了保证提取的特征对于尺度变换保持稳定性能，SIFT在尺度空间内进 行图像关键点的检测，尺度空间理论最早出现于计算机视觉领域，其目的是 模拟图像数据的多尺度特征。尺度空间理论的主要思想是利用高斯核对原始 图像进行尺度变换，以获得多尺度下的图像表示。在SIFT算法中，首先执行 尺度空间的极值检测作为关键点的候选。图3表示了基于图像多尺度表示的 人脸关键点检测流程图，其主要由图像尺度空间生成，DOG金字塔建立，候 选关键点获取，关键点精定位及其筛选和关键点主方向确定几个部分组成。 下面对于这几个部分的功能进行介绍图像尺度空间生成主要是对给定的二维图像生成在不同尺度空间下的图 像序列图，其示例如图4所示；
DOG金字塔建立主要是对尺度空间人脸图像序列进行DOG (Difference of Gaussian)操作，即相邻高斯滤波图像的差分，是归一化LOG(Laplacian of Gaussian)算子的近似。其主要是为找到具有稳定尺度特征的关键点，其示例 如图5所示；
候选关键点的获取主要是在建立的DOG空间金字塔中，定义在相邻尺度 空间内具有局部最大值或局部最小值的点作为图像关键点的候选，如图6a 所示。DOG尺度空间的中间层的每个象素点与同一层的相邻8个象素点、上 一层的相邻9个象素点和下一层的相邻9个象素点总共26个相邻象素点进行 比较。在图6a中，标记为叉号的象素若比相邻的26个象素的DOG值都大或 都小，则该点可作为候选关键点。图6b显示了对一张人脸图像的候选关键点 定位结果，可以观察到包含人脸判决信息的主要面部器官，如眼、鼻和嘴部， 都存在较多的候选关键点；
关键点精定位及其筛选主要是因为DOG图像的像素值对噪声和边缘较 敏感，因此，在DOG空间检测到的局部极值点要进一步筛选，并重定位到亚 象素级和精度尺度位置。同时还要去除低对比度的特征点和不稳定的边缘响 应点，以增强匹配稳定性和提高抗噪声能力；
关键点主方向的确定主要目的是保证SIFT具有旋转不变性，SIFT基于特 征点邻域象素的梯度方向分布特性为每个特征点指定方向参数。在以特征点 为中心的邻域窗口内采样，并用梯度方向直方图统计邻域象素的梯度方向；
通过以上步骤，已经完成图像特征点的提取，每个特征点有三个信息 位置、尺度和方向。图7显示了两张监控视频人脸图像的SIFT特征分布情况。 图中每个箭头的头部、方向和长度分别标识了提取的人脸关键点的位置、主 方向和尺度信息。可以看出，这些关键点分布在眼睛、眉毛、嘴唇和鼻梁等 具有良好人脸判决性信息的区域。2)基于梯度方向直方图统计的人脸关键点特征提取
在SIFT的图像关键点表示中，仅利用关键点的位置、尺度和方向信息不 足以形成足够判决性的特征，于是需要对关键点周围的区域以尺度大小提取 灰度统计特征。在特征提取之前，首先将坐标轴旋转为关键点的方向，以确 保旋转不变性。然后以关键点为中心取8x8的窗口，如图8所示。图8左的 中央点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个 像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中圆圈 代表高斯加权的范围。然后在每4x4的小块上计算8个方向的梯度方向直方 图，绘制每个梯度方向的累加值，如图8右部分所示。这种邻域方向性信息 联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也 提供了较好的容错性。实际计算过程中为增强匹配的稳健性，将扩大特征提 取的区域范围，对每个关键点使用4x4共16个种子点来描述，这样对于一个 关键点就可以产生128个数据，最终形成128维的SIFT特征向量。为进一步 去除光照对比度变化的影响，可将特征向量的长度归一化。
通过对监控视频人脸生成图像尺度空间、建立DOG金字塔、获取候选关 键点、确定关键点主方向和提取基于梯度方向直方图统计的人脸关键点特征 等步骤，对于两幅人脸图像A和B，可以获得基于SIFT的关键点特征描述 K戶,v。K,vc",'")和((戸户 ，^，^W"、其中pos、 rot、 sd和vct分别是
关键点的位置、方向、尺度和特征向量信息，可利用不同图像的关键点之间 的相似度度量来估算图像之间的匹配程度。
根据应用场合的不同，本发明实施例分别提出了 2种人脸图像相似度匹 配方法。
1)本发明实施例提供一种人脸图像基于最近邻匹配点的相似度匹配方 法，该方法提取所述第一人脸图像和第二人脸图像的关键点的特征数据时提 取多个关键点的特征数据；
然后根据所述第一人脸图像和第二人脸图像的关键点的位置信息和特征向量信息，计算第一人脸图像的每一个关键点与第二人脸图像的每一个关键 点的相似度分数，根据最大的相似度分数是否满足预设值判断是否匹配。
所述的相似度分数包括所述的第一人脸图像和第二人脸图像的关键点 的位置信息分量与所述的第一人脸图像和第二人脸图像的关键点的特征向量 信息的向量内积的乘积。
该匹配方法可以用于监控场合，能对图像进行快速匹配，并给出范围在 0 1之间的相似度值从而能对图像进行相似度分析。
如图9所示，首先，对于给定的人脸图像A和B,其对应的基于SIFT的 关键点特征描述为{(，,'叫'《叫)""}和Kp。"','^，,;u"}。与目标识别存
在区别，对于监控视频中的人脸图像，由于人脸姿态的随意性和尺度定位误 差，关键点的尺度信息^和方向信息,对于匹配所起的作用有限；而特征描
述子,的定义考虑了^和,信息，使得一对尺度和方向旋转鲁棒，这正好 满足视频中的人脸匹配要求；另外，空间位置信息p 对于匹配非常重要。在 实验中发现，人脸不同区域有可能具有相似的局部描述。综上所述，本实施 例利用w'和/^'匹配视频人脸。对于图像A和B的关键点i和j，其相似度定
义为
二 exp(—^"|p。s,- — I)'|卜",，v"乂I
CT (4)
其中，exp(-*h—p。^是关键点i和j的位置信息分量，l卜c」l是关键 点的特征向量信息的向量内积操作，在i与^^力的所有相似度分数中，假设
力'和^是前两位相似度值最大的分数。定义^'。 ，如果mtio大于阈值T，
则图像A中的特征点i和图像B的某特征点相匹配。在所有的匹配特征对中， 搜索相似度分数最大的"，定义为^"，用于图像A与B的相似度度量。
图IO显示了本发明上述人脸相似度匹配过程。对于监控视频中的两张人 脸图像，分别提取了SIFT特征，每张人脸的关键点、尺度和方向信息用红色 箭头表示。按照式(4)，计算两张图像特征对的相似度，并将相匹配的特征对
12用连线表示，图中共有4对特征满足匹配条件，其中线a、 b、 c、 d都表示匹 配的特征对，且线c表示相似度分数最大的匹配特征对。可以看到，本发明 提出的方法可以定位和提取人脸图像具有局部判决性的特征，如面颊、眼眉 和鼻梁区域。匹配的特征对对一定范围内的人脸尺度变化、位移变化鲁棒， 且能自动避开遮挡区域，因此该算法特别适用于监控视频下的人脸比较。
2)本发明实施例还提供一种人脸图像融合匹配点的相似度匹配方法，该 方法提取所述第一人脸图像和第二人脸图像的关键点的特征数据时提取多个 关键点的特征数据；
然后，对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的 关键点中搜索相匹配的关键点；
计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点 的相似度分数；
将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关 键点的相似度分数融合以判断是否匹配。
其中，所述的对于所述第一人脸图像的每一个关键点，在所述第二人脸 图像的关键点中搜索相匹配的关键点包括
根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特 征向量信息分别计算两个关键点的特征向量距离；
如果所述的特征向量距离满足预设值则判断上述两个关键点相匹配。
其中，所述的计算所述第一人脸图像的关键点与相匹配的所述第二人脸 图像的关键点的相似度分数包括
根据所述第一人脸图像的关键点与相匹配的第二人脸图像的关键点的位 置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺 度特征权重和方向特征权重；
将两个相匹配的关键点的位置特征权重、尺度特征权重、方向特征权重 和特征向量距离相乘以获得相似度分数。其中，所述的相似度分数融合包括相似度分数求和融合和相似度分数 求积融合。
如图11所示，对于人脸图像A中的每一个关键点i，在图像B中搜索相 匹配的关键点j，如果i和j的特征描述满足以下条件，称i和j匹配成功
式(l)表示匹配成功的特征点(i与j)之间的特征向量距离至少应为第二匹 配的特征点(i与k， k#j)之间的特征向量距离的R倍。尺度&W可基于多种距 离度量，在这里选择向量相关系数作为相似度分数。
为了增加准确性，式(1)还可以受以下3个条件的约束
(I) 卜,.-戸/1 < W,/^ .
(II) 卜0。'-r0~|<ra".
(III) min ', J"v')Z max(Jc/,,sc/乂.) < "/,^j
上述约束表明匹配成功的特征点(i和j)还应满足位移、旋转角度和尺度的 关联关系。设定这种约束的原因在于人脸的不同区域可能存在纹理的相似性， 且可根据不同匹配要求设定约束的严格程度以保证局部特征的唯一性和判决 性。
对匹配成功的关键点i与j计算置信度权重>、 '和 。其中wp。" ，wK/ 的计算如下
方向特征权重w"、:首先计算成功匹配的两个特征点i和j之间的P^，P^ 之间的距离pos，计算方法如下，-",0^-;^)，其中norm是计算
PM，P^/两者的欧式距离，随后对于p0S进行归一化操作将得到其置信度权重 ^W， MVjexp(-戶？/—)，其中cr值一般取i，是一个可以调整的值；
方向特征权重 首先计算成功匹配的两个特征点i和j之间的"W'，" 之 间的距离rot，计算方法如下^ = ^—'-，)，其中abs是对，'，两者差
14值取绝对值操作，随后对于rot进行归一化操作将得到其置信度权重^。'， vv-exp(-n^/c72),其中cr值一般取l，是一个可以调整的值；
位置特征权重w、"首先计算成功匹配的两个特征点i和j之间的s"^A之 间的距离SCl，计算方法如下^ = ^'"乂，如果scl大于l，则^ = </"/'，
随后对于scl进行归一化操作将得到其置信度权重， =exp(—/ct2)， 其中^值一般取1，是一个可以调整的值；
求出了wp。、 和mw之后，对于i与j之间的相似度分数定义为-
=,M . > V。,. .必(vc,,, vcf)) (2)
人脸图像A和B越相似，则必定有更多的关键点相匹配。融合所有的相
匹配的关键点，必将提高人脸相似度度量的准确性
, (3) 式(3)基于求和融合Sum-Rule和求积融合Product-Rule的分类器融合策
略，将所有的匹配分数融合起来。具体采用哪种融合规则主要由&w的形式 决定，采用向量相关系数的时候采用Sum-Rule的方法。
对于基于融合匹配点的相似度度量方法，其相似度度量的结果越大，两 个图像就越相似。
本实施例提出的融合匹配点相似度匹配方法的目的是为了在对监控视频 中的人脸图像进行精确匹配的场合，本实施例提出融合多对存在匹配关系的 SIFT特征点信息，以提高总体匹配性能。可将每对匹配成功的特征点相似度 视为弱匹配器，基于分类器融合策略，融合多个弱匹配器将提高整体匹配效 果。
本发明实施例还提供一种人脸相似度匹配装置，如图12所示，该装置包
括
摄像单元1201，用于摄取第一人脸图像；
15提取单元1202，用于提取所述第一人脸图像和存储的第二人脸图像的关 键点的特征数据；
比较单元1203，用于根据所述第一人脸图像和第二人脸图像的关键点的 位置信息和特征向量信息，对第一人脸图像和第二人脸图像进行一致性比较 以判断是否匹配。
该实施例提供的装置根据人脸图像的关键点的位置信息和特征向量信息 进行一致性比较，从而提高了人脸识别的准确率。
其中，提取所述第一人脸图像和第二人脸图像的特征数据是通过尺度不 变特征变换SIFT方法提取的。基于SIFT的人脸特征提取算法本质上是一种 基于局部特征提取的图像表示与相似度度量的方法，局部特征的提取分为两 步提取目标关键点和对关键点进行描述，关键点的定位是目标识别的基础， 一般是图像灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也 可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易 于匹配的信息。特征点描述即建立特征向量，特征空间的选择决定了图像的 哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量，以确保最 低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以 降低各类图像变化因素对匹配算法速度、稳健性的影响。
本发明实施例还提供一种人脸相似度匹配装置，如图13所示，该装置包
括
摄像单元1301，用于摄取第一人脸图像；
提取单元1302，用于提取所述第一人脸图像的关键点和存储的第二人脸 图像的多个关键点的特征数据，该特征数据包括第一人脸图像和第二人脸 图像中关键点的位置信息和特征向量信息；
比较单元包括-
第一相似度计算单元1303，用于根据所述第一人脸图像和第二人脸图像 的关键点的位置信息和特征向量信息，计算第一人脸图像的关键点与第二人脸图像的每一个关键点的相似度分数；
第一判断单元1304，用于根据最大的相似度分数是否满足预设值判断是 否匹配。
所述的比较单元的具体工作流程为对于给定的人脸图像A和B，其对 应的基于SIFT的关键点特征描述为^叫',，《叫Vs^和 K""，f ^/,"》'^巧。与目标识别存在区别，对于监控视频中的人脸图像， 由于人脸姿态的随意性和尺度定位误差，关键点的尺度信息—和方向信息^' 对于匹配所起的作用有限；而特征描述子v"'的定义考虑了4和^信息，使得 叫对尺度和方向旋转鲁棒，这正好满足视频中的人脸匹配要求；另外，空间 位置信息Pw'对于匹配非常重要。在实验中发现，人脸不同区域有可能具有相 似的局部描述。综上所述，本实施例利用叫和P叫匹配视频人脸。对于图像A 和B的关键点i和j，其相似度定义为
Ih"^l是向量内积操作。在i与W^的所有相似度分数中，假设"和^ 是前两位相似度值最大的分数。定义^'° = ""'2，如果ratio大于阈值T，则图 像A中的特征点i和图像B的某特征点相匹配。在所有的匹配特征对中，搜 索相似度分数最大的"，定义为5,，用于图像A与B的相似度度量。
该匹配装置主要用于在监控场合，能对图像进行快速匹配，并给出范围 在0 1之间的相似度值从而能对图像进行相似度分析。
本发明实施例还提供一种人脸相似度匹配装置，如图14所示，该装置包
括
摄像单元1401，用于摄取第一人脸图像；
提取单元1402，用于提取所述第一人脸图像和存储的第二人脸图像的多 个关键点的特征数据，该特征数据包括第一人脸图像和第二人脸图像中关 键点的位置信息、尺度信息、方向信息和特征向量信息；
17比较单元用于根据所述第一人脸图像和第二人脸图像的关键点的位置信 息、尺度信息、方向信息和特征向量信息对第一人脸图像和第二人脸图像进
行一致性比较；该比较单元包括-
搜索单元1403，用于对于所述第一人脸图像的每一个关键点，在所述第 二人脸图像的关键点中搜索相匹配的关键点；
第二相似度计算单元1404，用于计算所述第一人脸图像的关键点与相匹 配的所述第二人脸图像的关键点的相似度分数；
第二判断单元1405，用于将所述第一人脸图像的每一个关键点与相匹配 的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。
所述的比较单元的具体工作流程为
对于人脸图像A中的每一个关键点i，在图像B中搜索相匹配的关键点j， 如果i和j的特征描述满足以下条件，称i和j匹配成功
式(l)表示匹配成功的特征点(i与j)之间的特征向量距离至少应为第二匹 配的特征点(i与k， k《)之间的特征向量距离的R倍。尺度^ 可基于多种距 离度量，在这里选择向量相关系数作为相似度分数。
为了增加准确性，式(l)还可以受以下3个条件的约束(I).
卜j - po"卜戸,一 .
(II) |,-尸"乂卜鸣r".
(III) m in("A., Jc/乂) / tnax(sc/j, jc/乂 ) < sc/"啦
上述约束表明匹配成功的特征点(i和j)还应满足位移、旋转角度和尺度的 关联关系。设定这种约束的原因在于人脸的不同区域可能存在纹理的相似性， 且可根据不同匹配要求设定约束的严格程度以保证局部特征的唯一性和判决
性。对匹配成功的关键点i与j赋予置信度权重,w， 和 / 。其中W戸，MV，M^
的计算如下
18方向特征权重Wp。'首先计算成功匹配的两个特征点i和j之间的^^W、 之间的距离pos，计算方法如下戶^"。^(;^'-p叼)，其中norm是计算
P^'P^两者的欧式距离，随后对于p0S进行归一化操作将得到其置信度权重 v^-exp(-/^2〃2),其中cr值一 般取！，是一个可以调整的值；
方向特征权重夂'首先计算成功匹配的两个特征点i和j之间的^，" 之 间的距离rot，计算方法如下^-^("W'-，')，其中abs是对，，，两者差
值取绝对值操作，随后对于rot进行归一化操作将得到其置信度权重t'， uexpH^2/。2)，其中(T值一般取1，是一个可以调整的值；
位置特征权重w、"首先计算成功匹配的两个特征点i和j之间的"A，"。之 间的距离scl，计算方法如下^-4"";，如果sd大于l，则""4"d'，
随后对于scl进行归一化操作将得到其置信度权重， = exP(—，
其中^值一般取1，是一个可以调整的值；
求出了hv、 v^和v^/之后，对于i与j之间的相似度分数定义为 = w戸.. .池(v",., vc。 ) (2)
人脸图像A和B越相似，则必定有更多的关键点相匹配。融合所有的相
匹配的关键点，必将提高人脸相似度度量的准确性-
, M (3)
式(3)基于求和融合Sum-Rule和求积融合Product-Rule的分类器融合策
略，将所有的匹配分数融合起来。具体釆用哪种融合规则主要由&w的形式
决定，釆用向量相关系数的时候采用Sum-Rule的方法。
对于基于融合匹配点的相似度度量方法，其相似度度量的结果越大，两
个图像就越相似。
本实施例提出的人脸相似度匹配装置的目的是为了在对监控视频中的人脸图像进行精确匹配的场合，本实施例提出融合多对存在匹配关系的SIFT特
征点信息，以提高总体匹配性能。可将每对匹配成功的特征点相似度视为弱 匹配器，基于分类器融合策略，融合多个弱匹配器将提高整体匹配效果。
算法比较
本实施例利用人脸识别率参数来比较不同算法对特征提取和相似度度量
的准确性。图15是实验测试数据库样本；参与比较的算法包括基于SIFT 的融合匹配点的相似度度量、基于SIFT的最近邻匹配点的距离度量、基于最 近邻分类的PCA ( Primary Component Analysis,主元分析)特征提取方法和 基于卡方距离的LBP (Local Binary Pattern,局部二值模式)方法。在实验中， 对各方法的参数设置如下在基于SIFT的融合匹配点的相似度度量方法中， ; = 0.8， P叫/^-7， raf//!W=0'27， K/rtrw=a77;在基于最近邻匹配点的距离
度量方法中，ratio-U6， PCA的特征向量数目为219; LDA (Linear
Discriminant Analysis,线性判别分析)的特征向量数目为21;在基于卡方距 离的LBP方法中，LBP的尺度算子为(8，1)。在特征提取时，将图像分为四个 子块，对每个子块提取59维的Uniform Code,因此LBP方法对每张图像可获 得59x4 = 236维特征。然后对于每张图像构成一个236维的特征向量，然后 计算每个特征向量中与其最相似的特征向量，这样便可以得到与改图像最相 似的人脸图像。
实验结果如图16a-16d所示。图16a-16d列出了人脸识别率与注册模板数 的关系曲线图，共包括四个子图，通过累积识别率曲线表示各种特征提取算 法和相似度比较算法的性能。各子图的纵轴为累积识别率，横轴n的范围为1 16。累积识别率的计算过程如下对应于n的特定取值，当进行某次识别时， 如果前n候选中包含正确识别结果，则将正确识别的次数加1。在所有的识别 工作完成后，将正确识别的次数与总的识别次数相比，即得对应于n的累积 识别率。图16a、图16b、图i6c和图16d分别列出了当注册模板数分别为 1， 2， 3和4时的累积识别率。如图16a图中，在每人10幅图像中，任意选择1幅进行注册形成特征数据库模板，其它9幅图像与之进行匹配计算识别 率。各子图中，基于SIFT的融合匹配点的相似度度量方法、基于最近邻匹配 点的距离度量、基于最近邻分类的PCA特征提取方法和基于卡方距离的LBP 方法分别用红色曲线、黑色曲线、蓝色曲线和青色曲线表示。在各种情况下， 融合匹配点的相似度度量均获得了最好的识别效果。在注册模板数分别为1， 2， 3和4的情况下，首选识别率为60.9°/。， 77.7%， 84.5°/。和88.6%，远远超 过了其它算法。这说明了在监控视频数据库下，与其它算法相比较，基于SIFT 的算法能较好地解决多姿态人脸定位误差和归一化难题，并能提取强判决特 征，融合人脸多个匹配点判据能有效提高人脸相似度匹配的准确度。 遮挡测试
在监控视频中可能经常会出现人员相互遮挡的现象，为了说明算法在这 种情况下的性能，本发明实施例为每幅人脸图像手工增加了遮挡，如图17所 示。在本发明实施例的设想中，由于SIFT采用了关键点匹配的机制，而PCA 和LBP基于全局或者局部灰度统计机制，本发明实施例提出的两种算法性能 应该远优于PCA和LBP的方法。实验结果如图18所示。
图18a-18d列出了数据库包含遮挡的情况下，人脸识别率与注册模板数的 关系曲线图。通过观察曲线的趋势变化，可以看到两种基于SIFT的人脸特征 匹配和相似度度量方法始终保持了较好的识别性能，对于融合匹配点的相似 度度量器，在注册模板数分别为1， 2， 3和4的情况下，首选识别率为47.1%, 68.6%， 74.1%和83.2%，而LBP的性能却急剧下降，首选识别率为26.4%， 39.1%， 51.2°/。和60.5°/。，甚至远劣于PCA的方法。基于SIFT的方法在寻找 匹配的关键点过程中，能自动避开遮挡区域，寻找其它相似关键点，如图19 所示，蓝色圆圈表示存在对应匹配关系的关键点位置，因此能获得对遮挡鲁 棒的性能。而LBP方法对图像区域块进行局部模式直方图统计，即使基于相 同的人脸图像，由于遮挡块的位置随机，获得的LBP特征模式必定存在较大 的差异，造成不准确的人脸相似度度量。从认知学的角度来看，本发明实施例提出的基于SIFT的人脸特征匹配和 相似度度量符合人类自身执行人脸图像匹配的过程。对于传统的人脸相似度 比较算法，通过对训练图像集合进行学习，获得应用于所有人脸的特征提取 器，提取具有判决性能的局部特征或全局特征，如LDA方法和基于Adaboost 的人脸识别方法。然而，这种思路忽略了用户拥有的判决特征并不完全相同 的事实，比如说有些用户脸上有伤疤，有些用户有雀斑等，采用统一的特征 提取器必将损失很多判决特征。为此，本发明实施例使用了对于任意人脸图 像，采用关键点定位和基于关键点的特征提取思路，对于待匹配的人脸图像， 搜索其特征点对，分析对应局部区域模式是否相似。这与人类的图像匹配过 程类似。例如，给定一张照片，要求用户从照片集中找出其它身份相同的照 片。对于两张明显不像的照片，用户可能粗略地比对眼睛或鼻子关键部位， 很快给出相似度信息；对于较相像的照片，用户可能还会寻找其它细节信息， 如痣、斑和疤等，给出融合相似度信息。不管使用哪种比较方式，用户都基 于个性特征进行对应匹配，这与本发明提出的基于SIFT人脸特征提取和相似 度度量过程保持了一致。
本发明实施例提出的人脸相似度匹配方法及装置包含两种基于SIFT的人 脸相似度匹配方法，分别为融合匹配点的相似度度量和基于最近邻匹配点的 相似度度量；其中，基于SIFT的融合匹配点的相似度度量方法，适用于图像 精匹配的应用场合，如果监控视频图像质量较好可以采用该方法；基于最近 邻匹配点的相似度度量方法适用于对图像进行快速匹配的应用场合，较好的 满足了监控视频中对于实时和视频质量较差的情况。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于 一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施 例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only
22Memory, ROM)或随机存储记忆体(Random Access Memory, RAM)等。
以上所述仅为本发明的几个实施例，本领域的技术人员依据申请文件公 开的可以对本发明进行各种改动或变型而不脱离本发明的精神和范围。
权利要求
1、一种人脸相似度匹配方法，其特征在于，该方法包括摄取第一人脸图像；提取所述第一人脸图像和存储的第二人脸图像中多个关键点的特征数据；对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。
2、 根据权利要求1所述的方法，其特征在于，所述提取所述第一人脸图 像和第二人脸图像的关键点的特征数据是通过尺度不变特征变换SIFT方法提 取的；该特征数据包括第一人脸图像和第二人脸图像中关键点的位置信息、 尺度信息、方向信息和特征向量信息。
3、 根据权利要求2所述的方法，其特征在于，所述的对于所述第一人脸 图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点 包括 根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特 征向量信息分别计算两个关键点的特征向量距离；如果所述的特征向量距离满足预设值则判断上述两个关键点相匹配。
4、 根据权利要求2所述的方法，其特征在于，所述的计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数包括根据所述第一人脸图像的关键点与相匹配的第二人脸图像的关键点的位 置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺度特征权重和方向特征权重；将两个相匹配的关键点的位置特征权重、尺度特征权重、方向特征权重 和特征向量距离相乘以获得相似度分数。
5、 根据权利要求1所述的方法，其特征在于，所述的相似度分数融合包 括相似度分数求和融合和相似度分数求积融合。
6、 一种人脸相似度匹配装置，其特征在于，该装置包括 摄像单元，用于摄取第一人脸图像；提取单元，用于提取所述第一人脸图像和存储的第二人脸图像的关键点 的特征数据；搜索单元，用于对于所述第一人脸图像的每一个关键点，在所述第二人 脸图像的关键点中搜索相匹配的关键点；相似度计算单元，用于计算所述第一人脸图像的关键点与相匹配的所述 第二人脸图像的关键点的相似度分数；判断单元，用于将所述第一人脸图像的每一个关键点与相匹配的所述第 二人脸图像的关键点的相似度分数融合以判断是否匹配。
7、 根据权利要求6所述的装置，其特征在于，所述提取单元通过尺度不 变特征变换SIFT方法提取所述第一人脸图像和第二人脸图像的关键点的特征 数据；该特征数据包括第一人脸图像和第二人脸图像中关键点的位置信息、 尺度信息、方向信息和特征向量信息。
8、 根据权利要求6所述的装置，其特征在于，所述的搜索单元包括 距离计算单元，用于根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特征向量信息分别计算两个关键点的特征向量距离；匹配单元，用于根据所述的特征向量距离是否满足预设值判断上述两个 关键点是否相匹配。
9、 根据权利要求6所述的装置，其特征在于，所述的相似度计算单元包括特征权重计算单元，用于根据所述第一人脸图像的关键点与相匹配的第 二人脸图像的关键点的位置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺度特征权重和方向特征权重；分数计算单元，用于将两个相匹配的关键点的位置特征权重、尺度特征 权重、方向特征权重和特征向量距离相乘以获得相似度分数。
10、根据权利要求6所述的装置，其特征在于，所述判断单元通过将所 述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相 似度分数求和融合或求积融合以判断是否匹配。
全文摘要
本发明实施例提供一种人脸相似度匹配方法，该方法包括摄取第一人脸图像；提取所述第一人脸图像和存储的第二人脸图像中多个关键点的特征数据；对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。
文档编号G06K9/00GK101510257SQ20091013050
公开日2009年8月19日 申请日期2009年3月31日 优先权日2009年3月31日
发明者左坤隆, 王蕴红 申请人:华为技术有限公司