专利名称：人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置的制作方法
技术领域：
本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及人脸识别方法。
技术背景生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及与人 脸识别技术相融合的生物特征识别技术。因此，本发明涉及人脸图像采集和识别算法，具 有重要的应用价值。目前已有的人脸识别方法主要是对整个人脸进行识别的，而在诸多的识别方法中，主 要采用主分量分析(PCA— Principal Component Analysis)、弹性匹配、神经网络、几何 特征等方法。同时，人脸识别的难点还在于-(1) 表情引起的人脸塑性变形(2) 姿态引起的人脸多样性(3) 年龄引起的人脸变化(4) 发型、胡须、眼镜、化装等因素引起的人脸模式的多重性(5) 光照的角度、强度以及传感器特性等因素引起的人脸图像的差异性 诸多的因素使得人脸识别成为一项棘手而富挑战性的课题，也因此在近年成为科研的热点。基于人脸部件主分量分析的多模式人脸识别方法对人脸进行部件提取，再对人脸部件进行主分量分析及多模式识别，以达到高的识别率。1) 首先采用模板匹配和投影直方图的方法对人脸图像定位，确定出人脸粗定位区、左 右眼球、鼻尖、嘴、下颌顶点的基本位置，然后从整个人脸中提取出裸脸、眉毛+眼睛、 眼睛、鼻尖、嘴五种人脸部件；2) 对从训练集人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件， 利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛+眉毛)、特征眼睛、 特征鼻子、特征嘴巴；3) 对已知人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件， 利用主分量分析方法中的投影特征值分析方法，提取已知人脸的裸脸、眼睛+眉毛、眼睛、 鼻子、嘴五种人脸部件的投影特征值；4) 对待识别人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取待识别人脸的裸脸、眼睛+眉毛、眼 睛、鼻子、嘴巴的投影特征值；5)分别计算己知人脸部件图像的投影特征值和待识别人脸对应部件图像的投影特征 值之间的相似度；对裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的相似度融合得到多模式的全 局人脸识别方法，单个裸脸、眼睛+眉毛、眼睛、鼻子、嘴的相似度识别，或裸脸、眼睛+ 眉毛、眼睛、鼻子、嘴相互之间的组合识别就是多模式的局部人脸识别方法。 与本发明的相关技术说明如下Gabor方法Gabor小波是将Gabor基函数经过移位、旋转和比例变换以后得到的一组相似的Gabor 函数，能够在保持空间关系的同时描述出图像中的频率结构，并能在空间域给出结果。在 人脸识别的应用中，由于Gabor小波多分辨率、多方向地反映图像局部特性，所以对于光 照的反应不敏感，和使用全局灰度特征进行识别相比较，对光照具有更好的适应性。二维Gabor函数相当于一个被复正弦函数调制的二维高斯函数，在频域上则是二维高 斯函数在两个频率轴上都发生了平移后的结果，是一个二维带通滤波器。由于每个Gabor 滤波器相当于一个带通滤波器，为了提取人脸图像在多个方向多个尺度上的特征，通常会 采用多个在不同尺度不同方向上的Gabor滤波器组成滤波器组。进行滤波时，将输入图像 依次与滤波器组的各个滤波器巻积，并取其幅值作为输出，，-即输入图像的Gabor图像。加权和规则对于不同的特征，识别性别都不尽相同，加权和规则就是对不同的特征采用不同的权 值进行融合。每个特征的权值是由该特征本身的特性(可分性，识别率等)所决定的，不 同的融合特征对应不同的融合权值。对识别性能好的特征赋予较大的权值，而识别性能差 的特征赋予较小的权值。发明内容本发明的目的是为了提高人脸图像的采集质量和提高人脸识别算法的适应性，提出一 种人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置，该装置提升了人脸图像 采集的质量，该方法具有更高的人脸识别率。本发明提出的人脸部件特征和Gabor人脸特征融合的人脸识别方法，其特征在于，由 基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基 于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组 成；所述基于Gabor方法的特征裸脸的提取，包括以下步骤ll)对预先采集得到的训练集的每一个人的人脸图像进行五尺度八方向Gabor滤波， 得到对应的人脸Gabor图像；12W寸该人脸的Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征 象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图像的降维；13)对训练集中所有人脸图像采用所述步骤11L 12)中的方法提取人脸Gabor特征图 像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸； 所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤-21) 由数据的采集得到的已知人的人脸图像提取出的己知人脸的Gabor特征图像，对 已知人脸的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，提取 所述已知人脸的Gabor特征图像的投影特征向量；22) 对待识别人的人脸图像采用步骤11)、 12)提取出待识别人的Gabor特征图像，对 待识别人的Gabor特征图像，利用基于主分量分析方法中的特征投影向量分析方法，提取 待识别人脸的Gabor特征图像的投影特征向量；所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸 识别，包括以下步骤31) 分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分 别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5;32) 计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量和步骤22)中的待 识别人脸的裸脸Gabor图像的投影特征向量之间的相似度R6;33) 将相似度R1、 R2、 R3、 R4、 R5、 R6按照加权和规则进行融合，得到待识别的人脸 和已知人脸的综合相似度R0，以.，RO作为人脸识别的人脸相似度；34) 比较步骤33)得到的相似度RO与预先设定的阈值T的大小，如果R0^T，则判断 待识别人和已知人是同一个人；如果R(XT，则判断待识别人和已知人不是同一个人；由 采集与显示装置显示出判断结果。本发明提出的一种用于人脸识别的人脸图像和数据的采集与显示装置。 包括一个长方形机箱，机箱上安装有一个液晶显示器和两台摄像机，液晶显示器安装在机箱前面板的中间部位， 一台摄像机安装在液晶显示器的上方中间的位置，另一台摄像安装在液晶显示器的下方中间的位置；包括四个长形的灯具，安装在长方形机箱前面板的四周；包括一个固定采集个人身份的数据采集装置的倾斜支架，使被识别人在人脸图像釆集 时处于正视摄像机的姿态。本装置主要的作用是尽可能采集到好的人脸图像，并能与待识别人进行人机交互，营 造一个好的应用环境。设置两台摄像机的目的是为了适应不同身高的要求。设置液晶显示 器的目的是方便人机配合。首先，待识别人通过液晶显示器上显示的图像可以知道自己的 人脸图像是否更好、自己被计算机识别的结果。同时也为了吸引人的眼球，使待识别人能 正视摄像机，以采集到好的人脸图像。该装置设置四个灯具，进行补光，以克服外界光照 的影响。将采集个人身份的数据采集装置摆放在被识别人的胸前，使被识别人在人脸图像 采集时处于正视摄像机的姿态，以获得被识别人的正面人脸图像。本发明的特点及效果本发明的特点是软硬件结合，采用人脸图像和数据的采集与显示装置，提升了人脸图 像采集的质量；对人脸图像进行Gabor滤波并降维，然后对Gabor特征图像进行主分量分 析及与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别方法，具有更高的 人脸识别率。图1为本发明实施例的人脸图像和数据的采集与显示装置。
具体实施方式
本发明提出的人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置结合附图 及实施例详细说明如下本发明的实施例是用于二代证实名身份认证系统。该系统包括采集个人身份的数据采 集装置、本发明的人脸图像和数据的采集与显示装置及装有本发明方法的计算机。其中， 采集个人身份的数据采集装置采用二代身份证验证机具，由此获得被识别人所持二代证的 身份证号和人脸图像。人脸图像和数据的采集与显示装置如图1所示，包括一个长方形机 箱，该机'箱正面板1的中间部位装有液晶显示屏2，液晶显示屏选用8吋的液晶显示屏； 摄像机3安装在液晶显示屏上方的中间位置，另一台摄像机4安装在液晶显示屏下方的中 间位置，摄像机采用Watec公司WAT-902DM黑白摄像机；四个长形的灯具5-8安装在该机 箱面板四周，灯具采用5W的日光灯；还包括一个固定采集个人身份的数据采集装置9的 倾斜支架IO，该倾斜支架用以使被识别人在人脸图像采集时处于正视摄像机的姿态，倾斜 支架和垂直支架11的长度可调；整个人脸图像和数据的采集与显示装置固定在底座12上。本实施例中采用的人脸部件特征和Gabor人脸特征融合的人脸识别方法，由基于Gabor 方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方 法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别三部分组成；所述 基于Gabor方法的特征裸脸的提取，包括以下步骤ll)采用Gabor滤波器组对预先采集得到的训练集的每一个人的人脸图像进行五尺度 八方向Gabor滤波，得到对应的人脸Gabor图像； Gabor滤波器的定义如式(l):其中，z=(x，y)为对应点坐标，波矢量定义为、v=、e' ，其中、=^ /"并且 《，v和/z分别定义了 Gabor滤波器的尺度和方向。取n=8， ve{0,1,2,3,4}， /ie(0,1,…，7) , o" = 2;r， A,-;r/2以及;i-N^得到五尺度八方向的Gabor滤波器组。
将人脸图像I(z)与Gabor滤波器进行巻积，取巻积结果的幅值部分，得到对应的人脸 Gabor图像4^(z)。(9^(z)^/(z"w(力 (2) = ^/R叫,"z))2 + Im(C^②)2 (3)12) 对该人脸的Gabor图像4^(z)均匀分块，每块大小为3X3，取每块中所有象素点 的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图 像的降维；13) 对训练集中所有人脸图像采用所述步骤11)、 12)中的方法提取人脸Gabor特征图 像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸；具体的做法是用nXN矩阵J表示训练集中所有人脸Gabor特征图像的矢量集，n为人脸Gabor特征 图像的像素数，N (N 〉 1000)为训练集人脸总数，贝廿C = +#% = A) (4)(4) 式中^ =(xu,x2i,— ,x tf, ^^(1，2，…，iV)表示一个人脸Gabor特征图像矢量， 义r表示矩阵/的转置。 .''在计算矩阵C的特征向量和特征值时，由于计算X^'的维数很大(W维)，而采用奇 异值分解，改为计算义7^，这样可以间接获得C的特征向量和特征值，而X^X的维数降为ivn佳，；o^与;r义的特征值是一样的，而它们之间的特征向量的关系满足下式1 乂A=TXA (5)(5) 式中^为x^"的特征向量，A为^^z的特征向量；^既是x^r的特征值，同时 也是xT"的特征值。通过计算^T^的特征值a和特征向量a，而得到;q^的特征向量";t。按照^数值按从大到小进行排序，取出前D (D〈<N)个最大的特征值并保留与之相对应的D个特征向量^就形成Gabor特征裸脸。所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤 21)由数据的采集得到的已知人的人脸图像采用所述步骤11)、 12)中的方法提取出的已知人脸的Gabor特征图像，对已知人脸的Gabor特征图像，釆用下面(6)式的运算即基于主分量分析方法中的投影特征向量分析方法，提取所述已知人脸的Gabor特征图像的投影特征向量及B = l/:x《"1,2,…,Z) (6)(6) 式中( 为已知人脸图像的Gabor特征图像矢量，Wi为从训练集人脸中得到的Gabor 特征脸。22)对待识别人的人脸图像采用步骤11)、 12)提取出待识别人的Gabor特征图像，对 待识别人的Gabor特征图像，采用下面(7)式的运算即基于主分量分析方法中的投影特 征向量分析方法，提取待识别人脸的Gabor特征图像的投影特征向量A(7)式中p为待识别人脸图像的Gabor特征图像矢量，Wi为从训练集人脸中得到的 Gabor特征脸。所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸 识别，包括以下步骤31) 分别计算出待识别的人脸和己知人脸的部件图像的相似度R，各部件图像相似度分 别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5;32) 采用(8)式的运算计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量B 和步骤22)中的待识别人脸的裸脸Gabor图像的投影特征向量A之间的相似度R6;33) 将相似度R1、 R2、 R3、 R4、 R5、 R6按照加权和规则进行融合，其融合系数分别取 作24 : 15 : 7.5 : 6 : 9 : 41，得到待识别的人脸和已知人脸的综合相似度R0，以R0 作为人脸识别的人脸相似度；34) 选取错误接收率为0. 1%时对应的相似度值为预设阈值1\本实施例的T-87，比较 步骤33)得到的相似度R0与阈值T的大小，如果R0》T，则判断待识别人和已知人是同 一个人；如果R0<T,则判断待识别人和已知人不是同一个人；由采集与显示装置显示出 判断结果。基于人脸识别的二代证实名身份认证系统用￥0++语言编程。所达到的识别率为当错 误接受率为0. 1%时，正确识别率为77. 8%。
权利要求
1、一种人脸部件特征和Gabor人脸特征融合的人脸识别方法，其特征在于，由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组成；所述基于Gabor方法的特征裸脸的提取，包括以下步骤11)对预先采集得到的训练集的每一个人的人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；12)对该人脸的Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图像的降维；13)对训练集中所有人脸图像采用所述步骤11)、12)中的方法提取人脸Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸；所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤21)由数据采集得到的已知人的人脸图像提取出的已知人脸的Gabor特征图像，对已知人脸的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，提取所述已知人脸的Gabor特征图像的投影特征向量；22)对待识别人的人脸图像采用步骤11)、12)提取出待识别人的Gabor特征图像，对待识别人的Gabor特征图像，利用基于主分量分析方法中的特征投影向量分析方法，提取待识别人脸的Gabor特征图像的投影特征向量；所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别，包括以下步骤31)分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；32)计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量和步骤22)中的待识别人脸的裸脸Gabor图像的投影特征向量之间的相似度R6；33)将相似度R1、R2、R3、R4、R5、R6按照加权和规则进行融合，得到待识别的人脸和已知人脸的综合相似度R0，以R0作为人脸识别的人脸相似度；34)比较步骤33)得到的相似度R0与预先设定的阈值T的大小，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人；由采集与显示装置显示出判断结果，该阈值T为错误接收率为0.1％时对应的相似度值。
2、 一种用于如权利要求1所述方法的人脸图像和数据的采集与显示装置，其特征在 于，该装置包括 一个长方形机箱，该机箱上安装有一个液晶显示屏和两台摄像机，该液 晶显示屏安装在机箱前面板的中间部位，所述一台摄像机安装在液晶显示屏上方的中间位 置，另一台摄像机安装在液晶显示屏下方的中间位置；还包括安装在该机箱前面板四周的 四个长形的灯具， 一个固定采集个人身份的数据采集装置的倾斜支架，该倾斜支架用以使 被识别人在人脸图像采集时处于正视摄像机的姿态。
全文摘要
本发明涉及人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置，属于图像处理、计算机视觉、模式识别技术领域，该方法由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组成；该装置包括一个长方形机箱，该机箱上安装有一个液晶显示屏和两台摄像机，还包括安装在该机箱前面板四周的四个长形的灯具，一个固定采集个人身份的数据采集装置的倾斜支架，本发明的装置提升了人脸图像采集的质量，该方法具有更高的人脸识别率。
文档编号G06K9/00GK101276421SQ20081010440
公开日2008年10月1日 申请日期2008年4月18日 优先权日2008年4月18日
发明者李匆聪, 燕 相, 苏光大 申请人:清华大学