专利名称：一种人脸身份和表情的同步识别方法
技术领域：
本发明涉及一种人脸识别方法，特别涉及一种人脸身份和表情的同步识别方法。
技术背景人脸面部图像中包含着丰富的信息，通过面部图像不仅可以识别人的身份，而且可以识别人的面部表 情。目前，面部表情识别和身份识别已成为计算机视觉和模式识别领域中的两大热点研究问题。面部表情 识别的主要目标是从人脸面部图像中提取能反映情绪类别的主要特征，并在此基础上进行表情分类与识 别。大部分传统的面部表情识别方法是将面部图像划分为七种基本表情类型(高兴、悲伤、惊奇、生气、 厌恶、害怕、中性)中的一种。与面部表情识别方法类似，人脸识别的目标则是将未知身份的人脸图像匹 配到某一已知类别的人脸图像，从而达到人脸身份识别的目的。由于识别目标的不同，人脸识别和表情识别往往被作为两个独立的任务来完成。然而，在某些场合下， 进行人脸身份和表情的同步识别具有一定的特殊意义。例如，在基于面部表情的儿童情绪类型鉴别研究中， 我们不仅要识别儿童的面部表情，而且还要了解不同儿童个体间的情绪差异。因此，如果能同时识别儿童 的身份和表情类型，将能更好的完成该任务。但是而目前为止，二者同步识别方面的方法的研究还不够深 入，还无法达到理想的识别效果。 发明内容本发明的目的就在于解决现有技术的缺陷，设计了一种人脸身份和表情的同步识别方法。 本发明的技术方案是一种人脸身份和表情的同步识别方法，其特征在于包括以下步骤(1) 面部特征提取面部特征由面部几何特征和Gabor小波特征两部分组成；其中面部几何特征定义为由面部关键点的坐 标值所组成的特征矢量，而Gabor特征提取则是用一组具有不同尺度和方向的Gabor滤波器组对每幅人脸 图像进行巻积，得到幅值图像，然后面部关键点处的幅值所组成的特征矢量作为Gabor特征矢量；此外， 还必须为每一幅图像建立相应的语义特征矢量，用于后续的识别；(2) 特征融合在获得几何特征矢量和Gabor特征矢量后，运用核主成分分析(KPCA)法对两组特征矢量进行变换 处理，再将变换后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量。(3) 人脸和表情的同步识别首先采用偏最小二乘(PLSR)方法建立输入特征矢量和相应的输出语义矢量之间的关系表达式，然后 根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的身份 和表情的分类。在所述的人脸身份和表情的同步识别方法中，在所述的面部特征提取过程中，按人工标定或计算机自 动标定的方式在每幅人脸图像中标定出34个关键点(用于JAFFE面部表情数据库)或22个关键点(用于 AR人脸数据库)。在所述的人脸身份和表情的同步识别方法中，所述的Gabor特征提取过程采用的Gabor小波的方向和 尺度分别为5个方向和6个尺度，首先用一组Gabor滤波器对人脸图像进行巻积，再取脸部关键点处巻积 图像的幅值作为Gabor小波在该关键点处的特征值。在所述的人脸身份和表情的同步识别方法中，所述的人脸图像的语义特征定义为7种基本表情的强度 大小以及该表情图像所对应的人脸身份信息。在所述的人脸身份和表情的同步识别方法中，在运用核主成分分析法时，由选定的核函数决定映射关 系(D(X);将表示对JV个训练样本所提取的iV个几何特征矢量x)及所对应的Gabor特征矢量x,2 (/ = 1,…,iV)从输入空间映射到高维的再生核希尔伯特空间巧和F2中，艮P: 0>2 :i "2 —尸2， xf —0)2(x'2)令K1和K2分别代表在两个数据集《0"x:》和(OJxf》上的Gram阵，寻找两个Gram矩阵的前w,个最大特征值对应的特征矢量和v，(/ = l，...,w,),并分别计算<D(x》-uf和<D(xf)—《到V和V2上的投影z卜V》(x))-iif) !、l,…,m,z'2 = V2r(d>(x'2)_《)/ = l,...，/n2其中11「和《分别表示{0(^)，/ = 1,一,^}和{(1^,2),/ = 1,".，^}的均值，V1=[v; ... v;]和 V2=[v〖《…<];最后对特征矢量z)和z;进行规范化处理，即|卜;| = 1和|zf| = l,并按z, =[(z^,(zf)ff进行组合， 则组合后的特征矢量z,为进行人脸身份和表情识别用的输入特征矢量。在所述的人脸身份和表情的同步识别方法中，采用所述的偏最小二乘(PLSR)方法建立的所述的输入特征矢量和相应的输出语义矢量之间的关系表达式为f = ZTUCTZZrU)，Y 其中Z二IX z2zw]， Y-[y,-y y2—y yjv —刃分别表示输入特征矢量和语义矢量，y 是y, (/ = 1,…,AO的均值，U和T通过NIPALS-PLS算法求得。在所述的人脸身份和表情的同步识别方法中，所述的核函数在实际识别中选择的是规范化的单项式核 函数，其定义式如下，用该核函数计算KPCA方法中的Gram矩阵，以消除不同度量空间中的特征差异。本发明的优点和效果在于1. 充分利用脸部图像信息，分别提取脸部图像的Gabor特征和几何关键点的坐标，将两者一起作为人脸 身份和表情同步识别的输入特征信息。这样不仅可以刻画图像的整体信息，同时也刻画了图像的局部信息， 使其充分支持人脸身份和表情的同步识别。2. 利用核主成分分析(KPCA)的特征融合方法，将数据映射到一个高维的特征空间中，在该空间中进行 线性特征提取，使得输入的图像特征矢量具有更好的识别特性。3. 通过基于偏最小二乘的回归(PLSR)的方法，建立特征矢量和语义矢量的关系，利用该关系可以更加 有效地预测给定的人脸图像的身份和表情的类别，获得比传统方法更好的人脸身份和表情的识别效果。本发明的其他优点和效果将^下面继续描述。
图1——人脸身份和表情同步识别的系统框架图2——34个关键点位置示例图3——22个关键点位置示例图4——Gabor小波变换示意5——JAFFE数据库示例图6——JAFFE数据库上的人脸和表情识别率图7——采用交叉验证方法得到的面部表情识别率图8——采用"Leave-one-class-out"交叉验证的面部表情识别的比较图9~~AR人脸数据库示例图10——各种识别方法识别率的比较具体实施方式
下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。图1表示了人脸身份和表情同步识别方法的系统框架图。该同步识别方法可以通过以下三个步骤完成。 一.面部特征提取面部特征由两部分组成。 一部分为面部几何特征，另一部分则为Gabor小波特征。其中，几何特征由 一些脸部关键点的坐标组成，代表了人脸的局部信息。而Gabor特征则是运用Gabor小波变换技术对面部 图像进行小波变换后得到的特征，它既包含有人脸的局部特征，又包含有人脸图像的全局特征。此外，还 必须为每一幅图像建立相应的语义特征矢量，用于后续的识别，具体说明如下 1.几何特征提取为了提取脸部的几何特征，采用人工标定或计算机自动标定的方式在每幅人脸图像中标定出若干个关 键位置，并将关键位置的坐标值组成的特征矢量定义为几何特征矢量。计算机自动定位关键点可以通过主6动形状模型(ASM)方法实现。至于面部关键点的位置确定，可有不同的定义方法。如图2所示的34个 关键点的定义方法，这种定义方法已广泛用于JAFFE面部表情数据库中。此外还存在着基于AR人脸数据 库的另一种定义方式。这种方法在面部仅定义了 22个关键点，如图3所示。在本发明中，以上两种定义 方式均被采用。 2.Gabor特征提取
典型的Gabor小波核函数定义如下
exp(/ku,v. z) - exp(-
(式l)
其中w和v分别表示Gabor核的方向和尺度，k v = 、 exp(紙)。本发明所定义的Gabor小波的方向和尺
度分别为5个方向和6个尺度。设o" = ;r ， & = ;z:/2v, (v e {1,…，5}),和么=;rw/6 ， ( w e {0,…，5}) 。 Gabor
特征可根据下述方法得到首先用一组Gabor滤波器对人脸图像进行巻积运算，再取脸部关键点处巻积图 像的幅值作为Gabor小波在该关键点处的特征值。图4表示了 Gabor小波变换的示意图，其中符号<8>表示 巻积运算，右边显示的图像是由人脸图像和Gabor小波滤波器组经过巻积运算后得到的幅值图像。 3.建立语义特征
人脸图像的语义特征定义为7种基本表情的强度大小以及该表情图像所对应的人脸身份信息。假设c 表示人脸的类别个数，y,表示与人脸图像x,相对应的语义特征矢量，并且假设每幅人脸图像属于七种基本
表情中的一种，则y,是一个c + 7维的矢量，它的元素取为0或1。更具体来说，y,.可定义如下若^属
于第A个人的某一个人脸图像，且x,.属于七种基本情绪中的第/种基本表情，其中l《A;2c。则y,可定义 为
y,=ey+e7+i (式2)
其中^是一个第_/个元素等于1的c + 7维的单位矢量。 二.特征融合
在获得几何特征矢量和Gabor特征矢量后，运用KPCA方法对两组特征矢量进行变换处理，再将变换 后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量。
令x,1和xf (/ = 1， , JV )分别表示对iV个训练样本所提取的iV个几何特征矢量及所对应的Gabor特征 矢量。令O是输入空间到再生核希尔伯特空间F的非线性映射，即(D:及P4F， x,. ~><D(x,.)。令 K-伙"表示iVxiV阶的Gram阵，其元素^通过(式3)算得
、■ =A;(x,.,x》 (式3)
其中WX,，X乂)是一个核函数，可表示成①(X,.)和0)(X》的内积，艮卩A(X,.,X》=((D(X,))r<D(Xj.) (式4)
在这里，分别将x)和x (/ = 1，…，JV )从输入空间中映射到高维的再生核希尔伯特空间《和F2中，艮卩 (D,—巧，x; 4①!(x;) (式5) ①2:/T2—F2, x,2—①2(xf) (式6)
令K1和K2分别代表在两个数据集忡(x)))禾B {$2(xf)}上的Gram阵，且令
KKl —M)K'(I-M)和K:—I一M)K2(1—M)，其中M是一个元素为士的WxiV矩阵。假设a;
(z' = 1，…，m,)是对应于K二的w,个最大特征值的特征矢量，而af (/ = 1，…，m2 )是对应于K=的/w2个最大
特征值的特征矢量，则K1的前w,个对应于最大特征值的特征矢量，以及K2的前加2个对应于最大特征值 的特征矢量可分别表示为
v卜0(X1)(1 —M)a!， z、l，…，W！ (式7)
v,2 =0>(X2)(I-M)ttf, !' = 1，."，附2 (式8)
其中0(X')-
， 0(X2) =
。
令V,[v; v12…v二,]和V,[vf v; ... v二]。假设u，和《分别表示((D(x;),Z-l,…,A^和
{0(\2),/ = 1,…,W的均值，则O(x》—u，和(P(x))—《到V,和V2上的投影可分别计箅为
z卜V/^(①(x;) —iC) = A〖(K" (式9) zf =V2r(0)(x'2)—《)=A(K^ (式IO)
其中A,二[a; a;…《,〗，A2 a…a二〗，(K》,表示K二的第/列，(K^),表示K，的第
z'列。
现对特征矢量z)和z 进行规范化处理，即|卜||| = 1和|zf| = l，并以下式方式进行组合，则组合后的 特征矢量z,为进行人脸身份和表情识别用的输入特征矢量。
z, =[(Z;)r,(z )r]r (式ll) 三.人脸和表情的同步识别
应用偏最小二乘的回归(PLSR)方法建立面部特征矢量z,和相应语义矢量y,之间的关系，具体的回 归关系表达式如下
f-Z^UCTZZrU)-1!^ (式12)其中Z-[Zi z2…zw]， Y = [yi—y y2—y ... yjv—y]， y是y力、l,…，iV)的均值，U和T
通过NIPALS-PLS方法求得。
根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的
身份和表情的分类。假设x,^为一个待测人脸图像，则其所对应的语义特征矢量f,w可通过下式求得.-= zLU(TrZZ亇)-YY + y (式m
其中z^-[(zLf,(zLf:T, z」(/ = l，2)是测试图像x^,所提取的标准化几何特征矢量和Gabor特征矢量。
令U表示L,的第z'个元素，则L,的前7个元素组成的7维矢量yO[U… 代表所测试的人脸图像包含的7种基本表情中每种表情的强度大小情况，而^M,剩下的元素组成的矢量
y,:r=[(5^,)8…(，咖)7+c:T则表示该人脸图像属于某一个人的可能性。假设严p表示最后分类得出的
表情类别，而^"则表示人脸的身份类别，贝1」严1"和//^可分别由(式14)和(式15)得到 严-argmax(ySX (式14)
z如-argmax(y^), (式15) 通过以上的步骤，实现了人脸身份和表情的同步识别。
四.性能评价
为了验证本发明提出的方法可以有效地应用于实际的识别系统，采用两个国际著名的人脸数据库来进 行人脸身份和表情的同步识别。第一个人脸数据库是日本女性面部表情(JAFFE)数据库，该数据库已被 广泛应用于表情识别研究。第二个人脸数据库是著名的AR人脸数据库，该数据库在人脸识别领域中被广 泛使用。考虑到几何特征和Gabor特征位于不同的度量空间，因此实验中选择规范化的单项式核函数来计 算KPCA方法中的Gram矩阵，以消除不同度量空间中的特征差异。规范化的单项式核函数的定义如下
A:(x,x')- , 、 V (式16)
其中c/是核函数度。为了进一步验证本文所提方法的有效性，采用了目前在人脸识别和表情识别中常用的 其他方法来进行同样的对比实验。
l.JAFFE数据库上的实验
JAFFE数据库由10位日本女性的213张人脸图像构成，这些人脸图像覆盖了全部的7种基本面部表 情类型，即高兴、悲伤、惊奇、生气、厌恶、害怕和中性。其中，每个人每种表情有2到4张图片。JAFFE 数据库中每张图像是灰度级为256、图像尺寸大小为256x256的灰度图像。图5显示了该数据库中的部 分图像。
在进行面部特征提取时，先从每幅面部图像中人工定义34个关键点(如图2所示)，并用这34个关 键点的坐标值组成人脸的几何特征矢量。另一方面，对每幅人脸图像进行Gabor变换，并提取每个面部关键点处的Gabor变换后图像的幅值组成Gabor特征矢量。此外，为每幅图像建立相应的语义特征矢量。
实验采用交叉验证策略进行，先将整个数据集随机地分为大致相同的10个子集，然后选择9个子集 作为训练数据，剩下的一个作为测试数据。整个实验重复10次，直到每个子集都被用于测试数据。最后 将10次实验得到的识别率求平均以作为最后的平均识别率。本实验中，单项式核的度设为6。
图6中表示了交叉验证中每次实验的识别结果，而图7则给出了在JAFFE数据库上釆用交叉验证法时 各种面部表情识别方法的平均识别率。从图6中可以看出人脸识别的平均识别率高达100%,从图7中可 以看出本发明所提出的方法(用？1^11+0315( +Geometry表示)获得了最好的表情识别效果，平均识别率 高达98.08% 。
为了进一步测试本发明所提出的方法在面部表情识别中具有更好的识别性能，采用 "leave-one-class-out"交叉验证策略进行了同样的实验。在"leave-one-class-out"交叉验证策略中，将属于同一 个人的图像作为测试数据，而剩余的部分则作为训练数据。实验重复进行直到所有人的人脸图像都被用作 测试数据。然后再将每次实验所得的识别率求平均作为最终的表情识别率。在本实验中，单项式核函数的 度取为3。图8给出了各种方法识别率的比较,从中可以看出本发明所提出的方法(用PLSR+ Gabor+ Geometry 表示)获得了最好的识别效果，识别率高达85.45%。 2. AR人脸数据库上的实验
AR人脸数据库由126个人的人脸图像组成，总的图像数目超过3000张。每个人的图像取自两次间隔 为两个星期时间所拍摄的26张人脸图像，每次拍摄的图像为13张。原始图像尺寸大小为768x576像素， 每个像素用256级的灰度值来表示。图9表示了数据库中的一个人的所有26张图像示例，其中图像标号l 到13的是第一次拍摄的，而标号14到26是第二次拍摄的。在数据库所有126个人中，仅选用69个人的 图像进行实验，并且对于每个人的所有图像，仅选取编号为l、 2、 3和5的图像用于本次实验。这4种编 号的图像的表情特征为编号l为中性表情；编号2为微笑；编号3为生气；编号5左光源对应的图像。
为了提取图像的儿何特征和Gabor特征，采用如图2右侧的所示的22个特征点作为本实验所采用的脸部 关键点。
实验采用"leave-one-out"交叉验证策略进行，首先选取1幅图像作为测试数据，而剩余的图像作为训练 数据。重复此过程直至所有的图像都被用作测试数据。计算正确分类的图像数目以获得平均识别率。在本 实验中，当单项式核函数的度设为6时，获得了 98.55%的人脸识别率和81.16%的面部表情识别率。
为了说明本发明所采用的人脸特征以及所提出的识别方法的有效性，分别采用PCA方法、直接线性 判别分析(D-LDA)方法、PCA+LDA方法和零空间方法进行人脸识别和表情识别的对比实验，其中每种方 法所采用的输入数据为整幅人脸图像的灰度值。图10显示了各种方法的对比实验结果。
从图10可以看出在人脸识别和表情识别中，本发明所提出的基于PLSR方法获得了最好的识别结果。 此外也可以看出采用图像灰度值作为输入数据不能很好地进行面部表情识别。原因在于整个面部图像
的灰度值主要刻画人脸的整体信息，而难以刻画图像的局部信息。而运用Gabor特征和几何特征相混合的 组合特征不仅可以刻画图像的整体信息，同时也刻画了图像的局部信息。因此在人脸身份识别和表情识别 因此在人脸身份识别和表情识别中均能得到较好结果。
权利要求
1.一种人脸身份和表情的同步识别方法，其特征在于包括以下步骤(1)面部特征提取面部特征由面部几何特征和Gabor小波特征两部分组成；其中面部几何特征定义为由面部关键点的坐标值所组成的特征矢量，而Gabor特征提取则是用一组具有不同尺度和方向的Gabor滤波器组对每幅人脸图像进行卷积，得到幅值图像，然后面部关键点处的幅值所组成的特征矢量作为Gabor特征矢量；此外，还必须为每一幅图像建立相应的语义特征矢量，用于后续的识别；(2)特征融合在获得几何特征矢量和Gabor特征矢量后，运用核主成分分析(KPCA)法对两组特征矢量进行变换处理，再将变换后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量；(3)人脸和表情的同步识别首先采用偏最小二乘(PLSR)方法建立输入特征矢量和相应的输出语义矢量之间的关系表达式，然后根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的身份和表情的分类。
2. 根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，在所述的面部特征提取过程 中，按人工标定或计算机自动标定的方式在每幅人脸图像中标定出34个关键点(用于JAFFE面部表情数 据库)或22个关键点(用于AR人脸数据库)。
3. 根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，在Gabor特征提取过程中， 所采用的Gabor小波的方向和尺度分别为5个方向和6个尺度，首先用一组Gabor滤波器对人脸图像进行 巻积，再取脸部关键点处巻积图像的幅值作为Gabor小波在该关键点处的特征值。
4. 根据权利要求l所述的一种人脸身份和表情的同步识别方法，其特征在于，人脸图像的语义特征定义为 7种基本表情的强度大小以及该表情图像所对应的人脸身份信息。
5. 根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，运用核主成分分析法时，由 选定的核函数决定映射关系<D(x》；将表示对iV个训练样本所提取的iV个几何特征矢量x,1及所对应的Gabor特征矢量(/ = 1,…，iV )从输入空间映射到高维的再生核希尔伯特空间巧和F2中，艮P: <D2 :i "2 —《，x》(D2(x7)令K1和K2分别代表在两个数据集(①i(x)))和{0)2^^)}上的Gram阵，寻找两个Gram矩阵的前附,.个最大特征值对应的特征矢量v;和vf(z' = l,...，w,),并分别计算①(x))-u「和①(xf)-《到V,和^上的 投影z)《(o)(x;)-o hi,...z'2 =V2r(<D(xf)_《)/ = 1，."，附2 其中u，和《分别表示(0(x:),^l，…,7V)和(①(x,2)，"l,…,A^的均值，V,=[v; 4 ... v;]和 V2=[v〖v22 ... <];最后对特征矢量z〗和zf进行规范化处理，即|—;| = 1和||zf|| = l,并按z, -[(z)f ,(z,2f f进行组合， 则组合后的特征矢量z,为进行人脸身份和表情识别用的输入特征矢量。
6. 根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，采用偏最小二乘(PLSR)方法建立的所述的输入特征矢量和相应的输出语义矢量之间的关系表达式为f = ZrU(TrZZrU)-lrTrY 其中Z:[a z2…Y = [y「y y2—y…yw—y]分别表示输入特征矢量和语义矢量，歹 是y"/ = 1, , TV)的均值，U和T通过NIPALS-PLS算法求得。
7. 根据权利要求5所述的一种人脸身份和表情的同步识别方法，其特征在于，所述的核函数在实际识别中 选择的是规范化的单项式核函数，其定义式如下，用该核函数计算KPCA方法中的Gram矩阵，以消除不 同度量空间中的特征差异；V(xW((x')rx')d其中d是核函数度。
全文摘要
本发明提出了一种人脸身份和表情的同步识别方法，首先对每幅人脸图像进行面部特征提取，同时为每幅图像定义相应的语义特征，并对面部特征采用核主成分分析(PCCA)的特征融合方法，使得输入的图像特征具有更好的识别特性。在此基础上运用偏最小二乘回归(PLSR)方法建立脸部特征和语义特征之间的关系模型，并运用此模型对待识别的人脸图像进行表情和身份的识别。通过实验表明，本发明提出的方法不仅能进行人脸和表情的同步识别，而且可提高人脸表情识别的识别率。
文档编号G06K9/00GK101620669SQ20081012280
公开日2010年1月6日 申请日期2008年7月1日 优先权日2008年7月1日
发明者周晓彦, 力 赵, 邹采荣, 郑文明, 昕 魏 申请人:邹采荣;赵 力