专利名称：一种鲁棒的人脸表情识别方法
技术领域：
本发明涉及一种模式识别方法，尤其是涉及一种鲁棒的人脸表情识别方法。属于人脸表情信息提取和识别领域。
背景技术：
人脸表情识别一般分为脸部动作的识别和情感的识别。例如，部分研究者从人脸表情中识别基于面部动作编码系统的单一和混合动作单元而进行的。而大多数研究者从人脸表情中识别人的高兴、惊讶、悲伤、害怕等情感。由于人脸表情变化是非刚体运动，且受到个体差异、视角变化、光照等影响，人脸表情识别是一项艰巨的任务，目前很少有能够应用于实际环境的人脸表情识别系统。
以往的人脸表情识别往往局限于受控条件，例如背景单一、光照一致、无头部运动等，因此，受控条件下的人脸表情识别可以达到较高的识别率。但很少有研究者对非受控条件下的鲁棒人脸表情识别进行研究。21世纪以来，少数研究者开始研究对遮挡、光照、姿势、图像分辨率等具有鲁棒性的人脸表情识别方法。其中，对于遮挡具有鲁棒性的人脸表情识别方法主要有采用局部特征的方法、局部空间几何面部模型和基于状态的面部运动模型的方法、以及基于Gabor小波特征提取的方法等，但很少有研究者对人脸去除遮挡后进行鲁棒的表情识别。针对人脸部有遮挡情况下鲁棒识别方法较少和未去除遮挡物的不足，本发明提出一种新的鲁棒人脸表情识别方法。
发明内容
本发明的目的是针对现有人脸表情识别方法对脸部有遮挡的情况不具备鲁棒性的不足，提出一种鲁棒的人脸表情识别方法，它能使人脸在有遮挡的情况下获得较高的表情识别效果。
本发明一种鲁棒的人脸表情识别方法，通过鲁棒主成分分析对人脸图像进行重构，并对原始人脸图像与重构后的人脸图像的差值图像进行显著性分析，检测出遮挡区域，然后根据对遮挡区域的图像进行重构以去除遮挡，最后对去除遮挡后的人脸图像进行表情分类，获得表情识别结果。
本发明一种鲁棒的人脸表情识别方法，其步骤如下 步骤1将N个不含遮挡的L类人脸表情图像归一化为数据矩阵Ci∈Rm×n(i＝1…M)，作为训练样本，采用沙皮尔(Schapire)等人提出的多分类AdaBoost方法训练人脸表情分类器。
步骤2将M个包括含遮挡和不含遮挡的L类人脸表情图像归一化为数据矩阵Ai∈Rm×n(i＝1…M)，作为训练样本。令s＝m×n，将Ai展开为一维列数据向量di∈Rs×1(i＝1…M)，构成输入矩阵D＝[d1d2…dM]∈Rs×M，采用费南多(Fernando)提出的鲁棒主成分分析(Robust Principle Component Analysis，RPCA)方法，得到鲁棒均值向量μ∈Rs×1和鲁棒本征向量B∈Rs×k，k<M。
步骤3将待识别的人脸表情图像归一化数据矩阵P∈Rm×n。
步骤4将P展开为一维列数据向量d∈Rs×1，如式(1)计算向量d的重构向量drec∈Rs×1，并将其变形为数据矩阵P′∈Rm×n。
drec＝μ+BBT(d-μ) 式(1) 步骤5计算重构后的人脸图像矩阵P′与将待识别表情的人脸图像矩阵P的差值图像矩阵E∈Rm×n，如式(2)所示。
E＝|P′-P| 式(2) 步骤6设扫描窗口R高为h(1≤h<m)，宽为w(1≤w<n)，窗口的左上角坐标为(x1，y1)(0≤x1<n，0≤y1<m)，对h、w、x1、y1进行遍历，并满足约束条件如式(3)所示。对差值图像的扫描窗口R进行显著性检测(如式(4)所示)，得到显著值HE，R。
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n 式(3) 式(4) 其中PE，R(ei)指差值图像矩阵E在扫描窗口R取值为ei(0≤ei≤255)的概率。
步骤7对所有扫描窗口R的显著值HE，R取最大显著值Hmax＝max{HE，R}，并判定遮挡区域。如式(5)所示，若显著值Hmax大于预设定的阈值H0，与Hmax相关的区域被判定为遮挡区域，否则判定为不存在遮挡区域。
式(5) 步骤8对人脸表情图像矩阵P的遮挡区域进行重构，如式(6)所示。若Rocclusion不为空，跳转到步骤4；若Rocclusion为空，继续执行步骤9。 式(6) 步骤9将人脸表情图像矩阵P作为步骤1训练所得人脸表情分类器的输入，得到人脸表情识别结果。
本发明的积极效果和优点在于 1.本发明对含有遮挡的人脸表情图像进行了去除遮挡处理，对于提高遮挡情况下的人脸表情识别率有重要意义； 2.本发明对各种脸部遮挡情况都有较好的去除遮挡能力，是一种可行的鲁棒的人脸表情识别方法。
图1方法步骤方框图 (五)具体实施方法 见图1所示，本发明一种鲁棒的人脸表情识别方法，其步骤如下 步骤1将N个不含遮挡的L类人脸表情图像归一化为数据矩阵Ci∈Rm×n(i＝1…M)，作为训练样本，采用沙皮尔(Schapire)等人提出的多分类AdaBoost方法训练人脸表情分类器。
步骤2将M个包括含遮挡和不含遮挡的L类人脸表情图像归一化为数据矩阵Ai∈Rm×n(i＝1…M)，作为训练样本。令s＝m×n，将Ai展开为一维列数据向量di∈Rs×1(i＝1…M)，构成输入矩阵D＝[d1d2…dM]∈Rs×M，采用费南多(Fernando)提出的鲁棒主成分分析(Robust Principle Component Analysis，RPCA)方法，得到鲁棒均值向量μ∈Rs×1和鲁棒本征向量B∈Rs×k，k<M。
步骤3将待识别的人脸表情图像归一化数据矩阵P∈Rm×n。
步骤4将P展开为一维列数据向量d∈Rs×1，如式(1)计算向量d的重构向量drec∈Rs×1，并将其变形为数据矩阵P′∈Rm×n。
drec＝μ+BBT(d-μ) 式(1) 步骤5计算重构后的人脸图像矩阵P′与将待识别表情的人脸图像矩阵P的差值图像矩阵E∈Rm×n，如式(2)所示。
E＝|P′-P| 式(2) 步骤6设扫描窗口R高为h(1≤h<m)，宽为w(1≤w<n)，窗口的左上角坐标为(x1，y1)(0≤x1<n，0≤y1<m)，对h、w、x1、y1进行遍历，并满足约束条件如式(3)所示。对差值图像的扫描窗口R进行显著性检测(如式(4)所示)，得到显著值HE，R。
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n式(3)式(4) 其中PE，R(ei)指差值图像矩阵E在扫描窗口R取值为ei(0≤ei≤255)的概率。
步骤7对所有扫描窗口R的显著值HE，R取最大显著值Hmax＝max{HE，R}，并判定遮挡区域。如式(5)所示，若显著值Hmax大于预设定的阈值H0，与Hmax相关的区域被判定为遮挡区域，否则判定为不存在遮挡区域。
式(5) 步骤8对人脸表情图像矩阵P的遮挡区域进行重构，如式(6)所示。若Rocclusion不为空，跳转到步骤4；若Rocclusion为空，继续执行步骤9。
式(6) 步骤9将人脸表情图像矩阵P作为步骤1训练所得人脸表情分类器的输入，得到人脸表情识别结果。
权利要求
1.一种鲁棒的人脸表情识别方法，其特征在于，该识别方法步骤如下
步骤1将N个不含遮挡的L类人脸表情图像归一化为数据矩阵Ci∈Rm×n(i＝1…M)，作为训练样本，采用沙皮尔即Schapire提出的多分类AdaBoost方法训练人脸表情分类器；
步骤2将M个包括含遮挡和不含遮挡的L类人脸表情图像归一化为数据矩阵Ai∈Rm×n(i＝1…M)，作为训练样本，令s＝m×n，将Ai展开为一维列数据向量di∈Rs×1(i＝1…M)，构成输入矩阵D＝[d1d2…dM]∈Rs×M，采用费南多即Fernando提出的鲁棒主成分分析即Robust Principle Component Analysis，RPCA方法，得到鲁棒均值向量μ∈Rs×1和鲁棒本征向量B∈Rs×k，k<M；
步骤3将待识别的人脸表情图像归一化数据矩阵P∈Rm×n；
步骤4将P展开为一维列数据向量d∈Rs×1，如式(1)计算向量d的重构向量drec∈Rs×1，并将其变形为数据矩阵P′∈Rm×n；
drec＝μ+BBT(d-μ) 式(1)
步骤5计算重构后的人脸图像矩阵P′与将待识别表情的人脸图像矩阵P的差值图像矩阵E∈Rm×n，如式(2)所示；
E＝|P′-P| 式(2)
步骤6设扫描窗口R高为h(1≤h<m)，宽为w(1≤w<n)，窗口的左上角坐标为(x1，y1)(0≤x1<n，0≤y1<m)，对h、w、x1、y1进行遍历，并满足约束条件如式(3)所示；对差值图像的扫描窗口R进行显著性检测，如式(4)所示，得到显著值HE，R；
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n 式(3)
式(4)
其中PE，R(ei)指差值图像矩阵E在扫描窗口R取值为ei(0≤ei≤255)的概率；
步骤7对所有扫描窗口R的显著值HE，R取最大显著值Hmax＝max{HE，R}，并判定遮挡区域，如式(5)所示，若显著值Hmax大于预设定的阈值H0，与Hmax相关的区域被判定为遮挡区域，否则判定为不存在遮挡区域；
式(5)
步骤8对人脸表情图像矩阵P的遮挡区域进行重构，如式(6)所示；若Rocclusion不为空，跳转到步骤4；若Rocclusion为空，继续执行步骤9；
式(6)
步骤9将人脸表情图像矩阵P作为步骤1训练所得人脸表情分类器的输入，得到人脸表情识别结果。
全文摘要
本发明一种鲁棒的人脸表情识别方法通过鲁棒主成分分析对人脸图像进行重构，并对原始人脸图像与重构后的人脸图像的差值图像进行显著性分析，检测出遮挡区域，然后根据对遮挡区域的图像进行重构以去除遮挡，最后对去除遮挡后的人脸图像进行表情分类，获得表情识别结果。本发明对各种脸部遮挡情况都有较好的去除遮挡能力，对于提高遮挡情况下的人脸表情识别率有重要意义，是一种可行的鲁棒的人脸表情识别方法。
文档编号G06K9/00GK101369310SQ20081022321
公开日2009年2月18日 申请日期2008年9月27日 优先权日2008年9月27日
发明者峡 毛, 薛雨丽 申请人:北京航空航天大学