097]权值mn,表示对于m特征,在η表情下的权值。
[0098]如上所述,得到对于每种表情的融合值后，在步骤s906中，取表示相似度最大的融合值所对应的表情作为待识别人脸图像的表情，例如“正常”的融合值最大(即，表示相似度最大)，则确定待识别人脸图像的表情为“正常”。
[0099]根据本实施例2，能够在不能以投票方式确定人脸图像的表情时，以融合来确定。并且，在利用多个特征识别表情时，也能够直接利用该融合方式确定表情。
[0100]图10是表示表情确定单元根据上述全局特征、可靠关键点特征(B卩，可靠关键点SIFT特征)和可靠局部特征识别表情的实施例3的流程图。
[0101]如图10所示，在本实施例中，取消了图9中步骤s802?s803和s904的处理，直接利用各特征的基于各表情的比较值来计算融合值，并确定表情。由此，与上述实施例1、2同样，也能够实现利用多种特征(即，本说明书记载的全局特征，可靠关键点特征和可靠局部特征)精确识别人脸图像表情的目的。在此，各步骤的处理与上述大致相同，因此省略重复的说明。
[0102]根据上述实施方式的人脸表情识别装置100，通过确定人脸图像上的多个关键点，并选择可靠关键点进行表情识别，因此，可提高不同姿态情况下人脸表情识别的准确性。而且，通过根据可靠关键点确定可靠区域并提取特征进行识别，可进一步提高人脸表情识别的准确性。
[0103]另外，由于全局特征强调的是整体，而表情变化却会在各人脸局部区域的细节上得以体现，所以只采用全局特征无法体现局部细节，对表情识别造成一定的局限；局部特征能够体现细节，但是不同的表情在局部体现上有可能相似，但是不同的表情在整体上是会体现出一定的差异的，所以只采用局部特征进行表情识别也存在局限性。同时局部特征依赖于关键点定位结果，为增强鲁棒性，本发明提取多层次局部特征。综上所述，本发明提出采用全局特征结合多层次局部特征的策略来解决表情识别问题。因此，在本实施方式中，通过利用多种特征，关键点SIFT描述特征、与表情变化相关的人脸局部区块的LBP、LGBPHS特征及全局特征，构造出的局部区块特征根据不同的权值设置，并得到最终的局部块识别结果的比较确定人脸表情，可大大提高人脸表情识别的准确性。
【主权项】
1.一种人脸表情识别装置，其特征在于，包括: 图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像； 姿态确定单元，其确定所述预处理图像中的人脸的姿态信息； 关键点定位单元，其根据所述姿态信息，在所述预处理图像中确定多个关键点； 关键点可靠性分析单元，其从所述多个关键点选择出多个可靠关键点； 特征提取单元，其对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及 表情确定单元，其将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定待识别人脸图像的表情。2.如权利要求1所述的人脸表情识别装置，其特征在于: 所述表情确定单元，针对所述至少三个特征，分别与相应姿态下各表情的标准人脸的相应特征分别进行相似度比较，得到相应姿态下，所述至少三个特征的各个基于各表情的比较值， 对于所述至少三个特征的各个特征，分别取表示相似度最大的比较值所对应的表情作为各自的表情结果， 根据所述至少三个特征各自的表情结果，确定重复出现次数最多的表情结果为所述待识别人脸图像的表情。3.如权利要求2所述的人脸表情识别装置，其特征在于: 所述表情确定单元，在不能根据所述至少三个特征各自的表情结果中重复出现次数最多的表情结果来确定表情时， 针对每种表情，求得对所述至少三个特征的比较值分别赋予权重后的和作为该表情的融合值， 取表示相似度最大的融合值所对应的表情作为所述待识别人脸图像的表情。4.如权利要求1所述的人脸表情识别装置，其特征在于: 所述表情确定单元，针对所述至少三个特征，分别与相应姿态下各表情的标准人脸的相应特征分别进行相似度比较，得到相应姿态下，所述至少三个特征的各个基于各表情的比较值， 针对每种表情，求得对所述至少三个特征的比较值分别赋予权重后的和作为该表情的融合值， 取表示相似度最大的融合值所对应的表情作为所述待识别人脸图像的表情。5.如权利要求1所述的人脸表情识别装置，其特征在于: 所述姿态确定单元根据预先训练得到的各姿态下的标准人脸，确定所述姿态信息。6.如权利要求5所述的人脸表情识别装置，其特征在于: 所述关键点定位单元，与预先对各姿态下的所述标准人脸设定的预设关键点相应地，根据所述姿态信息确定与所述姿态信息相应的所述多个关键点。7.如权利要求6所述的人脸表情识别装置，其特征在于: 所述关键点可靠性分析单元，利用预先在将各姿态下的所述标准人脸划分成多个预设区域的情形下，预设关键点在相应的所述预设区域中的预设位置关系，根据所述姿态信息，对所述预处理图像相应地划分成多个区域，并对各所述关键点在相应的区域中的位置关系和相应的所述预设位置关系进行比较，而选择出可靠关键点。8.如权利要求7所述的人脸表情识别装置，其特征在于: 所述预设位置关系包含，所述预设关键点属于一所述预设区域的信息。9.如权利要求8所述的人脸表情识别装置，其特征在于: 所述预设位置关系包含，在所述预设关键点位于距相邻的所述预设区域的边界规定距离内时，对所述预设关键点设定分别属于该相邻的所述预设区域的权值。10.一种人脸表情识别方法，其特征在于，包括: 图像预处理步骤，其中对获取的待识别人脸图像进行预处理，生成预处理图像； 姿态确定步骤，其中确定所述预处理图像中的人脸的姿态信息； 关键点定位步骤，其中根据所述姿态信息，在所述预处理图像中确定多个关键点； 关键点可靠性分析步骤，其中从所述多个关键点选择出多个可靠关键点； 特征提取步骤，其中对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及 表情确定步骤，其中将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定表情。
【专利摘要】本发明涉及一种能够对各姿态下人脸识别其表情的人脸表情识别装置，其包括：图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定单元，其确定预处理图像中的人脸的姿态信息；关键点定位单元，其根据姿态信息，在预处理图像中确定多个关键点；关键点可靠性分析单元，其从多个关键点选择出多个可靠关键点；特征提取单元，其对预处理图像提取全局特征、与多个可靠关键点相应的可靠关键点特征、和与可靠关键点相应的区域内的可靠局部特征；以及表情确定单元，其将全局特征、可靠关键点特征和可靠局部特征，与预先训练得到的表情模板特征中相应姿态的表情模板特征进行相似度比较，而确定表情。
【IPC分类】G06K9/66, G06K9/00
【公开号】CN105095827
【申请号】CN201410158492
【发明人】黄磊, 彭菲, 贾千文
【申请人】汉王科技股份有限公司
【公开日】2015年11月25日
【申请日】2014年4月18日