人脸表情识别装置和方法
【技术领域】
[0001]本发明涉及一种人脸表情识别装置和方法，具体为，涉及在多姿态下识别人脸表情的装置和方法。
【背景技术】
[0002]本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及一种全局结合基于关键点可靠性判断的多层次局部分析的多姿态人脸表情识别方法。
[0003]人脸表情包括自然状态、高兴、惊讶、悲伤、愤怒、害怕、厌恶等。人脸表情识别是人机交互与情感计算研究的重要组成部分。以往的人脸表情研究大部分基于受控条件，如正向情况下等。然而在实际的应用中，更多情况下在进行人脸表情识别时是在非受控条件下进行的，即，人脸是处于任意的姿态下的。
[0004]在现有技术中，关于人脸表情识别的技术例如有《基于证据理论的人脸表情识别方法》(发明专利申请公开第CN120629321A号公报)，其中结合人脸全局信息和局部信息，对表情库中的人脸和左眼图像分别提取Gabor特征，得到两个识别结果，利用证据理论进行决策融合。
[0005]关于该技术例如还有《基于特征点矢量与纹理形变能量参数的人脸表情识别方法》(发明专利申请公开第CN120945361A号公报)，其中，结合特征点矢量与纹理形变能量参数对表情识别进行研究。首先根据AAM提取关键点，根据关键点提取特征点矢量特征和特征块纹理信息，降维后训练神经网络得到表情识别结果。
[0006]在上述现有技术中，并未充分考虑到在不同姿态下如何进行处理，会产生由于关键点定位不准导致的表情错误识别，导致在不同姿态情况下进行人脸表情识别的准确性差。
【发明内容】
[0007]本发明有鉴于现有技术存在的问题，提供一种能够在多姿态下准确进行人脸表情识别的装置和方法。
[0008]本发明的人脸表情识别装置，包括:图像预处理单元，其对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定单元，其确定所述预处理图像中的人脸的姿态信息；关键点定位单元，其根据所述姿态信息，在所述预处理图像中确定多个关键点；关键点可靠性分析单元，其从所述多个关键点选择出多个可靠关键点；特征提取单元，其对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及表情确定单元，其将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定待识别人脸图像的表情。
[0009]另外，本发明的人脸表情识别方法，包括:图像预处理步骤，其中对获取的待识别人脸图像进行预处理，生成预处理图像；姿态确定步骤，其中确定所述预处理图像中的人脸的姿态信息；关键点定位步骤，其中根据所述姿态信息，在所述预处理图像中确定多个关键点；关键点可靠性分析步骤，其中从所述多个关键点选择出多个可靠关键点；特征提取步骤，其中对预处理图像提取全局特征、与所述多个可靠关键点相应的可靠关键点特征、和与所述可靠关键点相应的区域内的可靠局部特征；以及表情确定步骤，其中将至少包括所述全局特征、所述可靠关键点特征和所述可靠局部特征的三个特征，与预先训练得到的相应姿态下各表情的标准人脸的相应特征进行相似度比较，而确定表情。
[0010]根据本发明，能够对任意姿态下的人脸准确地识别其表情。
【附图说明】
[0011]图1是本发明实施方式的人脸表情识别装置的方框图。
[0012]图2是本发明中作为标准人脸的姿态分类示意图。
[0013]图3是本发明实施方式的人脸表情识别装置中识别人脸表情的流程图。
[0014]图4是本发明人脸关键点定位TJK意图。
[0015]图5是可靠关键点判断的区域分解示意图。
[0016]图6是与表情相关的五官区域划分图。
[0017]图7是与表情相关的人脸其他区域划分图。
[0018]图8是实施例1的表情确定单元进行处理的流程图。
[0019]图9是实施例2的表情确定单元进行处理的流程图。
[0020]图10是实施例3的表情确定单元进行处理的流程图。
【具体实施方式】
[0021]下面，结合附图详细说明本发明的人脸表情识别装置及其方法的【具体实施方式】。在本实施方式中以具体的例子进行说明，但本发明并不限于该【具体实施方式】。
[0022]图1是本实施方式的人脸表情识别装置的方框图。
[0023]本实施方式的人脸表情识别装置100包括图像预处理单元110、姿态确定单元120、关键点定位单元130、关键点可靠性分析单元140、特征提取单元150和表情确定单元160。下面详细说明各单元。
[0024]<图像预处理单元110 >
[0025]图像预处理单元110对获取的待识别人脸图像进行预处理，生成预处理图像。
[0026]在图像预处理单元110中，获取待识别人脸图像，该待识别人脸图像进行一系列预处理操作，比如归一化、尺寸变换、直方图均衡化等。在预处理后，作为预处理图像将该待识别人脸图像归一化到统一大小。
[0027]<姿态确定单元120 >
[0028]姿态确定单元120确定预处理图像中的人脸的姿态信息。
[0029]为了能够使后述关键点定位单元130和表情确定单元160准确地定位关键点及识别表情，由姿态确定单元120预先进行人脸姿态判断。其可通过将上述预处理图像与预先训练得到的各姿态下的标准人脸进行对比来判断人脸的姿态，得到该姿态信息。
[0030]图2为标准人脸的图像的示意图。
[0031]作为各姿态下的标准人脸，如图2所示，可分为右视、正视、左视、俯视、仰视等多个朝向方向的标准人脸。该标准人脸可通过各种训练方法得到，例如SVM(支持向量机)、神经网络、AdaBoost等。对此，将在后述进行详细说明。
[0032]<关键点定位单元130 >
[0033]关键点定位单元130根据上述姿态信息，在预处理图像中确定多个关键点。
[0034]关键点定位单元130，根据姿态确定单元120确定的预处理图像中的人脸的姿态信息，与预先对各姿态下的标准人脸设定的预设关键点选择相应地，确定预处理图像中人脸的关键点。作为预设关键点，是预先训练得到的，对此将在后面进行详细说明。
[0035]<关键点可靠性分析单元140 >
[0036]关键点可靠性分析单元140从关键点确定单元130所确定的多个关键点分析各关键点的可靠性，并从中选择可靠关键点。
[0037]在本实施方式中，关键点可靠性分析单元140，根据预先保存的对于各姿态下的标准人脸划分的多个预设区域的信息，和预先对各姿态下的上述标准人脸设定的预设关键点的?目息，对由关键点确定单兀130确定的关键点进彳丁分析。
[0038]此时，利用与划分预设区域相同的方法，对预处理图像中的人脸划分多个区域，并将各关键点在相应区域中的位置关系，与预设关键点在预设区域中的位置关系进行比较，选择位置关系一致的关键点作为可靠关键点。
[0039]<特征提取单元150 >
[0040]特征提取单元150对预