处理图像提取包括与上述各可靠关键点相应的可靠关键点特征和与上述各可靠关键点相应的区域内的可靠局部特征在内的多种特征。
[0041]在本实施方式中，作为一个例子，特征提取单元150除提取上述可靠关键点特征和可靠局部特征外，还提取全局特征。对此，将在后面进行详细说明。
[0042]<表情确定单元160 >
[0043]表情确定单元160将由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征，与预先训练得到的表情模板特征库中相应姿态的标准人脸进行相似度比较，而确定表情。
[0044]在表情模板库中，作为预设特征，保存有通过训练得到与上述全局特征、可靠关键点特征和可靠局部特征相应的、各姿态各表情的标准人脸的预设全局特征、预设可靠关键点特征和预设可靠局部特征。因而，对于待识别人脸图像全局特征、可靠关键点特征和可靠局部特征，可以根据其姿态信息，在表情模板特征库中找到作为模板的全局特征、预设关键点特征、和预设的局部特征。通过分别对于待识别人脸图像全局特征、可靠关键点特征和可靠局部特征与表情模板特征库进行比对，可分别基于全局特征、可靠关键点特征和可靠局部特征得到基于上述三种不同特征进行判断的人脸表情的3个识别结果。然后，根据这三个识别结果，可以以投票方式综合地确定人脸表情。另外，还可以基于多个特征(即，全局特征、可靠关键点特征和可靠局部特征)在特征级进行融合，得到识别结果。对此，将在后述进行详细说明。
[0045]在本实施方式中，由于利用至少包含全局特征，可靠关键点特征和可靠局部特征的多个特征识别人脸图像的表情，因此，能够大幅提闻表情识别的准确性。
[0046]以上，对本实施方式的人脸表情识别装置100的结构进行了说明，下面，以具体识别的情形为例，对人脸表情识别装置100进行的处理进行说明。图3为本实施方式的人脸表情识别装置的处理流程图。
[0047]如图3所示，首先在步骤Si中，图像预处理单元110从未图示的摄像装置等获取待识别人脸图像，并对该待识别人脸图像进行尺寸变换，将待识别人脸图像变换为例如64*64像素大小，然后对尺寸变换后的待识别人脸图像进行归一化处理，而生成预处理图像。
[0048]接着，在步骤s2中，姿态确定单元120确定该预处理图像中人脸的朝向等姿态信息，例如，对于如图4所示待识别人脸图像。为了便于理解，在以下的说明中，对于人脸图像使用原始图像代替肉眼观看不便的归一化图像。通过将其预处理图像与预先训练得到的各姿态下的标准人脸进行对比，可确认图像中人脸朝向为正向，从而确定姿态信息为“正向”。
[0049]然后，在步骤S3中，关键点定位单元130根据“正向”这一姿态信息，在预处理图像中的确定关键点。图4是对预处理图像确定关键点的示意图。
[0050]如图4所示，在本实施方式中，对于“正向”的人脸图像，设定19个关键点，具体为，内外眉尖点、眉心点、内外眼角点、上下眼睑点、鼻尖点、鼻孔点、左右嘴角点。当然，相关技术人员可根据情况预先设定任意的关键点，但上述关键点与人脸表情关系密切，因此优选。另外，在其他姿态下，所选择的关键点会与“正向”的情形有所不同，会因为人脸朝向的改变而部分遮挡，尺寸比例发生变化等，但也同样优选上述点为关键点。
[0051]具体为，在预处理图像的人脸区域中，根据步骤s2确定的姿态信息，选择相应姿态，即“正向”的关键点定位方法，其定位方法可通过预先训练得到。该关键点定位的训练方法可以任意选择，例如使用AAM、ASM、SVM, AdaBoost等。
[0052]以AdaBoost方法定位正向左眼下眼睑点的情形为例，首先对正向左眼下眼睑点建立正负样本特征库，正样本库为归一化的正向下左眼下眼睑点为中心的图，负样本为同样大小的人脸其他区域图，利用AdaBoost方法进行训练，得到正向下眼睑点的分类器。当姿态信息为正向时，使用该分类器在人脸左上部分区域进行搜索，得分最高的位置为左眼下眼睑点。正向其他关键点训练和定位以及其他姿态下关键点训练和定位的情形与此相同。
[0053]然后，在步骤s4中，由关键点可靠性分析单元140分析上述19个关键点的可靠性。
[0054]在本实施方式中，在可靠性分析单元140中，预先保存有对各种姿态下的标准人脸划分多个预设区域信息，并且对于预处理图像，与该预设区域同样地，根据姿态信息划分多个区域。
[0055]如图5所示，在本实施方式中，作为预置信息，对于标准人脸图像划分16个预设区域；并且在对关键点进行可靠性分析时，对于预处理图像也同样地划分16个区域。
[0056]划分上述各种区域的方法可以是，对于正向的预处理图像或标准人脸图像检测并计算19个关键点或预设关键点的质心，然后以质心为圆心，如图5所示划分同心圆区域。当然，划分区域的方法不局限于此，可以根据精度等的需要任意划分区域的边界和数量。
[0057]由于表情变化、光照变化等有可能会导致关键点的略微偏移，但并不影响识别结果的情况。然而，为了进一步提高表情识别的精度，在本实施方式中，在16个子区域划分的基础上，对于落入区域边界之间的关键点或预设关键点将会根据其距离区域边界的距离，赋予其分别属于相邻区域的权值。
[0058]在可靠性分析单元140中，作为预设信息保存有对不同姿态下的标准人脸图像建立表现出预设关键点与预设区域的位置关系的所属列表。
[0059]由此，可靠性分析单元140在对预处理图像的关键点进行可靠性分析时，可将各关键点与相应区域的位置关系与所述列表中的相应预设关键点与预设区域的位置关系进行比较，当一个关键点与所属列表中相应预设关键点的位置关系相同时，认为该关键点正确，为可罪关键点；否则认为该关键点错误，将其丢弃。
[0060]接着，在步骤s5中，特征提取单元150中，对预处理图像提取全局特征、可靠关键点特征和可靠局部特征。
[0061]其中，对于所谓的全局特征，其全局特征的特征向量包含了人脸图像上所有部分的信息，反映了人脸的整体属性。
[0062]特征提取单元150对预处理图像提取的全局特征，例如可以是Gabor、LBP、ULBP等特征。下面，以ULBP特征为例进行说明。
[0063]首先，对于LBP特征，是用一个非参数化的3 X 3的核来描述图像的局部结构，是一个具有很强分类能力的纹理描述子。而在本实施方式中所采用的改进的ULBP特征提取时，首先对预处理图像划分多个小的区域块，然后在每个区域块里提取ULBP直方图，最后把所有块的直方图串联起来构成一个向量。用该向量表示图像有两个优点:1.局部直方图可以描述图像的纹理信息，2.串联起来的单个直方图可以描述图像的空间结构。
[0064]特征提取单元150所提取的可靠关键点特征例如可以是，对由关键点定位单元130得到的每个可靠关键点计算的SIFT描述特征。因SIFT具有旋转、平移、尺度不变性，所以对于表情、姿态、以及一定程度的遮挡都具有一定的鲁棒性。该关键点特征除了可以是SIFT描述特征以外,还可以是Gabor等其他特征。
[0065]特征提取单元150所提取的可靠局部特征例如可以是，可靠关键点附近与表情变化相关的面部区块的特征，下面对此详细说明。
[0066]人脸某些部位随着表情的变化呈现不同的形态，因此特定的人脸部