位区块对表情识别起着重要的作用。这些对表情敏感的部位包括眉毛、眼睛、嘴巴、眼角旁边区域、两眼中间区域、以及法令纹区域等。
[0067]图6和图7是表不根据关键点确定可罪局部的不意图。
[0068]如图6、7所示，特征提取单元150根据关键点定位单元130和关键点可靠性分析单元140确定的可靠关键点，确定预处理图像的人脸上的面部区块，并提取这些面部区块的特征。
[0069]作为一个例子，在本实施方式中确定了 12个面部区块，这些面部区块被认为与人脸表情有很大关系。
[0070]其中，图6中表TJK与表情关系最大的五官部位区块:眉毛、眼睛、嘴巴；图7中表TJK与表情关系相对较大的人脸其它部位区块:眼角旁边区块、两眼中间区块、法令纹区块、下眼睑区块等。
[0071]特征提取部150可根据可靠关键点确定所选择的面部区块的位置。比如图6中的左眼区域是根据左眼下眼睑点、左眼上眼睑点、左眼内侧眼角和左眼外侧眼角四个点的位置按照一定比例提取得到。实际上，具体使用哪些区块可随意设定，但优选上述与人脸表情关系密切的面部区块。然后，特征提取部150对所确定的区块提取特征。
[0072]接着，在步骤s6中，表情确定单元160根据由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征，确定待识别人脸图像的表情。
[0073]在本实施方式中，由于特征提取单元150提取了 3个不同种类的特征，即全局特征、可靠关键点特征和可靠局部特征。对于这三种特征分别与预先训练得到的各姿态下的表情模板中的相应的三种特征比较其相似度。
[0074]具体为，在表情确定单元160中，将由特征提取单元150提取的全局特征、可靠关键点特征和可靠局部特征这三类特征，分别与姿态确定单元120判断的姿态类型相对应的表情模板库中的相应的这三类特征进行比较，求得相似度，得到各特征识别结果，进行融合得到最终表情识别结果。
[0075]在此，作为一个例子，可通过训练得到作为标准的全局特征、可靠关键点特征和可靠局部特征，并将这些特征分类保存在表情模板库中。作为预设信息，为了得到标准的全局特征、可靠关键点特征和可靠局部特征，可收集大量的人脸表情样本，对关键点进行手工标定并按姿态和表情进行分类，对每幅人脸与上述特征提取单元150同样地，提取全局特征、可靠关键点特征和可靠局部特征。由此，例如可以得到5类姿态(B卩，右视、正视、左视、俯视、仰视)、7种表情(例如包括，正常(normal)、生气(angry)、厌恶(digest)、害怕(fear)、高兴(happy )、伤心(sad)、吃惊(surprise))、3类特征(即，作为标准的全局特征、可靠关键点特征和可靠局部特征)，总计共105个总特征库。对每个总特征库中的特征分别进行聚类，每个总特征库聚成M个类别，每个类别中心作为相应表情相应姿态相应特征的表情特征模板，共得到105*M个表情特征模板。。
[0076]在本实施方式中，表情确定单元160，根据由姿态确定单元120确定的姿态，分别将特征提取单元150提取的全局特征、可靠关键点SIFT特征和可靠局部特征，与表情特征模板库中相应姿态的模板库中的相应特征进行比较，求得相似度比较值，分别针对全局特征、可靠关键点SIFT特征和可靠局部特征得到三个表情识别的结果。这样，可以由多个(在本实施方式中为3个)特征的识别结果进行投票，得到最终表情识别结果。
[0077]另外，在本实施方式中，由于采用多个特征识别人脸表情，因此，可基于各表情下各特征，以特征级融合方式确定表情。
[0078]图8是表情确定单元根据上述全局特征、可靠关键点特征卿，可靠关键点SIFT特征)和可靠局部特征识别表情的实施例1的流程图。
[0079]如图8所示，首先在步骤s801中，对于上述全局特征、可靠关键点SIFT特征和可靠局部特征，将它们分别与各表情下的标准人脸的相应特征进行比较。
[0080]S卩，对于全局特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的全局特征进行比较，得到基于上述7中表情的7个比较值。
[0081]同样地，对于可靠关键点SIFT特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的可靠关键点SIFT特征进行比较，得到基于上述7中表情的7个比较值。
[0082]对于可靠局部特征，将其与预先训练得到的正常、生气、厌恶、害怕、高兴、伤心、吃惊表情的标准人脸的可靠局部特征进行比较，得到基于上述7中表情的7个比较值。
[0083]然后，在步骤s802中，对于全局特征、可靠关键点SIFT特征和可靠局部特征，分别取表示相似度最大的比较值所对应的表情作为各自的表情结果。
[0084]例如，对于可靠关键点SIFT特征和可靠局部特征，在各自的7个比较值中，“正常”表情的比较值最大(即，表示相似度最大)，则确定对于可靠关键点SIFT特征和可靠局部特征的表情结果为“正常”。另一方面，对于全局特征，在其7个比较值中，“高兴”表情的比较值最大(即，表示相似度最大)，则确定对于全局特征的表情结果为“高兴”。
[0085]然后，在步骤s803中，根据上述特征的表情结果，确定重复出现次数最多的表情结果为待识别人脸图像的表情。
[0086]如上所述，在步骤s802中，可靠关键点SIFT特征和可靠局部特征这两个特征的表情结果为“正常”，而全局特征的表情结果为“高兴”，因此，确定“正常”为所识别的待识别人脸图像的表情。
[0087]在本实施例1中，在根据多个特征确定人脸图像的表情时，采用投票的方式，由此，可有效减少确定人脸表情时的计算量，减轻人脸表情识别装置100的运算负担。
[0088]另外，通常情况下，通过实施例1所示的处理，能够利用多个特征有效地以投票方式确定人脸表情，然而在实际使用中，可能存在投票时出现次数最多的表情结果有多个的情形，此时，可重新采样待识别人脸图像来识别表情。
[0089]图9是表情确定单元根据上述全局特征、可靠关键点特征(即，可靠关键点SIFT特征)和可靠局部特征识别表情的实施例2的流程图。在图9中，对于与上述针对图8说明相同的步骤省略其详细说明，并添加与图8相同的符号。
[0090]如图9所示,在步骤s904中，判断是否能够在步骤s803中根据基于全局特征、可靠关键点SIFT特征和可靠局部特征的表情结果确定表情。当不能确定表情，即，出现次数最多的表情结果有多个，例如，在根据全局特征、可靠关键点SIFT特征和可靠局部特征分别得到的表情结果为“正常”、“高兴”、“吃惊”时，表情确定单元160根据步骤s904的判断，执行步骤s905的处理。
[0091]在步骤s905中，针对每种表情，求得对各特征的比较值分别赋予权重后的和，作为该表情的融合值。
[0092]具体如下式I所示
[0093][式 I]
[0094]融合值η= Σ (特征m的比较值*权值mn )
[0095]在本实施例中，η为I?7，分别表示如上所述各表情:正常、生气、厌恶、害怕、高兴、伤心、吃惊，
[0096]m为I?3，分别表示上述全局特征、可靠关键点特征(B卩，可靠关键点SIFT特征)和可靠局部特征，
[0