面部表情识别方法及装置与流程
本发明涉及图像处理技术，尤其涉及一种面部表情识别方法及装置。
背景技术：
随着计算机技术、人工智能技术等相关学科的发展，整个社会的自动化程度不断提高，人们对于类似人与人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互产生重大意义。
几何多样性是影响表情识别性能的一个重要方面。现有技术表情识别方法，通常是先选取一个形状模板,然后让人脸图像向形状模板对齐，通过人脸图像具体对齐的形状模型表示的表情来确定人脸的表情。然而,由于人脸形状各异，通过一个形状模板所能获得识别结果往往不能达到预期，导致人脸的表情识别准确率较低。
技术实现要素：
本发明实施例所要解决的一个技术问题是：提供一种面部表情识别方法及装置，以提高面部表情识别的准确率。
根据本发明实施例的一个方面，提供的一种面部表情识别方法，包括：
对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
获取所述刚体归一化形状中所述面部图像的人脸特征；
根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
进一步的，所述面部图像为样本面部图像或待识别面部图像。
进一步的，所述预先获得的面部表情类别的平均形状由如下步骤获取：
s1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状；
s2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化，获得所述面部图像的归一化形状；
s3、获取所述面部表情类别归一化后所有面部图像的平均形状；
s4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对；若比对结果一致，将所述预估平均形状作为预先获得的面部表情类别的平均形状，并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将s3获取的归一化后所有面部图像的平均形状作为新的预估平均形状，迭代执行s2-s4。
进一步的，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。
进一步的，所述获取所述刚体归一化形状中所述面部图像的人脸特征包括：
根据面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征；
将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平 均形状中，获得面部图像的非刚体归一化表观；
根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征；
将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。
进一步的，所述预先训练的表情分类器包括：当所述面部图像为样本面部图像时，对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。
进一步的，所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括：当所述面部图像为待识别面部图像时，根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。
进一步的，所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括：根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
根据本发明实施例的另一个方面，提供一种面部表情识别装置，包括：
人脸检测单元，用于对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状；
形状获取单元，用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状；
特征获取单元，用于获取所述刚体归一化形状中所述面部图像的人脸特征；
表情分类单元，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果；
表情判断单元，用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别方法及装置，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1是本发明面部表情识别方法一个实施例的流程图。
图2a至图2f是本发明实施例提供的面部表情识别方法中各种形状和表观形式的示意图。
图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图。
图4a是本发明面部表情识别方法另一个实施例的训练阶段的流程图。
图4b是本发明面部表情识别方法另一个实施例的测试阶段的流程图。
图5是本发明面部表情识别装置一个实施例的结构示意图。
图6是本发明面部表情识别装置另一个实施例的结构示意图。
图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图。
图8是本发明面部表情识别方法测试阶段一个具体实施例的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
请参阅图1所示，是本发明面部表情识别方法一个实施例的流程图。本实施例的面部表情识别方法包括：
步骤102，对面部图像进行人脸区域检测及关键点定位，获得面部图像的形状。
其中，人脸区域的检测具体采用经典的维奥拉和琼斯(violaandjones)算法，关键点定位具体采用显式回归(explicitshaperegression)算法。如图2a及图2d所示，图2a显示了图2d中面部图像所对应的形状s，其中，形状s采用三角面片来描述，具体是由三角面片所构成的网格中各顶点的坐标的向量来表示，各顶点即为关键点。例如，在待识别面部图像中定位了81个关键点，每个关键点具有二个坐标值(xi，yi)，i＝1,…,81,则形成162维的形状向量[x1,y1,x2,y2,…,x81,y81]t。
在本步骤中，获得面部图像的形状包括获得样本面部图像的形状和待识别面部图像的形状。其中，样本面部图像构成了训练集，训练集中包括多个面部表情类别，每个面部表情类别中包含预设数目个样本面部图像。
步骤104，将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得所述面部图像的刚体归一化形状。
其中，预先获得的面部表情类别的平均形状具体根据一训练阶段获得。 在本发明中，预先获得的面部表情类别的平均形状只需要获取一次即可。如图2b所示，是预先获得的某一面部表情类别的平均形状s0，例如，图2b是面部表情为“快乐”时的平均形状s0。由于面部图像的形状s可以分解为平均形状s0加上有限形状的组合，因此将形状s与平均形状s0对齐获得的形状称为刚体归一化形状sn。如图2c所示，是将图2a中的形状s与图2b中的平均形状s0对齐获得的刚体归一化形状sn，其中，刚体归一化形状sn在运动中和受力作用后，形状和大小不变，而且内部各点的相对位置不变。
当面部图像为待识别面部图像时，将待识别面部图像分别与预先获得的多个面部表情类别的平均形状对齐，获得与多个面部表情类别相对应数目的一组刚体归一化形状。
步骤106，获取所述刚体归一化形状中所述面部图像的人脸特征。
其中，所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征，基于面部图像的刚体归一化形状获取人脸特征的方法在下文中将详细进行描述。
步骤108，根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果。
其中，预先训练的表情分类器具体根据一训练阶段获得。在本发明中，预先训练的表情分类器只需要获取一次即可。
步骤110，对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。
在本步骤中，通过加权投票的方式来确定最终面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别方法，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别，不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
请参阅图4a、图4b、图7及图8所示，图4a是本发明面部表情识别方法另一个实施例的训练阶段的流程图，图4b是本发明面部表情识别方法另一个实施例的测试阶段的流程图，图7是本发明面部表情识别方法训练阶段一个具体实施例的流程图，图8是本发明面部表情识别方法测试阶段一个具体实施例的流程图。本实施例的面部表情识别方法包括：训练阶段和测试阶段两个阶段。
其中，训练阶段用于获取训练集中各面部表情类别的平均形状，以及利用各训练样本面部图像训练表情分类器，且面部表情类别的平均形状和表情分类器只需要在训练阶段获取一次，在测试阶段直接利用该面部表情的平均形状和表情分类器对待识别面部图像的表情进行识别。具体的，所述训练阶段包括：
步骤202，对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状。
步骤204，根据样本面部图像的形状，计算每个面部表情类别的平均形状，将每个样本面部图像的形状与各自所属面部表情类别的平均形状对齐，获得每个样本面部图像的刚体归一化形状。
步骤206，获取每个样本面部图像的刚体归一化形状的样本面部图像的人脸特征。
其中，样本面部图像的人脸特征包括样本面部图像的形状特征和样本面部图像的纹理特征。
步骤208，根据每个样本面部图像的人脸特征训练表情分类器。
所述测试阶段包括：
步骤210，对待识别面部图像进行人脸区域检测及关键点定位，获得待识别面部图像的形状。
步骤212，将待识别面部图像的形状分别与训练阶段获得的每个面部表情类别的平均形状对齐，获得待识别面部图像的一组刚体归一化形状。
步骤214，获取待识别面部图像的一组刚体归一化形状中每个待识别面部图像的人脸特征。
待识别面部图像的人脸特征包括待识别面部图像的形状特征和待识别面部图像的纹理特征。
步骤216，根据训练阶段训练的表情分类器对每个待识别面部图像的人脸特征进行表情识别获得表情类别预测结果。
步骤218，对所述表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
如图7所示，其中ang，con，dis，fea，hap，sad，sur分别代表7种面部表情：生气、不屑、厌恶、害怕、快乐、悲伤和吃惊。每一种面部表情类别中包含一定数量的样本面部图像，由这7种面部表情类别的样本面部图像构成了训练集样本。
在一具体实施例中，步骤204具体通过普氏分析(procrustesanalysis)获得每个面部表情类别的平均形状和每个训练样本面部图像的刚体归一化形状获，具体包括：
步骤2041，在每个面部表情类别的训练样本面部图像的形状中选取一副样本面部图像的形状作为所述面部表情类别的预估平均形状。例如，选取第1个样本面部图像的形状为预估的平均形状。
步骤2042，对每个面部表情类别中其余的样本面部图像的形状根据普氏分析与预估的平均形状进行归一化，获得所述样本面部图像的归一化形状。
步骤2043，获取每个面部表情类别归一化后所有样本面部图像的平均形状。
步骤2044，将每个面部表情类别归一化后获得的所有样本面部图像的平均形状与预估的平均形状进行比对；若比对结果一致，将预估的平均形状作为该面部表情类别的平均形状，即预先获得的面部表情类别的平均形状，并将所述样本面部图像的归一化形状作为该样本面部图像的刚体归一化形状； 若比对结果不一致，则将步骤2043获取的每个面部表情类别归一化后所有样本面部图像的平均形状作为新的预估平均形状，迭代执行步骤2042-步骤2044，直到步骤2043中获取的归一化后所有样本面部图像的平均形状与最后迭代时的预估平均形状一致为止。
其中，普氏分析(procrustesanalysis)具体过程为：
(1)构成样本集的形状集合
例如，样本集的形状集合为
(2)将样本集的形状向原点对齐
具体为：原点一般选择(0,0)点,即向原点对齐后的形状集合为：
(3)将向原点对齐后的形状尺度归一化，具体为:xn＝xc/||xc||。
(4)将向原点对齐和尺度归一化获得的形状集合xn通过旋转操作进行归一化,具体为：选择旋转矩阵q,使得
在一具体实施例中，步骤206包括：
步骤2061，根据每个样本面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征。
步骤2062，将每个样本面部图像的原始纹理填充到每个样本面部图像各自所属表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表 观，从每个样本面部图像的非刚体归一化表观中提取每个样本面部图像的纹理特征。
步骤2063，将获取的每个样本面部图像的纹理特征填充到每个样本面部图像的形状特征中获得每个样本面部图像的人脸特征。
下面对获取每个样本面部图像的形状特征的步骤2061进行说明，步骤2061具体包括：
(1)计算每个样本面部图像的刚体归一化形状在每个表情类别的线性重构误差。
具体根据，对于形状特征,每一个样本都可以被邻域的样本进行线性重构。因此对于一个面部图像样本i,其在第c类的线性重构误差为：
其中，c为表情类别，c＝1,…,c；
(2)确定每个样本面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别。
具体为当满足
(3)获取每个样本面部图像的刚体归一化形状的最小线性重构误差所属面部表情类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
具体为当满足
其中，当在已知样本的面部表情类别时，可以直接根据步骤(1)通过计算每个样本面部图像的刚体归一化形状在所属面部表情类别的线性重构误差，获得样本面部图像的形状特征，此时线性重构误差的邻域集合样本的权重向量即作为样本面部图像的形状特征。
下面对获取每个训练样本面部图像的纹理特征的步骤2062进行说明，步骤2062具体包括：
(1)将每个样本面部图像的原始纹理通过仿射扭曲(affinewarping)填充到每个样本面部图像各自所属面部表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观。
如图2f所示，是将图2d中面部图像的原始纹理通过仿射扭曲(affinewarping)填充到图2c的面部图像所属面部表情类别的平均形状s0中，所获得的面部图像的非刚体归一化表观a0，具体是通过将图2d中原始面部图像中的灰度值通过仿射扭曲(affinewarping)来获取所述非刚体归一化表观a0。另外，如图2e所示，是在图2b的面部图像的刚体归一化形状sn中填充上纹理信息构成的刚体归一化表观an,具体是通过将图2d中原始面部图像中的灰度值通过仿射扭曲(affinewarping)来获取所述刚体归一化表观an。由于对于纹理特征，采用非刚体归一化表观a0提取纹理特征的效果优于采用刚体归一化表观an提取纹理特征的效果，因此，本发明实施例采用非刚体归一化表观an来提取纹理特征。
(2)根据改进的基于分块的局部二值(dualhistogramlocalbinarypattern，dh-lbp)模式从每个样本面部图像的非刚体归一化表观中获取每个 样本面部图像的纹理特征。
其中，采用改进的基于分块的局部二值模式(dualhistogramlocalbinarypattern，dh-lbp)来表示纹理特征，可以反映眼睛、鼻子和嘴巴这些在面部表情识别中具有重要作用的区域的微纹理特征，由于dh-lbp只有16维，并且同时保留了局部二值模式(localbinarypattern,lbp)的判别能力，因此有利于提高模型的推广能力。如图3所示，图3是本发明实施例提供的面部表情识别方法中提取纹理特征的示意图，其中将眼睛、鼻子和嘴巴区域共划分为36+35＝71个子区域，根据分块的数量和特征的维度,面部图像的纹理特征的维度为71×16＝1136。
与步骤206类似，步骤214包括：
步骤2141，根据待识别面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取每个待识别面部图像的形状特征。
步骤2142，将待识别面部图像的原始纹理填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观，从待识别面部图像的每个非刚体归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
步骤2143，将每个待识别面部图像在每个表情类别的纹理特征填充到每个待识别面部图像的形状特征中获得一组待识别面部图像的人脸特征。
其中，获取待识别面部图像的形状特征的步骤2141具体包括：
(1)计算每个待识别面部图像的刚体归一化形状在每个表情类别的线性重构误差。
(2)确定每个待识别面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别。
(3)获取每个待识别面部图像的刚体归一化形状的最小线性重构误差的所属面部表情类别的邻域集合样本的权重向量作为每个待识别面部图像的形状特征。
其中，获取待识别面部图像的纹理特征的步骤2142具体包括：
(1)将待识别面部图像的原始纹理通过仿射扭曲填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观。
(2)根据改进的基于分块的局部二值(dualhistogramlocalbinarypattern，dh-lbp)模式从每个待识别面部图像在每个表情类别的非刚体归一化表观中获取每个待识别面部图像在每个面部表情类别的纹理特征。
如图8所示，是本发明面部表情识别方法测试阶段一个具体实施例的流程图。步骤214所获得的参数包括：重构系数
在一具体实施例中，步骤208具体包括：根据每个样本面部图像的人脸特征通过支持向量机(supportvectormachine，svm)算法训练表情分类器。
在一具体实施例中，步骤216具体包括：根据训练阶段训练的表情分类器为每个待识别面部图像的人脸特征分配一个表情类别标签。
在一具体实施例中，步骤218具体包括：根据重构误差的加权投票策略对表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
具体根据
其中，c为表情类别，c＝1,…,c；
在上式中，每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权重,待识别面部图像的表情被确定为具有最大权重的表情类别，即 具有最多投票的表情类别被确定为待识别面部图像的表情类别。
请参阅图5所示，是本发明面部表情识别装置一个实施例的结构示意图。本实施例的面部表情识别装置可用于实现本发明上述各面部表情识别方法实施例，本实施例的面部表情识别装置包括：人脸检测单元502、形状获取单元504、特征获取单元506、表情分类单元508和表情判断单元510。其中，
人脸检测单元502，用于对面部图像进行人脸区域及关键点检测，获得面部图像的形状。
其中，人脸区域的检测具体采用经典的维奥拉和琼斯(violaandjones)算法，关键点定位具体采用显式回归(explicitshaperegression)算法。如图2a及图2d所示，图2a显示了图2d中面部图像所对应的形状s，其中，形状s采用三角面片来描述，具体是由三角面片所构成的网格中各顶点的坐标的向量来表示，各顶点即为关键点。
具体来说，人脸检测单元502用于对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状，还用于对待识别面部图像进行人脸区域及关键点检测，获得待识别面部图像的形状。
形状获取单元504，用于将面部图像的形状与预先获得的面部表情类别的平均形状对齐，获得面部图像的一组刚体归一化形状。
其中，预先获得的每个面部表情类别的平均形状具体根据一训练阶段获得。如图2b所示，是预先获得的某一面部表情类别的平均形状s0。由于面部图像的形状s可以分解为平均形状s0加上有限形状的组合，因此将形状s与平均形状s0对齐获得的形状称为刚体归一化形状sn。如图2c所示，是将图2a中的形状s与图2b中的平均形状s0对齐获得的刚体归一化形状sn，其中，刚体归一化形状sn具体是形状s通过仿射变换操作向平均形状s0对齐后获得的形状。
特征获取单元506，用于获取面部图像的刚体归一化形状中面部图像的人脸特征。
其中，面部图像包括样本面部图像和待识别面部图像，人脸特征包括形状特征和纹理特征。
表情分类单元508，用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果。
其中，预先训练的表情分类器具体根据一训练阶段获得。
表情判断单元510，用于对所述表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
基于本发明上述实施例提供的面部表情识别装置，在对齐多个平均形状的情况下，获得由形状特征和纹理特征混合构成的人脸特征，最后通过加权投票的方式确定最终的表情类别，不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。
在另一实施例中，面部表情识别装置用于执行训练阶段和测试阶段两个阶段的操作。
人脸检测单元502，对样本面部图像进行人脸区域及关键点检测，获得样本面部图像的形状。
形状获取单元504，还用于根据样本面部图像的形状，计算每个面部表情类别的平均形状，将每个样本面部图像的形状与各自所属面部表情类别的平均形状对齐，获得每个样本面部图像的刚体归一化形状。
特征获取单元506，还用于获取每个样本面部图像的刚体归一化形状的面部图像的人脸特征。
表情分类单元508，还用于根据训练样本面部图像的人脸特征训练表情分类器。
在一具体实施例中，形状获取单元504具体通过普氏分析(procrustesanalysis)获得每个面部表情类别的平均形状、每个训练样本面部图像的刚体 归一化形状和待识别面部图像的刚体归一化形状。
请参阅图6所示，是本发明表情识别装置另一个实施例的结构示意图。本实施例与图5实施例的区别在于，形状获取单元504包括：预估计单元602、归一化单元604、平均单元606和判断单元608。其中，
预估计单元602，用于在面部表情类别的样本面部图像的形状中选取一副面部图像的形状作为该面部表情类别的预估平均形状。
归一化单元604，用于对面部表情类别中其余的样本面部图像的形状根据普氏分析与预估的平均形状进行归一化，获得面部图像的刚体归一化形状。
平均单元606，用于获取面部表情类别归一化后所有样本面部图像的平均形状。
判断单元608，用于将归一化后所有样本面部图像的平均形状与预估的平均形状进行比对；若比对结果一致，将预估平均形状作为该面部表情类别的平均形状，并将面部图像的归一化形状作为该面部图像的刚体归一化形状；若比对结果不一致，则将归一化后所有面部图像的平均形状作为新的预估的平均形状，由归一化单元604和平均单元606迭代执行上述归一化操作和获取归一化后所有训练样本面部图像的平均形状的操作。
特征获取单元506包括：形状特征获取单元612、纹理特征获取单元614和填充单元616。其中，
形状特征获取单元612，用于根据每个样本面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取面部图像的形状特征。
具体地，形状特征获取单元612通过计算每个样本面部图像的刚体归一化形状在每个表情类别的线性重构误差；及确定每个样本面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别；并获取每个样本面部图像的刚体归一化形状的最小线性重构误差所属面部表情类别的邻域集合样本的权重向量作为每个样本面部图像的形状特征。
形状特征获取单元612还用于根据待识别面部图像的刚体归一化形状，利用欧式空间的子空间理论，基于重构误差提取每个待识别面部图像的形状特征。
具体地，形状特征获取单元612通过计算每个待识别面部图像的刚体归一化形状在每个表情类别的线性重构误差；及确定每个待识别面部图像的刚体归一化形状的最小线性重构误差所对应的面部表情类别；并获取每个待识别面部图像的刚体归一化形状的最小线性重构误差的所属面部表情类别的邻域集合样本的权重向量作为每个待识别面部图像的形状特征。
纹理特征获取单元614，用于将每个样本面部图像的原始纹理填充到每个样本面部图像各自所属表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观，从每个样本面部图像的非刚体归一化表观中提取每个样本面部图像的纹理特征。
具体地，纹理特征获取单元614通过将每个样本面部图像的原始纹理通过仿射扭曲(affinewarping)填充到每个样本面部图像各自所属面部表情类别的平均形状中，获得每个样本面部图像的非刚体归一化表观；及根据改进的基于分块的局部二值(dualhistogramlocalbinarypattern，dh-lbp)模式从每个样本面部图像的非刚体归一化表观中获取每个样本面部图像的纹理特征。
纹理特征获取单元614，还用于将待识别面部图像的原始纹理填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观，从待识别面部图像的每个非刚体归一化表观中提取待识别面部图像在每个面部表情类别的纹理特征。
具体地，纹理特征获取单元614通过将待识别面部图像的原始纹理通过仿射扭曲填充到每个表情类别的平均形状中，获得待识别面部图像在每个表情类别的非刚体归一化表观；及根据改进的基于分块的局部二值(dualhistogramlocalbinarypattern，dh-lbp)模式从每个待识别面部图像在每 个表情类别的非刚体归一化表观中获取每个待识别面部图像在每个面部表情类别的纹理特征。
填充单元616，用于将获取的每个训练样本面部图像的纹理特征填充到每个训练样本面部图像的形状特征中获得每个训练样本面部图像的人脸特征。
填充单元616还用于将每个待识别面部图像在每个表情类别的纹理特征填充到每个待识别面部图像的形状特征中获得一组待识别面部图像的人脸特征。
在一具体实施例中，表情分类单元508，用于根据每个样本面部图像的人脸特征通过支持向量机(supportvectormachine，svm)算法训练表情分类器。
在一具体实施例中，表情分类单元508，还用于根据训练阶段训练的表情分类器为每个待识别面部图像的人脸特征分配一个表情类别标签。
在一具体实施例中，表情判断单元510用于根据重构误差的加权投票策略对表情类别预测结果进行加权投票确定待识别面部图像的表情类别。
具体根据
其中，c为表情类别，c＝1,…,c；
在上式中，每个面部表情类别的平均形状都给每个面部表情类别贡献了一定的权重,待识别面部图像的表情被确定为具有最大权重的表情类别，即具有最多投票的表情类别被确定为待识别面部图像的表情类别。
所述表情识别装置包括处理器和存储器，上述人脸检测单元502、形状获取单元504、特征获取单元506、表情分类单元508和表情判断单元510等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序 单元来实现相应的功能。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法、装置和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
- 还没有人留言评论。精彩留言会获得点赞！