基于关键点和局部特征的表情识别方法
【技术领域】
[0001]本发明涉及一种识别方法，尤其是一种基于关键点和局部特征的表情识别方法，属于人脸识别的技术领域。
【背景技术】
[0002]面部表情是人传达自己情绪的最自然，最具有表达力的方式，人脸面部表情的自动识别是一个有趣同时也是一个比较有挑战性的问题。由于表情识别在人机交互、情感计算以及计算机视觉领域的广泛应用，近几年引起了工业界和学术界的极大注意。尽管国内外学者针对表情识别领域的研宄取得了显著的成果，由于人脸表情的微妙性，复杂性和多变性，人脸表情识别仍然面临着许多需要解决的问题。
[0003]表情识别分为两种，一种是动态表情识别，主要针对视频中的表情，另外一种是静态表情识别。从初始的人脸图片提取有效的面部特征是表情识别中很重要的一步。通常有两种通用的方法来抽取面部特征:一种是基于几何特征，几何特征依赖于可靠的面部关键点的检测以及跟踪，另外一种是基于外观的特征，比如Gabor-wavelet特征。然而这些方法随着不同照片的光照，背景，人脸大小，人物种族的不同，会导致表情识别的准确率偏差很大。
【发明内容】
[0004]本发明的目的是克服现有技术中存在的不足，提供一种基于关键点和局部特征的表情识别方法，其利用人脸面部的几何特征以及外观特征，利用人脸的关键点的坐标信息来进行人脸尺度归一化，然后进一步提取归一化后的人脸的外观特征，通过结合基于位置的特征和基于外观的特征，综合宏观和微观上的特征，能够更准确的进行表情识别。
[0005]按照本发明提供的技术方案，一种基于关键点和局部特征的表情识别方法，所述表情识别方法包括如下步骤:
步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；
步骤2、利用上述关键点信息对人脸图像进行归一化；
步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform Ibp特征，并将所有分块的uniform Ibp特征组合成一个高维特征；
步骤4、利用主成份分析法抽取上述高维特征中的主成份并降低维度，以得到包含主成份的低维特征；
步骤5、对上述低维特征利用支持向量机进行分类，并输出识别人脸图像的表情。
[0006]所述步骤I中，利用级联回归法来检测人脸图像的关键点信息。
[0007]所述步骤2包括如下步骤:
步骤2.1、根据人脸图像中两眼睛中心横坐标、纵坐标，得到右眼相对水平的偏转角，并根据所述偏转角对人脸图像进行旋转，以使得两个眼睛位于同一水平线上；
步骤2.2、计算两眼睛之间的距离，并根据所述两眼睛之间的距离得到缩放比例，且根据所述缩放比例对上述的人脸图像进行缩放；
步骤2.3、在缩放后的人脸图像上，根据眼睛坐标以及嘴巴坐标进行图像截取，以得到归一化的人脸图像。
[0008]所述步骤4包括如下步骤:
步骤4.1、将高维特征按列组成η行m列的矩阵X ;
步骤4.2、将矩阵X的每一行进行零均值化，以得到矩阵Z ;
步骤4.3、计算上述矩阵Z的协方差矩阵，并所述协方差矩阵的特征值以及与特征值对应的特征向量；
步骤4.4、将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵
P ；
步骤4.5、根据上述矩阵P，得到低维特征矩阵Y，所述低维特征矩阵Y=PX。
[0009]所述识别的表情包括高兴、生气、害怕、惊讶、悲伤或厌恶。
[0010]本发明的优点:结合人脸的几何特征以及外观特征，从宏观和微观上获得更为详细的特征，使用几何特征进行的归一化可以消除人脸大小的不同，位置的不同，以及角度的不同带来的变化，同时从微观上提取的局部特征如(Uniform Ibp特征)可以消除光照的不同，Ibp特征具有光照不变性，还有旋转不变性等特征。同时通过划分分块的方式可以提取到更为细腻的特征，从而能够更准确的进行表情识别。
【附图说明】
[0011]图1为本发明的流程图。
[0012]图2为LBP算子的示意图。
【具体实施方式】
[0013]下面结合具体附图和实施例对本发明作进一步说明。
[0014]如图1所示:为了能够实现对人脸表情进行准确的识别，本发明表情识别方法包括如下步骤:
步骤1、提供待识别表情的人脸图像，并检测所述人脸图像的关键点信息；
在具体实施时，利用级联回归法来检测人脸图像的关键点信息。人脸图像的关键点包括眉毛、眼睛、鼻梁、鼻子、嘴巴以及嘴唇等的横纵坐标的信息。
[0015]步骤2、利用上述关键点信息对人脸图像进行归一化；
所述归一化的过程包括如下步骤:
步骤2.1、根据人脸图像中两眼睛中心横坐标、纵坐标，得到右眼相对水平的偏转角，并根据所述偏转角对人脸图像进行旋转，以使得两个眼睛位于同一水平线上；此步骤中，以人眼为中心对人脸图片进行对齐。
[0016]步骤2.2、计算两眼睛之间的距离，并根据所述两眼睛之间的距离得到缩放比例，且根据所述缩放比例对上述的人脸图像进行缩放；
在具体实施时，在得到两眼睛之间的距离后，再除以一个数值，即得到缩放比例，设置缩放的比例决定了归一化后人脸图像的分辨率的大小，如果设置为50，则意味着将图片缩放到两眼之间的距离是50像素，人脸的宽度也就是100像素左右。同时人脸的宽度也决定了步骤3中分块宽度的设置，通常可以设置分块宽度为人脸宽度的1/10。具体数值的设置，可以看具体情况调整，具体为本技术领域人员所熟知，此处不再赘述。
[0017]步骤2.3、在缩放后的人脸图像上，根据眼睛坐标以及嘴巴坐标进行图像截取，以得到归一化的人脸图像。对图像截取，以去除人脸图像中的无用信息，从而能对人脸图像进行归一化。
[0018]步骤3、将归一化的人脸图像进行分块，并抽取每个分块的uniform Ibp特征，并将所有分块的uniform Ibp特征组合成一个高维特征；
如图2所示，原始的LBP算子定义在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度与其进行比较，若周围像素值大于中心像素值，则该像素点的位置为1，否则是O。这样3*3邻域内的8个点经比较可产生8位二进制数。为了解决二进制模式过多的问题，绝大多数LBP模式最多只包含两次从I到O或从O到I的跳变。当某个LBP所对应的循环二进制数从O到I或从I到O最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。所有的8位二进制数中共有58 (变化次数为O的有2种，变化次数为I的有O种，变化次数为2的有56种)个uniform patter