一种基于区域图像的人脸表情识别方法
【技术领域】
[0001] 本发明属于数字图像处理技术。
【背景技术】
[0002] 表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手段。人 们可通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认对方的态度和内心 世界。人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信 息。人脸表情可以分为6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，和一种最 为普遍的表情类别：中性。其中中性是人脸表情进行转换的中间过程和所有人一般状态 下所表现出来的最为普遍的表情类别。一个人脸表情识别系统（FER) -般包括3个环 节，即人脸检测、特征提取、表情分类。其中人脸检测目前已经成为了一个单独的研究 方向，现有的研究已经在该方面上研究出了一些成果。表情特征提取是FER系统中最重 要的部分，有效的表情特征提取工作将使识别的性能大大提高。详见文献：Havran C，et al. Independent Component Analysis for face authentication[A]·KES' 2002proce edings-knowledge-based intelligent Information and Engineering Systems[C]. Crema(Italy)，2002-09.1207_1211;和文献：Donato Gianluca，et al. Classifying Facial Actions[J]· IEEE TRANSACTIONS ON ΡΑΜΙ.，1999-10, 21(10).;和文献：Cootes Timothy F1Edwards Gareth J, et al. Active Appearance Models[J]. IEEE TRANSACTIONS ON ΡΑΜΙ.，2007-06,23(6);和文献：Lyons Michael J，Budynek Julien, Aukamatsu Shigeru. Automatic Classification of Single Facial Images[J]. IEEE TRANSACTIONS ON ΡΑΜΙ.，2009-12, 21 (12)所述。
[0003] 在近年来，人机交互（Human to Computer Interface，HCI)技术日益成为人工智 能领域中研究的热点，人与计算机之间感情交流问题开始受到广泛的关注。如果计算机和 机器人能够像人类那样具有理解和表达情感的能力，来帮助人完成各项任务，那将使计算 机能够更好地为人类服务。目前的各种面部表情识别算法中，常在单一数据库中进行验证， 并不具有普遍性和说服力。由于不同人种和各国文化背景的差异，不同民族不同国家的人 其面部表情的表现形式并不相同。
[0004] 目前常用的人脸面部表情识别算法有：
[0005] (1)基于人脸动作编码系统FACS和运动单元AU的算法。1他臟，(：.6.1(〇11166 1?· C. Gur, and R. Verma, "Automated facial action coding system for dynamic analysis of facial expressions in neuropsychiatric disorders,'，Journal of Neuroscience Methods, vol. 200, no. 2, pp. 237-256, 2011.
[0006] (2)基于主成分分析 PCA 的算法。Yong C Y, Sudirman R, Chew K M. Facial Expression Monitoring System Using PCA-Bayes Cl assifier[C]. Future Computer Sciences and Application (ICFCSA), 2011International Conference on.IEEE, 2011:187-191.
[0007] (3)基于区域方向模式LDP的算法。是对局部二进制模式LBP的改进，对当前像 素为中心像素点的邻域内八个像素进行Kirsch算子运算后取前K个最大的值，将其对应的 位置设置为1，其余的位置设置为〇,从起始点开始依逆时针的方向对此中心像素点进行二 进制编码。T. Jabid, Μ. H. Kabir, and 0. Chae, "Robust facial expression recognition based on local directional pattern,'，ETRI Journal, vol. 32, no. 5, pp. 784-794, 2010. Kirsch算子是R. Kirsch提出来一种边缘检测算法，它采用8个模板对图像上的每一个像 素点进行卷积求导数，这8个模板代表8个方向，对图像上的8个特定边缘方向做出最大响 应，运算中取最大值作为图像的边缘输出。
[0008] 上述人脸面部表情提取方法都在一定程度上存在问题。方法1需要准确的五官定 位及面部追踪才可以获得较好的效果，且对于噪声光照敏感，易受到干扰。方法2虽然拥有 较小的计算量和特征维度，但是会忽略局部特征，局部特征在识别过程中也是非常重要的 部分，因此对于识别精度有一定的影响。方法3虽然较方法1，2有所改进，但是随着所取最 大值个数的提升，其编码组合数目会大幅增加，用于区域图像分块处理之后，其整幅图像的 特征维度会急剧增加；且LDP也仅是用周围像素与中心像素进行比较，直接取周围像素的 最大运算值进行编码，非理想条件下，对噪声也不具有一定的抗力。
[0009] LDP编码由如下公式计算而得：
[0012] 其中nvi = 0,......，7表示经过Kirsch算子运算后的八方向的响应值的绝对值， k表示取最大值的个数，mk表示m 1最大的第k个值。随着k的增大其特征维度会急剧增大。
【发明内容】
[0013] 本发明所要解决的技术问题是，提供一种能够有效的提取有用信息并减少计算 量，提高抗干扰能力的人脸表情识别方法。
[0014] 本发明为解决上述技术问题所采样的技术方案是，一种基于区域图像的人脸表情 识别方法，包括以下步骤：
[0015] 步骤1图像预处理
[0016] 得到人脸图像后，将人脸图像转换为统一大小的灰度图像，对归一化后的灰度图 像进行区域分割，并计算每一个区域的灰度直方图，按顺序进行首尾相连得到待检测图 像；
[0017] 步骤2表情特征提取
[0018] 使用SLDP编码对待检测图像进行特征提取：
[0019] 对待检测图像中当前像素为中心像素点的邻域内8个像素点进行Kirsch算子运 算得到的8个方向的边缘响应值；
[0020] 对当前像素点进行SLDP编码的计算方式如下： CN 105117707 A 说明书 3/5 页
[0023] 其中Vl，s〇为判决函数，i =0,……，7表示经过Kirsch算子运算后得到的8个 方向的边缘响应值的绝对值，N为响应值个数，N = 8, Th为门限值；
[0024] 步骤3表情分类
[0025] 将待测图像的SLDP编码作为提取的特征信息输入SVM支持向量机对特征进行分 类完成人脸表情图像进行识别。
[0026] 进一步的，步骤1图像预处理中，按顺序进行首尾相连灰度直方图之后进行直方 图均衡得到待检测图像。
[0027] 本发明新提出一种基于LDP的改进算法SLDP。在得到中心像素点的8个方向的 边缘响应值之前的步骤与LDP算法相同，得到8个方向的边缘响应值之后，首先利用以中心 像素为中心的周围像素具有极高的相关性这一特征，用周围像素之响应差值与门限值进行 比较确定其编码，大于等于门限值则为1，否则为0,并按照来LDP的顺序进行二进制编码， 最后取编码的十进制值作为中心像素最终的编码结果。在二进制编码时将原来LDP的8位 的二进制编码位缩减至4位，减少至原来的一半，降低了特征维度和后续识别的运算时间； 因为差值所代表的也是差值运算双方的性质，4位的差值编码值也包含了原始编码中8位 所包含的大部分信息，仅是去掉了两点之间的部分相似信息，尽可能保证其精度。相对于现 有LDP经