一种人脸表情的识别方法
【技术领域】
[0001] 本发明的技术方案涉及用于识别图形的方法，具体地说是一种人脸表情的识别方 法。
【背景技术】
[0002] 人脸表情识别是计算机视觉领域一个富有挑战性的研究课题，在心理学、人机交 互研究等方面具有重要意义。近年来，人脸表情识别技术发展迅速，主流的方法有Gabor滤 波法、主动形状模型ASM(ActiveShapeModels)、主成分分析PCA(PrincipalComponent Analysis)和纹理特征法。Gabor小波可以从不同尺度和不同方向上提取人脸表情的纹理 特征，但是其计算过程产生的高维数有可能导致计算机内存的耗尽，并且计算过程相当耗 时。ASM算法能直观地反应表情的变化，但是模型的构建相当复杂，在一定程度上影响了算 法的自动化程度。PCA算法可以提取表情图像的全局纹理特征，但是它很难避免处理数据 时产生的协方差矩阵维数过高问题。二元主成分分析2DPCA是PCA的拓展算法，在一定程 度上解决了上述问题，但是它是在水平方向上提取图像的特征，而忽略了垂直方向上的特 点。局部二值模式LBP算子最早是由Ojala等人提出的，它能够有效地描绘图像局部纹理信 息，LBP及其扩展特征被应用于人脸表情检测，有突出的表现，其缺点是当光照变化剧烈时， LBP的可靠性会下降。针对LBP的局限性，付晓峰等人将中心化二值模式（CBP)应用到表情 识别，CBP特点是采用"对角原则"，即计算对角元素的灰度值，将中心点像素加入到传统的 LBP算子中去，且赋予中心点像素最高权值。但是，CBP与LBP同样存在是只利用周边像素 亮度变化信息，而没有考虑人脸表情的区域性的局部信息，导致表情的识别率不高的缺陷。
[0003] 总之，现有的人脸表情识别方法存在因识别背景复杂导致的纹理描述不精细，识 别率不高的缺陷。
【发明内容】
[0004] 本发明所要解决的技术问题是：提供一种人脸表情的识别方法，是一种使用中心 对称三值模式（CenterSymmetricalTernaryPatterns，以下简称CSTP)算法提取表情纹 理特征的人脸表情的识别方法，克服了现有技术识别背景复杂导致的纹理描述不精细，识 别率不高的缺陷。
[0005] 本发明解决该技术问题所采用的技术方案是：一种人脸表情的识别方法，是一种 使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法，具体步骤如下：
[0006] 第一步，人脸表情图像预处理：
[0007] 采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像，并在原 数据库上应用如下的公式（1)进行高斯滤波处理，由此完成人脸表情图像预处理，
[0009]其中（X，y)是像素点坐标，〇是方差；
[0010] 第二步，提取每一人脸表情图像的子块上的人脸表情纹理特征：
[0011] 对第一步预处理完成的人脸表情图像进行分块，将其分成5X5个非重叠的子块， 利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征，步骤如下；
[0012] (1)计算在（P，R)邻域内关于中心像素对称的像素对差Agi:
[0013] Agi=g「gi+p/2,i= 〇, 1，…，P/2-1 (2)，
[0014] 其中，g是像素，P是周围邻域个数，R是半径，R= 2 ;
[0015] (2)统计该（P，R)邻域的像素对差的均值$ :
[0020] 其中，t为阈值参数，是经验值，tG(〇,I)，t随光照的变化而调整；
[0021] (4)提取每一像素的CSTP人脸表情纹理特征：
[0024] CSTP的编码过程是，从左上角顺时针起，当周围像素点的灰度值gl与以中心像素 为对称的g1+P/2的差值Agi大于U，则该位编码为1，当Agi小于L，则该位编码为-1 ;把编 码中的所有" -1"清为" 〇 "，称为正模式，把编码中的" 1"清为" 〇 "，然后把" -1"置为" 1"，称 为负模式，在完成正、负两个模式的编码后对正负模式进行相应的"或"运算，每个子块内的 每一像素都进行CSTP的特征提取，即提取每一像素的CSTP人脸表情纹理特征，统计每个子 块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征；
[0025] 第三步，确定人脸表情图像最终的人脸表情纹理特征：
[0026] (1)计算第二步中的每一人脸表情图像子块的信息熵Ej:
[0028] 其中，C表示第j个子块第i级像素出现的概率，m代表级数，取256 ;
[0029] (2)计算每一人脸表情图像子块的权值Wj:
[0031] 其中，n为每一人脸表情图像子块个数；
[0032] (3)计算每一人脸表情图像各个子块加权后的直方图向量供5
[0033]
[0034] 其中H,是利用第二步提取的每一人脸表情图像第j个子块的直方图；
[0035]串联每一人脸表情图像各个子块加权后的直方图向量P作为最终的人脸表情纹 理特征；
[0036] 第四步，完成人脸表情的识别：
[0037] 采用SVM Kernel Methods工具箱训练SVM分类器，具体流程如下：
[0038] (1)输入训练样本和测试样本提取到的人脸表情纹理特征，该人脸表情纹理特征 是经过上面的第二步和第三步后所得，根据这些人脸表情纹理特征样本构造出训练样本人 脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本 矩阵，类别样本矩阵中的值为样本的分类类别；
[0039] (2)针对局部人脸表情纹理特征采用高斯核函数，核数设为8,拉格朗日因子c= 100,二次最优方法的调节参数A= 10 7,首先将训练样本人脸表情纹理特征矩阵和训练类 别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置，再将训练 样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练， 最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中 进行预测，由此完成人脸表情的识别，在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、 伤心和惊讶7种表情，而CMU-AMP库中实验得到生气、高兴和惊讶3种表情，由此完成人脸 表情的识别。
[0040] 上述人脸表情识别方法，所述的SVM分类器是公知的。
[0041] 本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步 如下：
[0042] (1)本发明方法摆脱了对中心像素的依赖性，克服了现有技术识别背景复杂导致 的纹理描述不精细，识别性能低的缺陷，对局部纹理描述的更加精细，"或"运算增强了表情 的重要信息，使得整个人脸表情纹理特征空间样本的表征和分类性能得到进一步增强和提 尚；
[0043](2)本发明方法通过计算每个子块的信息熵构造各个子块自适应加权后的特征向 量，将自适应加权后的各个子块特征向量串连起来作为人脸表情图像最终的人脸表情纹理 特征，融合了局部特征和全局特征，提高了表情识别的性能。
【附图说明】
[0044] 下面结合附图和实施例对本发明进一步说明。
[0045] 图1是本发明方法的流程示意框图。
[0046] 图2 (a)是人脸表情预处理后JAFFE库中的人脸表情图像。
[0047] 图2 (b)是人脸表情预处理后CMU-AMP库中的人脸表情图像。
[0048] 图3 (a)是CSTP三值化示意图。
[0049] 图3 (b)是CSTP"或"运算示意图。
[0050] 图4(a)是本发明方法中JAFFE库中CSTP取不同t值下的识别率示意图。
[0051] 图4(b)是本发明方法中CMU-AMP库中CSTP取不同t值下的识别率示意图。
【具体实施方式】
[0052] 图1所示实施例表明，本发明人脸表情的识别方法的流程是：人脸表情图像预处 理一提取每一人脸表情图像的子块上的人脸表情纹理特征一确定人脸表情图像最终的人 脸表情纹理特征一完成人脸表情的识别。
[0053] 更详细地说，上述提取每一人脸表情图像的子块上的纹理特征中包括：计算在 (P，R)邻域内关于中心像素对称的像素对差Agl-统计该（P，R)邻域的像素对差的均值 41-设定上限值U和下限值L-提取每一像素的CSTP纹理特征；上述确定人脸表情图像 最终的纹理特征中包括：计算上一步中的每一人脸表情图像子块的信息熵E,-计算每一人 脸表情图像子块的权值Wj^计算每一人脸表情图像各个子块加权后的直方图向量识。
[0054] 图2是本发明方法中的人脸表情图像预处理后的示意图，其中：图2(a)所示实施 例显示在本发明方法中人脸表情预处理后JAFFE库中的人脸表情图像，分别是生气、厌恶、 害怕、高兴、中性、伤心和惊讶7种表情。图2(b)所示实施例显示在本发明方法中人脸表情 预处理后的CMU-AMP库中的人脸表情图像，分别是惊讶、生气和高兴3种表情。
[0055] 图3所示实施例说明在本发明方法中子块内每一像素进行CSTP纹理特征提取定 义如下：
[0058] 图3(a)是CSTP三值化示意图，其中从左至右，该图第一个图像子块中有九个小 方块，每个小方块里的数值代表了每个像素的灰度值，第一个图像子块中相同样式圆圈 内的两个像素代表一个像素对，共4个像素对，分别为（251，178)、（135, 90)、（53, 23)和 (246, 198)。从左上角顺时针方向计算该邻域内关于中心像素对称的像素对差Agi，其数值 如该图第二个图像子块中含有数值的四个小方块所示，从左上角顺时针方向看分别是73、 45、30、48 ;接着统计第二个图像子块中含有数值的四个小方块的像素对差的均值，利 用和阈值t求出上限值U和下限值L，最后根据公式（12)判断3种模式（_1、0、1)，其结 果如该图第三个图像子块中含有数值的4个小方块所示为1、0、_1、0。
[0059] 图3(b)是CSTP或运算示意图，直观上将图3(a)第三个图像子块中含有数值的4 个小方块按顺时针变成一个列向量形式，拆分成正、负两个模式分别进行加权；上面一行列 向量编码中的-1部分由〇代替，定义为正模式，二进制编码为1000,加权转变成十进制为 8 ;下面一行列向量编码中的1部分由0代替，-1取绝对值，定义为负模式，二进制编码为 0010,加权转变成十进制为2 ;最后进行"或"运算，二进制编码为1010,加权转变成十进制 为10 或"运算增强表情信息，防止其在特征提取过程中一些重要信息的丢失。
[0060] 图4 (a)所示实施例显示JAFFE数据库中的CSTP中阈值t与人脸表情平均识别率 的关系，该图显示了JAFFE数据库中不同的CSTP中阈值t取值与人脸表情的平均识别率的 对应关系，当JAFFE数据库中的CSTP中阈值t取0. 5和0. 7时，效果最好，