一种基于特征提取的人脸表情识别方法

本发明涉及数字图像处理技术领域，具体为表情识别过程中采用的高效率、低复杂度、鲁棒性好、鉴别能力强的特征提取技术。

背景技术：

目前，对于人工智能的研究已经达到了较高的水平，而对人类情感和认知的研究相对较少。现实生活中，人们都期望计算机可以像人类一样服务于社会，在人机交互时更加的智能化，而仅具备视觉和听觉这些感知能力是远远不够的，还需加入情感理解和情感识别功能。而人脸所反映出的视觉信息是人类情感表达和交互最直接最重要的载体，研究者可通过面部表情的变化揣测出表达者内心真实的想法。所以，表情识别对情感的研究非常重要。

由于人类情感和人脸表情的复杂性以及目前一些领域对表情识别准确度的要求越来越高，经典的局部二值模式(localbinarypattern，lbp)特征提取算法在提取纹理特征以及实现时间方面都有了很大的改善。

经典的lbp算法中，在3×3大小的窗口范围内，以中心像素值作为阈值，对邻域内8个像素点进行二值化处理。通过比较中心像素gc与邻近像素gi灰度值的大小关系来进行编码，其结果为八位的二进制数，若gi≥gc，则为1，反之为0。然后从左上角开始顺时针将邻域8个采样点的二进制码连接起来，组成中心像素的lbp二进制码序列。最后通过给每个二进制数分配一个二项式系数2ⁿ加权求和就得到了中心像素的lbp十进制码。lbp具有灰度不变性，旋转不变性，具有强大的抗干扰性和纹理判别能力，计算简单，对光照有一定的抑制作用。lbp的计算过程只是针对中心像素与邻域像素进行比较，没有考虑邻域像素间的灰度关系，不能对非局部信息进行提取。

针对这一问题，业界提出局部梯度二值模式(localgradientbinarypattern，lgbp)解决方案。lgbp从水平、垂直、对角线方向上计算局部像素间的关系，分别比较水平、垂直、对角线方向上边缘处两个像素值来进行编码，若比较结果大于等于0，则赋值为1，否则为0。将结果从左上角开始顺时针分别填入邻域8个采样点，最后将8个采样点的二进制码连接起来组成lgbp的二进制序列。将比较结果分别能准确表达出图像中各个表情区域的变化情况。最后通过给每个二进制数分配一个二项式系数2ⁿ加权求和就得到了lgbp十进制码。lgbp具有比lbp更强的鉴别能力，但该算子易受到噪声的影响，且邻域大小固定，不能在大尺度下很好的提取纹理特征。

技术实现要素：

有鉴于此，本发明旨在提出基于改进的lgbp即非对称局部梯度二值模式(asymmetricregionlocalgradientbinarypattern，ar-lgbp)的人脸表情识别方案，既考虑到邻域间的像素关系，能增加特征描述能力，又具有扩展性，可以在不同尺度下提取特征。

为了实现上述目的，本发明采用的技术方案是一种基于特征提取的人脸表情识别方法，包括以下步骤：

步骤一，将人脸表情图像分成若干子区域。

步骤二，采用非对称局部梯度二值模式计算子区域中各像素点的像素值，得到子区域像素值的直方图。

步骤三，连接各子区域的直方图生成人脸表情特征向量。

步骤四，通过主成分分析(pca)算法对步骤三的特征向量降维，再结合支持向量机(svm)分类器进行人脸表情分类识别。

在上述方案的基础上，利用数字电路中的逻辑运算接着对该方案中步骤二进行优化。

在数字电路中，当二进制数a和b相同时输出为0，不同时输出为1。该方案优化后的思想为：对同一像素点，根据ar-lgbp算子，采用两个不同大小的邻域得到两个序列pa和pb，将两个序列按位进行逻辑异或运算，得到一个新的序列p，将新的序列转换为8位二进制数，该值作为该像素点的纹理特征值，按照此方法计算到每个子区域中每一个像素点，最后得到子区域的直方图，最后再继续步骤三步骤四来完成最终的一个识别。新的方案为异或非对称局部梯度二值模式(xorasymmetricregionlocalgradientbinarypattern，xor-ar-lgbp)。

本发明采用以上的技术方案带来的又以技术效果如下：(1)与lgbp方案相比，ar-lgbp方案子邻域大小可根据m、n变化，具有扩展性，可以在任意尺度下提取图像的特征，能够提取到任意尺度下的特征优点以便于最后有更好的识别效果；并且二进制序列的位数是恒定的，并不会随着算子邻域的大小变化而变化，所以，该算子的特征维数是恒定的，并不会因为算法复杂度的增加而出现“维数灾难”现象。

(2)继承了ar-lgbp方案的优点，xor-ar-lgbp方案结合了数字电路中的异或逻辑运算，能反映出水平、垂直、对角线三个方向上不同尺度的子邻域间强度变化关系，能更好地提取图像的纹理特征，具有更好的鉴别能力。

附图说明

图1为本发明中ar-lgbp的3×3邻域灰度示意图；

图2为本发明中处理后的ar-lgbp的3×3邻域灰度示意图；

图3为本发明中xor-ar-lgbp编码示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。

本发明的设计思路是提供一种能在多尺度下提取表情特征并且能综合考虑到邻域间像素关系的方法。图1是ar-lgbp的3×3邻域灰度示意图。ar-lgbp算子邻域大小为(2m+1)×(2n+1)，其中，w表示图像宽度，h表示图像高度，m用来确定任意子邻域的宽度，n用来确定任意子邻域的高度，符号表示向下取整。该算子将邻域分成9个子邻域，记为ri。这些邻域可以分为四个大小为m×n的子邻域r1，r3，r5，r7，2个大小为m×1的子邻域r4，r8，2个大小为1×n的子邻域r2，r6，1个大小为1×1的子邻域r9，r9为中心像素点。

为了计算方便，对ar-lgbp进行处理，如图2所示，设每个子邻域的像素值为其大小等于该子邻域内所有像素点的均值，可以用公式表示，其中，ni表示第i个子邻域所有像素点的个数。pij表示第i个子邻域第j个像素点的像素值。其二进制序列可表示为：p0,p1…p7,其中，p0：p1：p2:p3：p4：p5：p6：p7：此处的s函数为二值函数，ar-lgbp编码公式如下：pi表示二进制序列中第i位的值，x，y分别表示像素点的横坐标和纵坐标。

进一步地，将数字电路中的异或运算与ar-lgbp算法结合。在数字电路中，当二进制数a和b相同时输出为0，不同时输出为1。该方案优化后的思想为：对同一像素点，根据ar-lgbp算子，采用两个不同大小的邻域得到两个序列pa和pb，将两个序列按位进行逻辑异或运算，得到一个新的序列p，将新的序列转换为8位二进制数，该值作为该像素点的纹理特征值，可表示为：其中pai和pbi分别为序列pa和pb的第i位，表示逻辑异或操作，l表示序列的长度，此处l＝8。如图3所示为xor-ar-lgbp编码过程，以两个邻域大小为5×5和3×3为例。对同一像素点来说，邻域间存在强度变化，如中心像素点3×3子邻域r8像素值大于r4，即其ar-lgbp描述子的编码为pa:(01010001)2＝81。中心像素点r9的5×5子邻域r8像素值小于r4，即其ar-lgbp描述子的编码为pb:(00010001)2＝17，pa与pb按位进行逻辑异或运算得到xor-ar-lgbp的编码为

最后，通过主成分分析(pca)算法对生成的特征向量降维，再结合支持向量机(svm)分类器进行人脸表情分类识别。主成分分析算法和支持向量机分类器均可以采用现有技术中的方法实现。