一种人脸表情识别方法
【技术领域】
[0001] 本发明涉及人机交互技术领域，特别是涉及一种人脸表情识别方法。
【背景技术】
[0002] 人脸表情识别，是采用机器和软件对人脸表情信息进行处理，提取其特征并进行 分类的过程。人脸的表情识别常常被用于人机交互领域。例如，面部表情识别可以提供家庭 服务机器人与人类的直接互动，然后机器人可以通过从人类识别到的信息来执行它们的行 动。
[0003] 目前的人脸表情识别研究中，主要使用的特征提取方法是经典的"局部Gabor二值 模式(LGBP)"，主要是用Gabor小波对图像做不同方向和尺度变换后的图片，再由LBP提取每 个像素点与周围像素点之间的关系，并对这种关系做成直方图。这种提取方式会得到很高 维数的特征，在后续处理上很花费时间。之后考虑对特征进行提取，在传统的人脸特征提取 模型中，往往只是考虑对所有类别的表情特征维度进行降维，而没有将不同类别表情的差 异性考虑到特征选取中。虽然在一定程度上起到了降维的作用，但最后的分类结果往往并 不理想。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种人脸表情识别方法，能够提高在人脸表情 识别的精度和速度。
[0005] 本发明解决其技术问题所采用的技术方案是:提供一种人脸表情识别方法，包括 以下步骤：
[0006] (1)对人脸图片进行预处理；
[0007] (2)对预处理完的人脸图片做基于uniform LGBP的特征提取，并建立图片特征的 显著性；
[0008] (3)使用遗传算法对图片特征进行第一次特征选取，得到优秀的种群；
[0009] (4)根据得到的优秀的种群作为每类表情特征的优秀种群的比较值，来建立类内 和类间的两个新的目标函数，目标就是最小化类内函数的值和最大化类间函数的值，并使 用Pareto优化算法来对其进行优化；
[0010] (5)进行脸部特征的分类，在选取完最优特征以后，采取随机森林的方法来对特征 进行分类。
[0011] 所述步骤(1)中的预处理包括人脸识别、噪声处理和人脸对齐。
[0012] 所述步骤(2)中基于uniform LGBP的特征提取具体为:首先对图片进行Gabor滤波 变换，其次对图片中的所有像素使用LBP算子提取直方图作为人脸的特征，即将中心像素值 作为阈值，相邻域内的像素值如果大于该阈值则为1，否则为〇,通过使用这种方法二值化以 后，会得到2 Q个二值模式，再次定义一个均匀模式，即得到的二值化后组成的描述子;如果 存在不超过两次从0到1或1到0的跳变则为均匀模式，否则为非均匀模式;最后通过这样的 定义，将原来的2Q个二值模式降低为Q2-Q+2。
[0013] 所述步骤(3)具体为:首先随机初始化种群，接着计算每个种群的准确度，根据准 确度分为四类，给出每一类计算种群的适应度函数;最后使用遗传算法来进行优化得到优 秀的种群。
[0014] 所述适应度函数为4
其中，α是 正确分类到其类别的比例，ε，是参数，ar。为脸部特征块的状态，m为脸部特征块的数 量。
[0015] 所述步骤（4 )中两个目标函数分别为：
和
，其中，
_/，Mi是通过遗传 算法从一类表情中得到的解，NW是解的个数，是通过遗传算法从不同类别中得到的解，Nb 是其对应解的个数，1则代表了不同种类表情的个数，Sk为种群。
[0016]有益效果
[0017] 由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效 果:本发明使用了比传统LGBP好的特征提取方法uniform LGBP来做特征提取降低了特征的 维数，改进了 GA的适应度评价函数，提出了新的Pareto优化算法的目标函数。本发明和传统 方法相比在人脸表情识别的精度和速度上都得到了提尚。
【附图说明】
[0018] 图1是本发明的流程图。
【具体实施方式】
[0019] 下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明 而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人 员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定 的范围。
[0020] 本发明的实施方式涉及一种人脸表情识别方法，如图1所示，包括以下步骤:对人 脸图片进行预处理;对预处理完的人脸图片做基于uniform LGBP的特征提取，并建立图片 特征的显著性;使用遗传算法对图片特征进行第一次特征选取，得到优秀的种群;根据得到 的优秀的种群作为每类表情特征的优秀种群的比较值，来建立类内和类间的两个新的目标 函数，目标就是最小化类内函数的值和最大化类间函数的值，并使用Pareto优化算法来对 其进行优化;进行脸部特征的分类，在选取完最优特征以后，采取随机森林的方法来对特征 进行分类。具体如下：
[0021]步骤1、给定一组人脸表情的图片，首先进行预处理，其中主要包含人脸识别，噪声 处理和人脸对齐。具体步骤如下：
[002.2] 步骤1.1.1、在人脸识别步骤中，使用了 Haar-like人脸识别。Haar-like特征通过 四种方式来表示人脸:边缘特征，线性特征，中心特征，对角特征。每种形式的特征都包含了 白色和黑色的方块，特征值为白色方块内的所有像素的和减去黑色方块内所有像素的和。 这样四种形式的特征组成一个标准的模板最终用来检测人脸。
[0023] 步骤1.1.2、使用双边滤波器做噪声处理。众说周知，高斯滤波器在每个采样时间 只考虑像素之间的空间距离而不考虑像素之间的相似程度。因此，高斯滤波器方法往往会 把所要处理的图片弄得一片模糊。不同的是，双边滤波器拥有两个参数，分别由像素的几何 距离和像素的区别来决定。因此，双边滤波器可以有效的保护图片的边缘性同时还能消除 图片的噪声。
[0024] 步骤1.1.3、因为CK+数据库(在实验中使用的这个数据库)包含了脸部的标记点， 不需要再追踪标记点来描述脸部形状。需要指出的是，在CK+数据库中，标记点的个数是68， 但是本发明只需要那些能够描述脸部边界的点。只保留脸部边界以内的像素值，除去背景 图片中那些不需要的信息，这样可以提高图片提取的精度。
[0025] 步骤2、在这个步骤中，Gabor滤波方法首先被用到图片上来表示脸部图片。然后， 在图片纹理表达方法的选取上，考虑使用uniform LGBP来代替传统的LGBP。最后根据得到 的uniform LGBP，生成脸部显著特征。下面将详细的给出uniform LGBP方法以及基于 uniform LGBP生成脸部显著特征的过程。
[0026]与LBP相同，通过下面的公式对图片中的每个像素设置一个标签
[0027] H (xp,yp) = I(f (xp,yp) > f(xc,yc)) (1)
[0028] 其中f(xc,yc)是在中心点（xc,yc)的像素值，f(x P，yP)(p = 0，l, . . . ,Q_1)是中心点 (U。)所在位置的周边点的像素值，1(A)为1当A中的值为真时，1(A)为0当A中的值为非真。 现在考虑的形状不再是传统的方形而是换成圆形来考虑。通过以上的步骤的实现，得到2 Q 个二值模式。接下来，定义那些存在不超过两次从〇到1或1到〇的跳变的二值模式为均匀模 式，否则为非均匀模式。根据提出的方法将原来的二值模式的个数降低到Q 2_Q+2。
[0029] 步骤3、基于uniform LGBP建立脸部显著特征。对于一个给定的ηΧη像素的图片， 首先将它分成mXm个脸部特征块。每个脸部特征块实际上也是一个1X1像素的图片 一)。然后对这个1X1的图片做uniform LGBP特征提取方法。为了能够挑选出显著的脸 m 部特征，需要设置一个阈值〇. 2q，其中q是uni form LGBP中的最大强度值。随后，在1 X 1图片 中的每个像素点的最大强度值和这个阈值进行比较。假如这个像素点的强度值大于或等于 这个阈值，那么相应的像素点就被认为是显著的。对于每一个脸部特征块，如果存在有四个 或四个以上被认为是显著的点，则这个脸部特征块就被定义为1，否则定义为〇。
[0030]步骤4、定义初始种群:令为脸部特征块的状态。当脸部特征块为显著时设置 为1，否则为〇。把所有的脸部特征a^t夬组成矩阵Sk，矩阵如下：
[0031 ]
(2)
[0032]其中Sk是一个特定表情种群中的最优特征其中一个可能解，N则是种群的个数。
[0033] 步骤5、计算参数α:令同类表情训练样本集中一个训练图片为D，然后得到这个训 练图片D的脸部特征矩阵，设为该矩阵为Id。当满足以下规则时，这个训练图片D属于这个表 情类：
[0034]
⑶
[0035]其中Ω是一个阈值设为0.8,这表明需要和选取的特征有80%的相似度才能表明 其是属于这个表情类。
[0036] 步骤6、上述步骤里定义完了所需要的参数，接下来使用GA来搜索最优特征的解。 因为脸部对齐步骤中已经移去了不需要的外部背景，所以在初始的矩阵S k中，边界元素 aiJ = amj = 0( j = l，2,. . .，m)，aii = aim=0(i = l，2,. . .，m)其他元素则随机的选取。对于非替代 解Nr，它的初始解同样也是从这些候选解中随机选取。初始化结束以后，解Sk根据以下的适 应度函数进行进化：
[0037]
[0038] 其中α是正确分类到其类别的比例且￡，奋01，仍是参数。适应度值？(51{)主要取决于 参数α和特征个数，通常越小的适应度值对应越好的解。当α = 0时，通常解是非常不可行的， 为了避免再次出现α = 0这种结果，设置ε =0.0001使F(Sk)尽可能大。当α = 100时，这个解非 常可行，因此为了防止无关的特征进入解，设置$?为0.005。因此，所选择到的特征的数量既 可以保证种群的优势又可以减少特征维数。当90S α<100,更多的特征会因为这个高的α值 以及常数?进入解集。为了不让值F(Sk)在90 < α < 1 〇〇时比在a = 1 〇〇小，加上一个阈值常数 Pi并且设其为1。当0<α<90时，F(Sk)的值需要比在90<α<100时小，令ρ2 = 2。
[0039] 通过上式定义了适应度评价函数，基于GA的特征选取算法总结如算法1所示。
[0040] 算法1:基于GA的特征选取算法
[0041] 输入：
[0042] 适应度评价函数，F( ·)
[0043] 最大迭代次数，G [0044]假设种群数，η
[0045] 每一步中通过交叉取代群体成员的比例，r
[0046] 变异率，m%
[0047] 新的种群，Nr
[0048] 输出：
[0049] 种群 P
[0050] 开始
[0051] 步骤 1:生成随机的种群PUhS% . . .，Sk)(k = l，2,. . .，n);
[0052] 步骤2:评估每个种群，计算F(Sk)(k=l，2, . . .，n);
[0053] 步骤3:选择:用概率方法从种群P中选择(1-r) · η个成员加入到Nr; γ· .
[0