一种基于elm的人脸表情识别方法
【专利摘要】本发明公开了一种基于ELM的人脸表情识别方法，对人脸表情图像的处理得到人脸区域，再对含有表情特征的表情区域进行图像分割，得到眼睛、鼻子、嘴唇的表情区域，再用Gabor滤波器对其进行表情特征提取得到每种表情的总特征向量，利用得到的表情特征向量训练ELM模型，将每种表情的ELM模型组合成ELM表情分类器，最后测试ELM分类器达到表情分类识别的目的。本发明在不受光照影响的情况下提高了表情识别率。
【专利说明】-种基于ELM的人脸表情识别方法
【技术领域】
[0001] 本发明涉及人脸表情识别领域，特别是一种基于ELM的人脸表情识别方法。
【背景技术】
[0002] 人脸表情识别是人机交互研究中的重要研究方向，涉及到图像处理与分析、人工 智能、模式识别、计算机视觉、计算机图形学等多种学科。对人机交互的研究也是对这些学 科以及相关领域的促进。在多模式人机交互界面中，表情与视线、体态、声音等结合起来可 以获得更高效的人机交流。
[0003] 对表情识别进行深入研究可以使机器人更好地理解人类的感情和心理，在与人的 交互环境中，变得更人性化，更智能，从而更有利于服务人类，并且人脸表情识别在很多其 他的领域中存在着潜在的使用价值，例如人机交互、远程教育、安全领域、智能机器人研制、 医疗、合成面部动画、视频检索、虚拟现实技术等。通过分析和识别人脸的表情，能够有助于 更好的认知人的心理状态。语言有时候并不能完全真实传达人的想法，但表情却能够在一 定程度上体现出人的内心感受。因此人脸表情识别将在未来获得更为深入的研究和更广阔 的应用。如果计算机也能够像人类那样具有理解和表达情感的能力，自主适应环境，将从根 本上改变人与计算机之间的关系，使计算机更好地为人类服务。这也正是研究人脸表情识 别并赋予计算机具有情感理解和情感表达课题的重要意义。
[0004] 发明专利"一种人脸表情的识别方法及系统"的步骤是：步骤1 :获取人脸表情样 本图像；步骤2 :人脸表情样本图像处理以及特征提取获得特征序列；步骤3 :将提取的表 情序列特征作为观测序列，然后对表情样本进行训练，为各种表情建立相应的隐马尔科夫 模型；步骤4 :组合各种表情的隐马尔科夫模型，形成人脸表情分类器；其中，步骤2 (人脸 表情样本图像处理以及特征提取获得特征序列）的具体实施过程是：首先对表情图像样 本进行二值化和灰度化，然后采用光流法对样本进行表情特征提取，获得特征序列。步骤 4 (组合各种表情的隐马尔科夫模型，形成人脸表情分类器）。通过这方表情识别方式能够 得到相应的二值图和灰度图，基本的表情识别都会经过对表情图像进行处理，得到二值图 和灰度图才能进一步的进行表情特征提取。
[0005]方法存在不足：
[0006] 现有的方法无论从实用性、可靠性和精度来说，都存在着不足。
[0007] 表情识别离不开特征提取，迄今对表情特征提取已进行了许多研究，并提出了很 多相关算法。前期算法多数针对的是静态表情图像，是从单帧图像中提取出表情特征作为 表情识别的依据，如几何特征提取法、Gabor滤波法、局部二元模式（LBP)、活动外观模型 (AAM)、自相关特征法和矩特征法等。但是由于表情的变化过程是一个从开始到发展然后消 退的动态过程，根据单帧图像识别表情很难获得较高的识别率。提取表情序列特征的方法， 常见的有特征点跟踪法、模型跟踪法和光流特征法等。特征点跟踪法和模型跟踪法分别是 通过跟踪预先确定的特征点或模型获得序列的表情特征参数，均需要手工干预，很难自动 实现。光流特征法则是根据序列的光流变化分析表情，缺点在于对光照变化非常敏感。
[0008] 现有的表情分类的方法主要有隐马尔科夫模型（HMM)、神经网络、Adaboost、支持 向量机（SVM)，但这些方法在表情训练分类中也存在着训练速度慢，泛化性能低，调节参数 多的问题。
【发明内容】
[0009] 本发明所要解决的技术问题是，针对现有技术不足，提供一种基于ELM的人脸表 情识别方法，在不受光照影响的情况下提高表情识别率。
[0010] 为解决上述技术问题，本发明所采用的技术方案是：一种基于ELM的人脸表情识 别方法，包括以下步骤：
[0011] 1)对彩色表情图像进行预处理，得到预处理后的表情图像；
[0012] 2)采用Adaboost分类器对预处理后的表情图像进行人脸检测，得到人脸区域，并 对人脸区域中含有表情信息的区域进行分割；
[0013] 3)对上述步骤2)处理后的人脸表情图像I，用Gabor滤波器对人脸表情图像I进 行特征提取，得到人脸表情图像I的总特征（F1,F2, ...，Fk};其中，k为人脸表情图像I的总 像素；
[0014]4)利用2DPCA对1)上述总特征的，F2,. . .，FJ进行降维，得到降维后的表情特征 F'(厂I，厂"
[0015] 5)将.F作为ELM单隐层前馈神经网络的输入，对F进行训练，得到每一种表情的 ELM训练模型，将所有表情的ELM训练模型组合成ELM表情分类器；
[0016] 6)对待测试的表情图像，进行步骤1)?步骤4)的处理后，利用所述步骤5)的ELM 表情分类器进行测试，识别该表情图像的表情。
[0017] 与现有技术相比，本发明所具有的有益效果为：本发明通过对一幅表情图像进行 处理，定位人脸，实现表情区域的分割，采用图像分割技术得到表情区域的具体表情信息， 并且可以省略不必要的数据信息，降低了处理数据处理难度；采用ELM进行表情识别，使 得表情训练调整的参数少、训练时间短、功耗低，在不受光照影响的情况下提高了表情识别 率。
【专利附图】
【附图说明】
[0018] 图1为本发明一实施例方法流程图；
[0019] 图2为本发明一实施例人脸分割流程图；
[0020] 图3为本发明一实施例ELM单隐层前馈神经网络；
[0021] 图4为本发明一实施例ELM模型建立流程图。
【具体实施方式】
[0022] 如图1所示，本发明总体流程如下：首先是表情图像预处理，人脸检测和表情特征 区域获取；其次对获得的表情区域采用Gabor滤波器进行表情特征提取，再次对提取的表 情特征向量用2DPCA进行降维；最后对降维后的表情特征用ELM训练分类器进行训练，得到 表情分类器最终达到表情识别。
[0023]本发明具体步骤如下：
[0024]St印1:表情图像预处理。输入一张彩色表情图像，首先进行光照补偿，然后对图 像进行灰度化处理转化为灰度图像，最后对此图像进行二值化。
[0025] 1)光照补偿：光照补偿是针对输入的彩色表情图像来说的。对输入图片进行光照 补偿：即计算某范围的像素灰度总值T，0<T< 255,再设定一个阈值
【权利要求】
1. 一种基于ELM的人脸表情识别方法，其特征在于，包括以下步骤： A、 获取ELM表情分类器： 1) 对彩色表情图像进行预处理，得到预处理后的表情图像； 2) 采用Adaboost分类器对预处理后的表情图像进行人脸检测，得到人脸区域，并对人 脸区域中含有表情信息的区域进行分割； 3) 对上述步骤2)处理后的人脸表情图像I，用Gabor滤波器对人脸表情图像I进行特 征提取，得到人脸表情图像I的总特征（F1J2,...，Fk};其中，k为人脸表情图像I的总像 素； 4) 利用2DPCA对上述总特征（F11F2,...，Fk}进行降维，得到降维后的表情特征 5) 将歹作为ELM神经网络的输入，对F进行训练，得到每一种表情的ELM训练模型，将 所有表情的ELM训练模型组合成ELM表情分类器； B、 利用所述ELM表情分类器进行表情识别：对待测试的表情图像，进行步骤1)?步骤 4)的处理后，利用所述步骤5)的ELM表情分类器对所述待测试的表情图像降维后的表情特 征进行测试，识别该表情图像的表情。
2. 根据权利要求1所述的基于ELM的人脸表情识别方法，其特征在于，所述步骤1)中， 对彩色表情图像进行预处理的具体过程如下：对彩色表情图像进行光照补偿，得到均衡的 光强表情图片，对所述光强表情图片进行直方图均衡化。
3. 根据权利要求2所述的基于ELM的人脸表情识别方法，其特征在于，所述步骤2)中， 人脸检测和分割的具体过程如下： 1) 采用Adaboost分类器对直方图均衡化后的预处理图像进行人脸检测，并切割出人 脸部分； 2) 判断表情预处理图像是否倾斜，若倾斜，则进入步骤3);否则，进入步骤）； 3) 计算两眼瞳孔位置，然后判断两眼瞳孔是否在同一条水平线上，如果不在同一条水 平线上，则根据两眼瞳孔斜度确定要旋转的方向和角度； 4) 旋转摆正预处理图像后，将人脸部分统一剪裁为MXN大小的区域，所述区域的定位 是以双眼为出发点，向四周扩展到MXN大小；剪裁后，形成MXN的规整人脸表情图片； 5) 对人脸表情图片表情区域进行尺寸归一化，灰度均衡化。
【文档编号】G06K9/66GK104318221SQ201410616659
【公开日】2015年1月28日 申请日期:2014年11月5日 优先权日:2014年11月5日
【发明者】刘振焘, 谭冠政, 眭贵田, 李凯, 王晶, 汤晅恒 申请人:中南大学