专利名称：一种基于半监督学习的多姿态人脸表情识别方法
技术领域：
本发明涉及一种基于半监督学习的多姿态条件下的人脸表情识别方法。
背景技术：
人脸表情识别是人机交互与情感计算研究的重要组成部分。在表情识别中，标记图像的数量是非常重要的。因为表情模型的期望误差的可靠性依赖于图像样本集合的大小，大样本才能更好地反映样本的真实分布，从而获得好的推广误差。但是表情图像的标记过程不但耗时耗力，而且极易标记错误。针对这一问题，半监督学习(Sem1-SupervisedLearning)算法将大量特征分布相同的未标记样本作为辅助样本参与训练，不但能够回避标记问题给表情识别带来的困扰，而且提高了分类模型的可靠度。2004年，美国惠普实验室的Cohen等人运用贝叶斯网络首次实现了半监督学习在人脸表情识别的应用。2010年，德国乌尔姆大学的Hady等人结合Tr1-Class SVMs算法和协同训练方法，提出了解决人脸表情识别工作的框架。2011年，英国曼彻斯特大学的Wang等人提出了满足平滑假设、聚类假设和流形假设条件的半监督学习算法，并实现了人脸表情识别。半监督学习假设未标记样本与标记样本具有相同的特征分布。传统的半监督人脸表情识别算法处理的都是人脸正面图像，客观上满足了假设条件。但是在实际生活中，人脸不可能一直处于正面姿态，头部偏转情况经常发生。这种姿态变化引起了人脸部位的拉伸和压缩，造成了部分人脸区域的遮挡，破环了表情的完整性。如果参与训练的未标记样本和原样本中的人脸姿态发生了变化，即使二者的表情相同，特征分布也有所不同。在这种情况下，现有的半监督学习算法可能无法有效地运用未标记样本的信息，构造出可靠的分类模型。因此多姿态条件下的半监督人脸表情识别迫切需要新的理论方法来摆脱现有的困境。针对多姿态样本识别问题，现有算法多关注监督学习问题，通过特征提取算法的改进，提高样本识别的效果。例如:2011年华侨大学的Li等人采用了张量脸结合流形学习的方法解决多姿态条件下的人脸识别问题。2012年香港理工大学的Wang等人提出了基于正交鉴别向量的算法来克 服人脸姿态变化对识别造成的干扰。中国科学院计算技术研究所的Li等人认为基于子空间的人脸表征是一个回归问题，因此采用了岭回归和线性回归的方法处理人脸的姿态变化问题。国立台湾大学的Lee等人使用嵌入式马尔科夫模型方法处理人脸不同姿态，获得了比传统的基于构件的分类器更好的识别率。但是在半监督学习方面，还缺乏一种有效的多姿态表情识别算法。针对研究现状，迁移学习(Transfer Learning)为我们提供了可借鉴的思路，该类方法是依靠知识迁移的方式解决特征分布不同的问题。其中Dai等人提出的迁移学习自适应提升 Transfer Learning Adaptive Boosting 算法(简称 TrAdaBoost 算法)就是迁移学习中一种具有代表性的算法。一方面，TrAdaBoost算法借鉴了 AdaBoost的优点,通过将多个基本分类器学习的结果以某种方式集成，来提高分类的准确度。另一方面，TrAdaBoost算法采用了知识迁移方法，按照特征分布是否一致，将训练样本分为:“与测试样本特征分布一致的样本集合”，以及“与测试样本特征分布不一致的样本集合”两部分。前者仍采用AdaBoost算法进行分类。后者通过基本分类器，判断样本是否得到正确分类。其中分类错误的样本被认为是不利于分类的部分，于是采用权重调整机制，过滤掉不利于分类的部分，提高分类模型的可靠度。最终解决了样本分类中存在的特征分布不一致的问题。
发明内容
本发明的目的在于，针对半监督学习算法缺乏对多姿态表情识别进行研究的现状，以及多姿态条件下，表情特征分布不一致造成的识别率下降、算法鲁棒性差的问题。提出了一种新的基于半监督学习的多姿态人脸表情识别算法，以实现较高的识别率和鲁棒性。本发明是在计算机中按以下步骤仿真实现的:步骤(I )，采集样本分别采集η个人的η张正面表情图像和η张侧面表情图像，所有表情图像及每张图像对应的样本标记构成实验样本,所述的样本标记指每个图像对应的表情类别,令η个
正面图像和m个侧面图像构成训练集X，w < f，余下的n-m个侧面图像组成测试集S，其中
训练集X中的部分图像有样本标记，样本标记用符号c表示，测试集S中的所有图像均有样本标记，且样本标记用符号I表示，不过测试集的样本标记，只在最后验证算法对测试集样本分类结果是否正确时使用；步骤(2)，样本预处理处理对象是X和S内的所有图像，分为两步:步骤(2.1)，采用人工切分的方法，获`取图像的人脸部分；步骤(2.2)，采用直方图均衡化方法降低光照因素对图像的干扰；预处理后的图像进行尺度归一化处理；步骤(3)，特征提取采用线性判别分析Linear Discriminant Analysis算法(简称LDA算法)对预处理后的X进行计算，得到一个投影矩阵。将投影矩阵与X中每一个图像矩阵相乘，得到X的表情特征，同样，采用LDA算法对预处理后的S进行计算，得到一个投影矩阵，将该投影矩阵与S中每一个图像矩阵相乘，得到S的表情特征；特征提取后，训练集X和测试集S的每个样本都被其自身的表情特征所替代，为了便于描述，训练集和测试集的符号不变，仍为X和
S,并将X和S中的个体即每个图像的表情特征称为样本；步骤(4)，样本分类输入:由侧面样本组成的测试集S，训练集X中前η个正面样本的集合Xd，后m个侧面样本的集合xs，训练集X中已标记样本的标记、以及测试集S中所有样本的标记；一个基本分类器Learner和算法最大循环次数N ；输出:测试集S的人脸表情识别结果；步骤(4)的具体内容如下:步骤(4.1)初始化步骤(4.1.1)设X的样本权重向量=( ...，<+ ),其中权重上标I表示算法的第I次循环，下标表示权重对应的训练样本，具体大小如下:
权利要求
1.一种基于半监督学习的多姿态人脸表情识别方法，包括以下步骤: 步骤(1)，采集样本 分别采集n个人的η张正面表情图像和η张侧面表情图像，所有表情图像及每张图像对应的样本标记构成实验样本，所述的样本标记指每个图像对应的表情类别，令n个正面图像和m个侧面图像构成训练集X，
2.根据权利要求1所述的一种基于半监督学习的多姿态人脸表情识别方法，其特征在于:所述的基本分类器Learner是k近邻法分类器，或神经网络分类器。
全文摘要
本发明涉及一种基于半监督学习的多姿态人脸表情识别算法，包括采集n个人的n张正面表情图像和n张侧面表情图像，构成训练集X和测试集S，分割出正面和侧面表情图像的人脸区域，并采用直方图均衡化方法对人脸区域进行光照补偿。然后采用线性判别分析方法提取图像的表情特征，接下来对S中的样本进行表情识别。首先，采用欧式距离最近邻法，利用X中的已标记样本对X中每个未标记样本进行标记。然后，采用循环方式，对X进行重复抽样，得到新的训练集Xr。调用基本分类器利用Xr计算第t次循环时X中每个样本的标记ht，同时利用Xr计算第t次循环时S中每个样本的标记ft。最后，计算基本分类器对训练集中侧面样本的分类错误率εt，并更新X中所有训练样本的权重，直到达到循环结束条件。
文档编号G06K9/62GK103186774SQ20131009179
公开日2013年7月3日 申请日期2013年3月21日 优先权日2013年3月21日
发明者贾克斌, 蒋斌 申请人:北京工业大学