专利名称：基于人脸识别进行人物表情情感语义识别方法
技术领域：
本发明属于人物图像语义识别技术领域，具体涉及ー种基于人脸识别进行人物表情情感语义识别方法。
背景技术：
图像语义分为三个层次，分别是底层的特征语义层，中层的对象语义层，上层的抽象语义层。目前研究的热点在底层的特征语义层，研究图像的底层特征如顔色、纹理及形状等及其组合来提取相关语义描述，简单语义特征的提取与分析需要利用复杂语义信息，而且通过単一的特征分析，是不能准确确定图像语义的。图像的语义不单是图像的底层特征所能表达的，图像语义是个复杂的系统表达，例如一副人物图像，是不能只根据图像的背景顔色，人物的轮廓就可以判断图像语义的，如果将重点放在图像的对象、场景的含义和目标 进行高层推理，研究抽象语义层，能更好地得到相关的语义描述。研究抽象语义层将重点放在人物面部表情识别上，研究目标是能够自动地识别出人的表情，分析出人的情感，进而得到图像情感语义。计算机自动识别人脸表情是困难的，因为人脸是ー个柔性体，为人脸表情特征建立精确数学模型难度较高。脸部器官的位置稍有变动，表情就会发生巨大的变化，因而需要选择最重要的特征来决定表情的识别。面部表情识别是情感识别的初级，而情感识别是最高级的识别，超出了人工智能的模糊识别，有着广泛的应用前景和发展前景。在汽车、飞机、车间等重要岗位上的监控系统设备中，通过感应设备对司机、飞行员、工人等进行脸部监控，通过其表情的痛苦或不适表现得疲劳、压カ过大等精神状态信息，及时报警提示，避免事故发生；在医疗中，表情分析可作为辅助手段，帮助医生分析病人的精神状态，对病人的精神问题做出正确的诊断；在电脑游戏中，能够根据游戏者的喜、怒、哀、乐来做出实时的反应，那么电脑游戏会比传统规定好规则的游戏更逼真；此外，在安全保密，公安侦查，医疗辅助等其他需要解释面部信号的领域和行业中都会有广泛的应用。本发明因此而来。
发明内容
本发明目的在于提供ー种基于人脸识别进行人物表情情感语义识别方法，解决了现有技术中图像中面部表情识别不能较好的进行识别等问题。为了解决现有技术中的这些问题，本发明提供的技术方案是ー种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤(I)对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；(2)对步骤(I)检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；(3)提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。优选的，所述方法步骤(3)通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。优选的，所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建立X，Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较結果。本发明的另ー目的在于提供ー种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括
·
人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。优选的，所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。本发明首先对人脸进行检测与定位，采取一定策略，从未知的图像背景中提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征，并返回人脸的位置。然后从人脸图像中提取能够表征输入表情本质的信息，用来描述表情图像，在提取特征数据的过程中，为了避免维数危机需要警醒特征降维，特征分解等一系列步骤；最后分析特征的关系，将输入的人脸面部表情分类到相应的类别。传统的人脸识别的特征提取方法是基于PCA和2D PCA方法，本发明通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。将抽象的对象含义与底层的轮廓相结合，是将图像的特征语义与抽象语义相结合。相对于现有技术中的方案，本发明的优点是本发明技术方案可以实现人脸检测、定位和跟踪，可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。
下面结合附图及实施例对本发明作进ー步描述图I为基于人脸识别进行人物表情情感语义识别的识别系统的架构示意图；图2为基于人脸识别进行人物表情情感语义识别方法中图像预处理流程图；图3为基于人脸识别进行人物表情情感语义识别方法中特征提取的处理流程图；图4为基于人脸识别进行人物表情情感语义识别方法中正面人脸投影的效果图；图5为基于人脸识别进行人物表情情感语义识别方法中嘴唇部位投影的效果图；图6为基于人脸识别进行人物表情情感语义识别方法中表情的识别流程图。
图7为人脸嘴唇轮廓的坐标点显示图。
具体实施例方式以下结合具体实施例对上述方案做进ー步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进ー步调整，未注明的实施条件通常为常规实验中的条件。实施例本实施例的基本目标是进行人脸检测、定位和跟踪，表情的特征提取，表情识别，识别出开心、悲伤、平静三种情感。人物表情情感语义分析研发主要包含人脸检测模块，图像预处理模块，特征提取模块，面部表情识别模块，如图I。通过人脸检测模块、图像预处理模块、特征提取模块、面部 表情识别模块的分エ协作由计算机自动获取图像人脸的表情识别。下面简单介绍每个模块的具体功能。(I)人脸检测模块人脸检测是人脸分析的第一歩，指对于任意一幅给定的图像，采用AdaBoost算法对其进行捜索以确定其中是否含有人脸，如果含有则返回人脸的位置、大小和姿态。AdaBoost算法是ー种循环迭代方法，给每ー个人脸图像样本设置ー个初始权重，在每轮的迭代过程中，按照分类结果对图像样本的权重进行调整，正确分类的样本权重降低，被错误分类的样本权重增加，在下ー轮的循环中，算法会集中学习分类错误的样本，即权重值较大的样本，最終将每次迭代产生的弱分类器按照加权投票的方式合并为强分类器。AdaBoost训练强分类器的算法描述如下①给定一系列训练样本(X1, yj，(x2，y2),…，(xn, yn)，其中Yi=O表示其为负样本(非人脸)，Yi=I表示其为正样本(人脸)。n为一共的训练样本数量。②初始化权重W1, i = D⑴；③对t=l，...，T:a.归ー化权重
Wfi€t,i = ,..
ム j=t nt4b.对每个特征f，训练ー个弱分类器h (X，f，p，0 );计算对用特有特征的弱分类器的加权(qt)错误率e f ef=E ^qi |h(xi； f, p, 0 ) -yjc.选取最佳的弱分类器ht(x)(拥有最小错误率et):e t = minfjPj 0 E iqi|h(xi, f, p, 0 )-Yi | =E iqi|h(xi, ft, pt, 0 t) Ii Iht (x) = h(x, ft, pt, 0 t)d.按照这个最弱分类器，调整权重wt+ii = Wf4美其中efO表示Xi被正确地分类，Gi=I表示Xi被错误地分类；fit
④最后的强分类器为
fTI T
Cw = J1 かち
Io其他其中
ISc = IogTT Pt(2)图像预处理模块一般情况下，系统获得的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像预处理阶段对其进行灰度校正，噪声过滤等处理。具体过程如下，如图2。原始图像经灰度校正，获得红绿蓝三色分量，然后计算像素点的灰度，根据预先设定的阈值对像素点着色分量进行重新赋值，得到需要的灰色图像，以利于特征提取和表情识别。(3)特征提取模块如图3。人脸灰度图像在HSV空间上提取V分量，然后经高斯滤波、中值滤波，对人脸灰度图像进行腐蚀膨胀，然后进行ニ值化处理和混合投影，提取特征值，定位人脸图像上人脸各个器官的位置。具体按照如下进行，首先进行人脸分割。人脸分割是为了区域增长利用图像的梯度、方差等信息对人脸图像的分割显示了很好的性能。把一幅人脸图像等以大小相同的份额分成N个区域Rt，在Rt中选出ー颗种子像素s (i，j)，初始化增长区域Ct为1，定义能反映该区域内成员隶属程度的梯度參数G。分别计算s (i，j)与它的8个相邻域像素的梯度值 G= I s(i, j)-s(i-l, j) I <0。当G小于给定的阈值0，增长区域Ct的像素个数增加1，并对增加的像素加以标记，依次迭代可以把图像分割成小于或等于2N个区域，再对相邻的区域边界进行考'查，允许强边界存在，消除弱边界，合并增长的区域，最終从原图像中分割出人脸图像，对分割出的人脸图像进行开运算和闭运算，平滑区域增长的人脸图像和消除增长过程中引入噪声，确定人脸的基本轮廓。如图4所示，对正面人脸图像进行水平积分投影和垂直积分投影，通过对投影曲线的分析可知，人脸的主要器官眼睛、鼻子和嘴巴的位置分别对应曲线的某个谷值区域和峰值区域。由此可粗略的检测出人眼、鼻子和嘴巴的位置。设I(x，y)表示图像点(x，y)处的灰度值，在图像Ey1J2]区域的水平积分投影V(x)和[Xl，x2]区域的垂直积分投影H(y)表示为
v(x) =—■~ YifxfVi
j 2 - —n ぐ '
I
Hf ri => I < X , vf
. ^ ^2 * ^ 一、I但是在有些情况下，投影积分具有一定的局限性。如对一幅具有3种灰度值的图像，垂直积分投影是一条直线，体现不了图像内在灰度值间变化。定义水平方差投影和垂直方差投影为
权利要求
1.一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤 (1)对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小； (2)对步骤(I)检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓； (3)提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。
2.根据权利要求I所述的方法，其特征在于所述方法步骤(3)通过Gauss滤波和中值滤波，混合投影定位脸部器官，提取器官特征轮廓，计算轮廓特征点，通过逻辑判断出表情情感。
3.根据权利要求I所述的方法，其特征在于所述方法中以人脸图像中嘴唇为目标，采用方差过滤器，建X，Y坐标系，原点在图像左上角，提取嘴唇的特征形状轮廓，计算嘴唇轮廓的所有坐标像素点，设定情感判断条件；所述情感判断条件包括嘴角两坐标纵坐标点与全部坐标点平均纵坐标值的比较结果、嘴角两坐标纵坐标点与中间坐标点纵坐标点比较结果以及嘴角两坐标纵坐标点与最大、最小纵坐标点比较结果。
4.一种基于人脸识别进行人物表情情感语义识别的识别系统，其特征在于所述系统包括 人脸检测模块，用于对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小； 特征提取模块，用于对检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓； 面部表情识别模块，用于提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。
5.根据权利要求4的识别系统，其特征在于所述系统还包括图像预处理模块，用于对人脸图像进行灰度校正，噪声过滤处理。
全文摘要
本发明公开了一种基于人脸识别进行人物表情情感语义识别方法，其特征在于所述方法包括以下步骤(1)对提供的待识别图像进行扫描，进行人脸检测，辨别其中是否含有人脸；当检测到图像含有人脸时，确定人脸的位置、大小；(2)对步骤(1)检测到的人脸图像进行特征提取和人脸图像分割分析，确定人脸的基本轮廓和面部器官的位置、轮廓；(3)提取面部器官特征，并分解出特征形状，根据面部器官的轮廓形状设定情感判断条件，判断人物情感语义。该方法可以根据图像由计算机自动获取人脸的表情含义，可以实现计算机自动语义感知功能。
文档编号G06K9/46GK102842033SQ20121029339
公开日2012年12月26日 申请日期2012年8月17日 优先权日2012年8月17日
发明者陈国庆, 王俊杰 申请人:苏州两江科技有限公司