基于粗糙集与混合特征的人脸表情识别方法
【专利摘要】本发明提出了一种基于粗糙集与混合特征人脸表情识别方法，包括如下步骤：(1)进行人脸检测；(2)采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征；(3)采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征；(4)采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征；(5)利用融合后的特征作为离散HMM的观察值向量，进行分类识别，得到分类结果。通过实验表明，本发明所提出的改进方法不但可缩短人脸表情识别所需要的时间，更可以提高人脸表情识别的识别率。
【专利说明】基于粗糙集与混合特征的人脸表情识别方法
【【技术领域】】
[0001]本发明属于计算机信息处理【技术领域】，特别是人脸表情识别方法。
【【背景技术】】
[0002]人脸表情识别(Facial Expression Recognition, FER)是计算机对人脸的表情信息进行特征提取并归类的过程，它使计算机能获知人的表情信息，进而推断人的心理状态，从而实现人机之间的高级智能交互，是模式识别、生理学、心理学、计算机视觉等多学科交叉的一个极富挑战性的课题。
[0003]虽然人脸表情识别技术已被很多人所研究，但是现有的方法没有分散强调对表情变化有重要贡献的人脸部眼睛、眉毛、嘴巴等区域的信息，而且单一的特征提取方法并不能涵盖所有的有效信息，同时没有考虑到属性特征的重要度、对信息系统贡献的重复度，由此导致人脸表情识别的识别率不高，表情识别的识别时间过长的问题。
【
【发明内容】
】
[0004]本发明目的在于提供一种人脸表情识别方法，用以解决现有技术中的人脸表情识别的识别率不高，表情 识别的识别时间过长的问题。
[0005]为实现上述目的，实施本发明的人脸表情识别方法包括如下步骤:
[0006]进行人脸检测；
[0007]采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征；
[0008]采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征；
[0009]采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征；
[0010]利用融合后的特征作为离散HMM的观察值向量，进行分类识别，得到分类结果。
[0011]依据上述主要特征，采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征的步骤中，采用采用AAM算法提取出描述人脸中的眉毛、眼睛、鼻子、嘴巴等这些器官形状和结构关系变化的几何描述作为识别特征，使用AAM算法搜索定位出人脸各个关键特征点的位置，选用眉毛、眼睛、鼻子、嘴巴、下颌区域的共32个关键点，然后计算出不同特征点之间的不同距离作为特征参数。
[0012]依据上述主要特征，采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征的步骤中，采用改进的粗糙集属性约简方法对得到的距离特征进行选择，特征选择后，每幅图像选出14个主要距离参数。
[0013]依据上述主要特征，采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征的步骤中，对于一个待测图像序列，首先采用改进的加权主成分分析方法，构造一个以两个眼睛和嘴巴为羽化中心点的三中心双向高斯函数作为加权函数用于识别，加入水平、垂直两方向的渐变比例系数，实现加权区域的双向可调，分散地强调对表情变化有重要贡献的眼睛、眉毛、嘴巴这三个点的位置信息，使面部表情特征更加突出。[0014]依据上述主要特征，采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征的步骤中，经过改进的加权主成分分析法获得52X10的特征向量矩阵，针对维数较高问题，依然采用改进的粗糙集属性约简方法对得到的每幅图像的52维特征向量进行约简，由此便得到表情序列的24X10的特征向量矩阵，将其向量化为240维的列向量，构成一个图像序列的整体特征，则一个图像的整体特征向量由240维的向量组成。
[0015]依据上述主要特征，采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征的步骤中，采用典型相关分析方法对上面提取到的两种特征进行特征融合，在融合前需要对数据集分别作标准化处理，再选用合适的核函数类型，上面提取到的局部几何特征和整体特征进行融合，特征融合之后的特征向量z’的维数为40维，通过归一化处理作为离散HMM的观察值向量。
[0016]依据上述主要特征，利用融合后的特征作为离散HMM的观察值向量，进行分类识别得到分类结果的步骤中是将融合后得到的40维的特征向量归一化后作为HMM的观察值向量，根据输入的观察值，每个训练好的模型求P(o/Ai)，l < i < 6。若i* =argmax! ^ i ^ 6 [p (ο/ λ )]，则i*即为该段表情序列所属表情类别。
[0017]与现有技术相比较，本发明通过上述方法能够提高人脸表情识别的识别率，并且表情识别的识别时间较短，从而更易于实施。
【【专利附图】
【附图说明】】
[0018]图1为实施本发明的流程图。
[0019]图2为AAM的定位结果图。
[0020]图3为标定的人脸特征点图。
[0021]图4为距离特征描述表。
[0022]图5为HMM结构示意图。
[0023]图6为核典型相关分析获取融合特征进行识别的测试结果表。
[0024]图7为四种表情识别方法的结果对比图。
【【具体实施方式】】
[0025]本发明在广泛阅读国内外现有的关于人脸表情特征提取和表情识别技术的文献后，比较和借鉴现有成功的人脸表情识别方法，对相应的人脸表情特征提取及识别的关键技术进行改进和完善，同时提出自己的算法，提高了人脸表情识别的识别率，并缩短了表情识别的识别时间。
[0026]请参阅图1所示，实施本发明的人脸表情识别方法包括如下步骤:
[0027]步骤一:进行人脸检测；
[0028]步骤二:采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征；
[0029]步骤三:采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征；
[0030]步骤四:采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征；
[0031]步骤五:利用融合后的特征作为离散HMM的观察值向量，进行分类识别，得到分类结果。
[0032]以下分别对步骤二至步骤五进行详细的说明。
[0033]I)局部几何形变特征提取
[0034]采用主动表观模型和粗糙集相结合的方法(AAM-RS)提取表情的局部几何形变特征。人脸中的眉毛、眼睛、鼻子、嘴巴等构造了人脸丰富多彩的表情变化，采用AAM算法提取出描述这些器官形状和结构关系变化等的几何描述作为识别特征。使用AAM算法搜索定位出人脸各个关键特征点的位置如图2，选用眉毛、眼睛、鼻子、嘴巴、下颌区域的共32个关键点，如图3所示，然后计算出不同特征点之间的不同距离作为特征参数。用d代表两内眼角的距离(图3中特征点6和特征点13之间的距离)来作为特征归一化因子。
[0035]归一化后点i到点j的欧式距离Dis (i, j)定义为:
[0036]
【权利要求】
1.一种基于粗糙集与混合特征的人脸表情识别方法，包括如下步骤: 进行人脸检测； 采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征； 采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征； 采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征； 利用融合后的特征作为离散HMM的观察值向量，进行分类识别，得到分类结果。
2.如权利要求1所述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征的步骤中，采用采用AAM算法提取出描述人脸中的眉毛、眼睛、鼻子、嘴巴等这些器官形状和结构关系变化的几何描述作为识别特征，使用AAM算法搜索定位出人脸各个关键特征点的位置，选用眉毛、眼睛、鼻子、嘴巴、下颌区域的共32个关键点，然后计算出不同特征点之间的不同距离作为特征参数。
3.如权利要求2所述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:采用主动表观模型和粗糙集相结合的方法提取表情的局部几何形变特征的步骤中，采用改进的粗糙集属性约简方法对得到的距离特征进行选择，特征选择后，每幅图像选出14个主要距离参数。
4.如权利要求3所 述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征的步骤中，对于一个待测图像序列，首先采用改进的加权主成分分析方法，构造一个以两个眼睛和嘴巴为羽化中心点的三中心双向高斯函数作为加权函数用于识别，加入水平、垂直两方向的渐变比例系数，实现加权区域的双向可调，分散地强调对表情变化有重要贡献的眼睛、眉毛、嘴巴这三个点的位置信息，使面部表情特征更加突出。
5.如权利要求4所述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:采用改进的加权主成分分析法和粗糙集相结合提取表情的整体特征的步骤中，经过改进的加权主成分分析法获得52X10的特征向量矩阵，针对维数较高问题，依然采用改进的粗糙集属性约简方法对得到的每幅图像的52维特征向量进行约简，由此便得到表情序列的24X10的特征向量矩阵，将其向量化为240维的列向量，构成一个图像序列的整体特征，则一个图像的整体特征向量由240维的向量组成。
6.如权利要求5所述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:采用高维小样本下的核典型相关分析对提取到的局部几何形变特征和整体特征进行特征融合消除特征冗余，得到融合后的典型特征的步骤中，采用典型相关分析方法对上面提取到的两种特征进行特征融合，在融合前需要对数据集分别作标准化处理，再选用合适的核函数类型，上面提取到的局部几何特征和整体特征进行融合，特征融合之后的特征向量z’的维数为40维，通过归一化处理作为离散HMM的观察值向量。
7.如权利要求6所述的基于粗糙集与混合特征的人脸表情识别方法，其特征在于:利用融合后的特征作为离散HMM的观察值向量，进行分类识别得到分类结果的步骤中是将融合后得到的40维的特征向量归一化后作为HMM的观察值向量，根据输入的观察值，每个训练好的模型求P (ο/ λ j), I 5? i 5? 60若i* = argmaXi ^ i ^ 6[p (0/ λ )]，则i*即为该段表情序列所 属表情类别。
【文档编号】G06K9/00GK103984919SQ201410168960
【公开日】2014年8月13日 申请日期:2014年4月24日 优先权日:2014年4月24日
【发明者】段丽, 钟晓, 乔亦民 申请人:上海优思通信科技有限公司