一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置制造方法
【专利摘要】本发明公开了一种基于双线压缩数据空间维度缩减的面部表情特征提取方法和装置，属于模式识别【技术领域】。本发明采用欧氏距离模糊判定方法计算隶属度描述两两样本之间近邻关系，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，得到的特征空间具有更强的代表性和判别性。此外，本发明基于图像二维矩阵直接进行处理，对图像矩阵的行方向和列方向分别进行维数压缩，避免了矩阵分解奇异值和维数过高等问题，在保证识别精度的基础上降低计算量和计算复杂度。
【专利说明】一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
【技术领域】
[0001]本发明属于模式识别领域，涉及一种用于人脸基本表情的图像识别的方法和装置，尤其涉及一种基于二维图像矩阵的双向压缩数据空间维度缩减的面部表情特征提取方法和装置。
【背景技术】
[0002]人脸面部表情特征提取是影响表情识别效果的重要环节。研究表明，好的特征提取方法可以减小分类器对表情识别系统的影响。特征提取的目的在于分析表情图像之间的相关性和差异性，挖掘表情图像的特性。一般来说，人脸面部表情图像的维数较高，特征提取可以适当降低表征图像特征的维数，从而降低计算量和计算复杂度。
[0003]常用的提取表情图像特征的方法可分为基于几何特征的方法、基于表观特征的方法和基于混合特征的方法等。基于几何特征的方法用于表征面部区域(包括眼睛，眉毛，鼻子，嘴巴等)的形状和位置，提取出的局部面部区域特征点作为特征向量代表人脸。基于表观的特征表征人脸外貌(皮肤纹理)的变化。基于表观的特征可以从整幅人脸中提取也可以从人脸图像的某个特定区域中提取。几何特征能够简洁的表示出人脸宏观的结构变化，而表观特征则侧重于提取皮肤纹理的细微变化，一些研究者将多种特征结合起来，用混合特征进行表情识别，取得了较好的识别效果。
[0004]基于表观的特征是表情识别领域最重要的特征，常用的基于表观的特征提取方法主要包括主成分分析法、线性判别分析法、局部线性映射法、近邻保留映射法等。主成分分析法和线性判别分析法只能反映人脸空间的全局结构，而局部线性映射法、近邻保留映射法则保留了人脸图像空间的局部结构。Shan等对常用的线性子空间方法在表情识别中的应用进行了比较，研究表明监督型局部线性映射算法对人脸表情的识别效果优于其它常用子空间算法。在Cohn-Kanade表情库和JAFFE表情库上进行实验，分别对原始表情图像、LBP特征、BoostLBP特征进行降维，通过低维图像样本分布图可以看出，经监督型局部线性映射算法降维后样本的分离性最好。可见其在表情识别中的有效性。
[0005]然而，局部线性映射算法并不适合复杂的人脸表情识别，其应用于面部表情识别时具有以下不足之处:
[0006](I)局部线性映射算法是基于向量的降维方法，需将二维图像矩阵拉伸成一维向量进行各种变换处理，而这个一维向量的维数一般都很高，进行各种矩阵变换的计算量和计算复杂度是相当大的。此外，由于特征向量维数过于庞大而样本数相对过少，从而导致矩阵奇异问题，导致优化问题的求解过程精度不够。
[0007](2)局部线性映射算法在构建权重矩阵的过程中，将每个样本精确归类到对应基础表情类别，而面部表情通常包含多种表情类别的信息，硬性归类使得相关表情类别的信息丢失导致特征混淆，此外也忽略了影响表情分类的一些外在环境因素(如个体差异等)。
[0008](3)局部线性映射的优化函数原则是，将样本投影到线性子空间中，使得原样本空间中的近邻点经过投影后样本点之间的距离尽可能的小。可以看出，局部线性映射算法只强调了投影后近邻点间的距离尽可能小，而忽视了不同类别间的判别信息。从而使得距离较远的类别分类效果较好，而距离较近的不同类别之间容易出现较大混叠。
【发明内容】
[0009]为了解决上述问题，本发明公开了一种基于双向压缩的数据空间维度缩减的表情特征空间提取方法和装置。本发明直接对二维图像矩阵进行信息挖掘处理，不需要将二维图像矩阵拉伸成一维向量进行各种变换处理，避免了矩阵变换中维数高、计算量大的缺点，得到的特征表示更为精确，计算量也大大减少。进而，从图像矩阵的行方向和列方向进行双向维数压缩，在保证精度的基础上降低了特征维数和计算复杂度。
[0010]本发明的目的是通过如下技术方案实现的。
[0011]一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，包括:预处理单元，接收输入的原始表情图像，其中该原始表情图像是只包含人脸面部信息的二维表情图像，预处理单元对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元；模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元，利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间；模式分类单元，将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出表情类别决策结果。
[0012]本发明还提供了一种基于双向压缩数据空间维度缩减的面部表情特征提取方法，包括:输入原始表情图像，该原始表情图像只包含人脸面部信息，对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输入；采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵；利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间；将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类器进行类别归属判断，输出表情类别决策结果。
[0013]本发明利用欧氏距离模糊判定法对每个样本的类别归属进行隶属度确定，从而分散相似类别之间的近似特征，减弱影响图像识别的外在因素影响，这种软分类方式可以加强样本归属于各表情类别的程度。
[0014]本发明利用样本本身的近邻关系以及已知样本类别之间的离散性对特征提取进行约束，增加模型构建中的样本先验知识，以监督型实施模式保留原图像样本类别信息并增强图像特征的有效性。此外，采用惩罚机制对不同模式类间的离散度和同一模式类内的离散度同时进行约束，如果原图像空间的近邻点经投影后被分离的很远，则权重矩阵会产生很大的惩罚。同时在目标优化函数中同时考虑类内离散度和类间离散度的约束，使图像特征尽可能满足使类内离散度小而类间离散度大的条件。既保留了相邻样本之间的近邻关系，也保留了不同类别之间样本的分散性，因此得到的特征空间具有更强的代表性和判别性。
【专利附图】
【附图说明】
[0015]图1是本发明图像识别流程关键环节的示意图；
[0016]图2是利用本发明的计算方法进行表情特征提取的流程图；
[0017]图3是不同特征提取算法在表情识别中的比较结果示意图。
【具体实施方式】
[0018]下面结合附图和【具体实施方式】对本发明作进一步描述。
[0019]根据技术方案，我们可以将本发明应用于面部表情识别问题中，对表情图像样本进行特征空间提取，用精简后的特征表示表情图像的有效信息。
[0020]本发明实施例提供一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，主要包括预处理单元、模糊矩阵构建单元、函数优化单元、特征提取单元和模式分类单元。将图像输入到预处理单元，经过预处理获得规范化的二维图像矩阵；模糊矩阵构建单元采用欧氏距离模糊判定法计算每个图像样本的类别归属的模糊隶属度，并依据模糊隶属度构建模糊权重矩阵；函数优化单元利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量；特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数简约的表情特征空间；模式分类单元输出表情类别决策结果。
[0021]下面结合附图1和附图2，具体说明利用本发明的计算方法对面部表情图像进行特征提取的步骤。
[0022]一、图像输入与预处理
[0023]本发明是针对二维表情图像进行特征空间提取的方法，因此要求输入的表情图像样本仅包括人脸面部信息，可预先通过人脸检测得到人脸面部图像。针对输入图像样本的不同条件，可对图像样本进行不同的图像预处理。
[0024]若图像为彩色图像，则进行灰度归一化处理，转化成灰度图像后进行分析；
[0025]若图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响；
[0026]若图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响；
[0027]若图像有旋转、角度变化等因素影响，则采用仿射变换消除干扰；若对图像尺寸大小有特殊要求，则采用尺度归一化方法对图像大小进行规范。[0028]二、模糊权重矩阵的构建
[0029]本发明采用模糊类别标识方法代替传统的两类标识方法(“属于”和“不属于”)，每个样本归属于各类别的隶属度通过欧氏距离模糊判定法得到。
[0030]令Ai和Aj分别表示wXh大小的图像矩阵，隶属度矩阵用U = { μ ij}表示，其中i=I, 2，…，c, j = I, 2，…，N。c代表模式类别数,N代表图像样本总数。μ 表示样本j归属于类别i的程度，μ 值越大，表示样本j归属于类别i的程度越高。
[0031]具体实施步骤为:
[0032]I)计算两个图像样本矩阵Ai和么」之间的欧氏距离Mis(ApAj) = | !A1-AjI |2，相同样本之间的欧氏距离设为无穷大；
[0033]2)两两样本之间的相似度按从小到大排序，选择距离该样本最近的k个近邻样本，统计k个近邻样本中属于每个模式类别的个数；
[0034]3)计算第j个样本归属于类别i的程度，即
[0035]
【权利要求】
1.一种基于双向压缩数据空间维度缩减的面部表情特征提取装置，包括: 预处理单元，接收输入的原始表情图像，其中该原始表情图像是只包含人脸面部信息的二维表情图像，预处理单元对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，将该二维图像矩阵输入到模糊矩阵构建单元； 模糊矩阵构建单元，采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵； 函数优化单元，利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； 特征提取单元，利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间； 模式分类单元，将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类单元进行类别归属判断，输出表情类别决策结果。
2.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于该特征提取装置直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。
3.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于模糊矩阵构建单元采用欧氏距离模糊判定法计算隶属度，具体包括:利用图像样本Ai和Aj之间的欧氏距离Clis(ApAj) = I A1-Aj 12计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μ u =0.51+0.49 (niJ/k);若样本j不归属于类别i，则μ = 0.49 (η,/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表示为i/(!，则^jk =JUs (样本k属于类别i)。
4.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于函数优化单元采用惩罚机制对投影后归属于不同表情类别的图像样本之间的关联性进行制约，惩罚因子由两两表情类别均值矩阵之间的权重系数组成，即%=exp卜||F,-FiI2/+相应的对角线矩阵为E，对角线元素为Eii =E
5.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于函数优化单元同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目标函数的最优解，分别求解行方向降维的最优函数A^t?:gAQ = iFqH?yFQ的前d个最小特征值，对应的特征向量组成映射矩阵Q =[Q1, q2，…，qd];以及列方向降维的最优函数A(I^L)ArU = IF(Hmil)FrU的前q个最小特征值，对应的特征向量组成映射矩阵U = [U1, U2,..., uq]。
6.根据权利要求1所述的基于双向压缩数据空间维度缩减的面部表情特征提取装置，其特征在于特征提取单元将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，Ai — Pi = UTAiQ，投影后的特征向量用于输入模式分类单元应用于模式决策。
7.一种基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于包含以下步骤: (1)输入原始表情图像，该原始表情图像只包含人脸面部信息，对输入的二维表情图像进行尺度归一化、灰度归一化预处理，获得规范化的二维图像矩阵，作为下一步的数据输A ； (2)采用欧氏距离模糊判定法计算每个图像样本归属于七种基本表情类别的隶属度，并依据模糊隶属度构建模糊权重矩阵； (3)利用惩罚因子制约投影后特征子空间中不同表情类别样本之间的离散关系，并同时约束同一表情类别样本之间的近邻关系及不同表情类别样本之间的离散关系，采用广义特征值分解方法求目标函数最优解，得到最优函数所对应的特征向量； (4)利用特征向量分别从图像矩阵行方向和列方向对原始表情图像进行线性映射，从而压缩图像数据维数，构建双向空间维数缩减的表情特征空间； (5)将已知图像样本提取后的表情特征作为训练数据，未知图像样本的表情特征作为测试数据，同时输入模式分类器进行类别归属判断，输出表情类别决策结果。
8.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于直接对二维图像矩阵进行信息挖掘处理，不需要将图像数据拉伸成一维数据向量，避免了维数过高 带来的计算复杂度高，也消除了矩阵分解中的奇异值问题。
9.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤⑵中包括利用图像样本间的欧氏距离Clis(ApAj) = I IA1-AjI |2计算样本之间的相似度，并采用模糊判定法计算第j个样本归属于类别i的程度，若样本j归属于类别i，则μ ij = 0.51+0.49 (n^./k);若样本j不归属于类别i，则μ = 0.49 (Iiij/k)，根据欧氏距离判定法得到的隶属度构建模糊权重矩阵，样本j和样本k之间的权重系数表不为云/? ,贝丨J sjk = /Jij (样本k属于类另Ij i) O
10.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(3)中包括采用惩罚机制对投影后归属于不同表情类别的图像样本之间的关联性进行制约，惩罚因子由两两表情类别均值矩阵之间的权重系数组成，即Wij =exp(- F1-Fj 12/t)，相应的对角线矩阵为E，对角线元素为Eii =E
11.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤⑶中还包括同时约束类内近邻关系和类间离散关系，采用广义特征值分解方法求解目标函数的最优解，分别求解行方向降维的最优函数A/f⑩:=蕭1H?I1V)FQ的前d个最小特征值，对应的特征向量组成映射矩阵Q=[qi，q2，...，qd];以及列方向降维的最优函数的前q个最小特征值，对应的特征向量组成映射矩阵U = [U1, U2, - ,uq]。
12.根据权利要求7所述的基于双向压缩数据空间维度缩减的面部表情特征提取方法，其特征在于步骤(4)中包括将预处理后的原始图像样本，分别通过行方向和列方向进行线性变换，Ai — Pi = UTAiQ，投影后的特征向量用于输入模式分类单元应用于模式决策。
【文档编号】G06K9/62GK103942572SQ201410190372
【公开日】2014年7月23日 申请日期:2014年5月7日 优先权日:2014年5月7日
【发明者】支瑞聪, 赵镭, 史波林, 汪厚银 申请人:中国标准化研究院