一种基于ECOC和深度学习的微表情识别方法与流程

本发明属于计算机领域，具体地，涉及一种基于ecoc和深度学习的微表情识别方法。

背景技术：

在日常生活中，人们利用丰富多样的方式进行沟通、交流和表达自我。面部情绪、身体动作、语言和文字等方式共同构成了人类的基本交流系统。据实验统计，人的面部表情通常包含丰富多样的情绪信息，期间传递的信息量约占所有信息量的55％，声音传递的信息量相对少一些，约占38％。对比而言，语言和文字形式这两种方式在交流沟通中仅仅只能传递7％的信息量。表情是人类情绪的外在表现形式，是表达人类真情情感的重要窗口。

人脸的面部表情主要分为宏表情和微表情。通常人们在交流中直接看到的表情被称为宏表情。宏表情在表达方面拥有三个显著的特点：第一，它们的表现形式较为夸张，人脸区域运动较为强烈，非常容易被人们察觉；第二，它们的表达过程非常自由，没有受到主人理性的抑制和隐藏。第三，他们持续时间较长，通常为0.5s～4s之间，容易被仪器记录下来，因而可以用于研究的实验数据更多。据研究表明，宏表情的识别正确率均已经超过90％。在某些特定环境中，人们试图抑制内心的真情实感,甚至做出一些与之完全相反的表情，但是由于人类机体自身的特点，这种偶尔不经意间流露出来的细微表情被科学家称为微表情。微表情不受人们主观意识的控制，是一种非主观意识的面部表情。通常来说，微表情具有两个特点：(1)持续时间短暂，一般持续时长仅为1/25到1/2秒。(2)面部肌肉运动强度低，微表情仅使用面部部分区域肌肉而且肌肉变化程度较小。

微表情是一种维持时间短、表情变化范围较小、不易被人捕捉觉察到的面部表情，因而人工识别微表情难度较大，并且可靠性也不能得到保证，因此如何精确识别微表情是亟待解决的问题。传统微表情识别算法主要利用不同的特征提取器提取微表情特征，之后将提取到的特征输入到分类器，利用分类器学习训练样本。传统算法提取的特征往往会被现实世界中的不良光照、多重头部姿态变化以及面部阻挡等问题困扰。目前的微表情识别存在样本数量少和识别难度大的问题。

技术实现要素：

本发明提供了一种基于ecoc和深度学习的微表情识别方法，能实现了更高的准确率，相比其他微表情识别算法,集成算法表现出更好的鲁棒性。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别方法

为了解决上述问题，本发明提供一种基于ecoc和深度学习的微表情识别方法，所述方法包括：

步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量θ，θ＝{u,v,ε}∈r³，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；

步骤二、使用改进的基于多重数据复杂度的ecoc方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；

步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；

步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。

第二方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本申请实施例描述的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述的方法。

附图说明

图1是本发明基于ecoc和深度学习的微表情识别流程图。

具体实施方式

为了能够使得本发明的发明目的、技术流程及技术创新点进行更加清晰的阐述，以下结合附图及实例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为达到以上目的，本发明提供了一种基于ecoc和深度学习的微表情识别方法。主流程如图1所示，该方法包括：

步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量θ，θ＝{u,v,ε}∈r³，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；

步骤二、使用改进的基于多重数据复杂度的ecoc方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；

本申请改进的基于多重数据复杂度的ecoc方法使用多重数据复杂度测度作为判断标准生成编码矩阵，在编码过程中降低类别不均衡问题和数据稀疏性带来的负效应，同时扩大编码矩阵的规模，进一步提升算法对微表情数据集的识别性能。使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，改善数据复杂度评估的片面性。针对数据复杂度的特性，使用贪心搜索策略寻找最优的类别划分方式。算法利用数据复杂度形成特征选择阈值，淘汰对分类无用的特征，提升算法表现，缩短训练时间。

步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；

传统的cnn网络训练需要大量图像数据，如果图像数量过少容易引起过拟合现象，分类能力较差。针对小量的微表情数据，本申请基于深度森林和卷积神经网络的集成方法(称作deepfores&cnn算法)，在浅层神经网络的基础上，使用深度森林算法作为表示增强结构，加强对小类别数据的识别，提高分类准确率。

步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。

优选的，基于多重数据复杂度的ecoc方法进行数据复杂度划分的过程包括：将多个类别随机分为正负两个组合，使用滑动窗口评估当前两组类别的图片复杂度，之后，使用贪心优化策略，以降低两个组的总体图片数据复杂性为目标，不断尝试交换正负两个组中复杂度最高的两个类的数据来降低两组之间的数据复杂性，直到图片复杂度无法降低后停止交换过程，形成最终的正负类，根据正负类组合形成新的ecoc编码，之后分别判断正负类组合中类的数量，如果正/负组合中类的数量超过1个，将对应的组合重新进行此过程，如果正/负类组合中只有一个类别，那么基于当前数据复杂度的划分过程结束。

优选的，对微表情进行分类的过程具体包括：

step1，随机分为cp和cn两类,rp和rn表示群cp和cn中的类别数；

step2，dc＝dc(cp，cn)表示计算cp和cn之间的复杂性指标；使用三个数据复杂度测度来分别评估复杂度，数据复杂度用fh(h∈{1,…,3})表示，f1和f3测度数值越大，表示数据耦合性越低；f2数值越小，对应的数据耦合性越低，所以f1和f3数据复杂度的最大值和f2数据复杂度的最小值分别是算法的优化目标；

step3，使用一对一的方式评估cp/cn中类ci的复杂度zpi/zni，即zpi/zni是根据cp/cn中和ci组成的所有类别对复杂度总和来计算的；

step4，分别找到cp/cn中最复杂类进行交换；

step5，交换之后生成新的正类簇c′p和负类簇c′n；

step6，重新计算数据复杂度dc’；

step7，计算dc和dc’间的相关性；

step8，通过数据复杂度数值大小和相关性系数判断新正类簇c′p和负类簇c′n组合是否比原来组合cp/cn更优，如果相关性系数小于给定阈值th，并且图像中至少一半的复杂度数值大于原来的dc值，那么新的c′p和c′n被认为和原先的组合cp/cn不相关，并且新组合c′pandc′n的复杂程度也更小，那么新组合就被接受，否则重复执行步骤step2-step8，如果新的c′p和c′n不是最优，那么可以认为算法已经达到当前局部最优状态，那么算法的类别分类过程就到此结束，步骤step2-step8主要针对f1和f3测度进行优化，对于f2测度，需要经step4的取最大操作更换成为取最小操作，同时将step8的dc比较操作变成小于操作，剩余步骤完全相同；

step9，根据当前局部最优的类别组合计算类别复杂度阈值，用以计算在当前组合下最优的特征区域；

step10，计算完成之后,得到当前类别的最佳类分配组合cp和cn以及最优特征区域region；使用cp/cn的样本和最优特征区域训练分类器，检查每个组中的类数，当一个组中有多个类时，应用算法对该组类别进行分组并增加训练一个分类器，相反地，当每个组仅包含一个类别时，该算法将停止迭代整个过程。

优选的，对微表情进行分类还包括：

对于卷积神经网络部分，输入28*28的光流特征图像和顶点帧图像，两种图像通过卷积池化操作，将每一个图像块处理成48*10*10大小的特征图，对于深度森林部分，输入28*28的光流特征图像，深度森林中每一层采用完全随机森林和随机森林进行训练，使用滑动窗口将2352维特征化成432维类向量，之后经过池化窗口提取最大特征得到108维向量，综合不同滑动窗口的结果得到582维特征，将经过深度森林转化后的特征经过一层卷积神经网络与之前的浅层卷积神经网络融合送入全连接层，全连接层提供了进一步的抽象特征，进而得到最终分类结果。

通过与前沿的微表情识别模型的对比，本申请的方法不仅在整体数据集实现最高的分类准确率，在单独的数据集上也得到良好的效果。同时这也证明空间特征和特征转换对微表情识别是十分必要的，也进一步说明集成学习方式在微表情识别应用上具有一定的发展潜力。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别算法。

作为另一方面，本申请还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如描述于本申请实施例描述的方法。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请实施例描述的方法。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(programmablegatearray；以下简称：pga)，现场可编程门阵列(fieldprogrammablegatearray；以下简称：fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。