一种基于主动迁移学习的微表情识别方法与流程

本发明涉及一种基于主动迁移学习的微表情识别方法，属于机器学习和模式识别的技术领域。

背景技术：

微表情是一种类型的自发表情，它是情绪的自然表露，是人不经意间的情感表达，因而无法复制伪造，因此在临床诊断和安全防范等领域有着极大的利用价值。微表情类别的标注是一项要求严格的工作，需要具有心理学背景的科研人员结合图像序列的上下文信息，给出综合的判断。为了给出标准的微表情样本，科研人员花费了大量时间和经历设计诱导机制，采集样本和人工标注，但现有数据库样本的数量上还是太少。

宏表情，即我们熟知的人的表情，在定义上与微表情存在诸多差异，比如持续时间和变化幅度。宏表情动作幅度强，表达明显，在单帧图片上即可被很好地认知；而微表情动作微弱，需要借助整个图像序列加以判断。然而，在本质上，它们都是由面部肌肉运动而产生的客观形态，是人类内心情绪状态的表达。

ekman等人将表情视为由不同的动作单元组成，根据他们提出的面部行为编码系统(facialactioncodingsystem，facs)可以定量地确定表情的属性。微表情的研究同样以facs作为基础理论，这从侧面反映出表情和微表情之间存在的内在联系。

现有方法先利用微表情标注数据集训练得到分类器，但该分类器的泛化能力与标注数据集的大小直接相关。然而现实是，由于标注资源的限制，无标注数据比标注数据容易获得。如何借助少量的微表情标注样本以提升微表情自动识别的效果是一个值得思考的问题。

技术实现要素：

针对现有技术的不足，本发明提供了一种基于主动迁移学习的微表情识别方法。

本发明根据宏表情和微表情之间的语义相关性，从宏表情所在的域(源域)学习有用的知识，帮助在微表情域(目标域)选择高质量的样本，被人工标注后加入到训练集中，训练更为有效的分类器，以提高微表情识别的效果。

本发明结合监督学习和半监督学习中广泛关注的主动学习和迁移学习，一方面，利用宏表情和微表情之间存在的内在联系，迁移宏表情域的样本分布信息，以增加微表情域的监督信息，另一方面，与被动地等待接受标注不同，我们从微表情候选集(通常被称为主动池)中挑选携带大量信息的微表情样本，然后交由人工进行标注。挑选出的样本是候选集的一个“最优”子集，因此，等量标注后能训练出更好的分类模型。

本发明的技术方案如下：

一种基于主动迁移学习的微表情识别方法，包括：

(1)宏表情、微表情特征提取；

(2)微表情主动迁移学习问题的建立与求解；

(3)微表情识别。

根据本发明优选的，所述步骤(2)，微表情主动迁移学习问题的建立与求解，包括：

a、定义微表情主动迁移学习的问题：

令为宏表情域(源域)样本特征空间，ds为源域特征维数，任意宏表情域样本特征

令为微表情域(目标域)样本特征空间，dt为目标域特征维数，任意微表情样本特征

在宏表情域标注一个训练数据集且是的真实类标签；

在微表情域标注另外一个训练数据集(种子集)且微表情域的候选数据集(主动池)

主动学习最初依赖具有的知识，按照准则对上的数据给予评价。由于l通常很小，不足以用来训练一个可靠的分类模型。因此，我们希望，通过迁移源域的相关知识，在的辅助下，提高主动学习的效果。

b、由于多元分类问题可以分解成多个二元分类问题，根据结构风险最小化，在宏表情域建立c个二元分类问题，如式(i)所示：

式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，cs是宏表情域分类器的惩罚系数，l是损失函数，

因为宏表情和微表情在不同的特征空间中，为了连接两个不同的空间到一个公共空间，学习一个线性的“翻译器”w将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：

式(ii)中，ct是微表情域分类的惩罚系数，

通过式(ii)，我们希望w可以将微表情域的样本点映射到分类超平面正确的一侧。也就是说，我们希望借助wc和w，完成迁移学习。因为确定了分类器的具体形式，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：

式(iii)中，q表示被选择的样本组成的集合；

根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：

在式(iv)中我们采用了增广形式的分类器，为了表示简单，吸收增加的常数项，即得到式(v)：

根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：

式(vi)中，是对应上样本的查询因子；

线性分类器本质上处理的是二元问题，为了拓展至多元问题，常采用的策略有“一对一”或“一对多”。我们的目标函数采用的是后者。“一对一”策略会产生一些与本类别无关的分类器，由于这些分类器得不到本类别的任何监督信息，而在主动学习中，当有新样本需要被评估时，这些无关的分类器所产生的结果会引起很大的歧义。相比之下，“一对多”策略不存在这样的问题。

由于式(vi)是一个非凸的最优化问题，使用交替解法进行求解，主要分为三步。

c、求解微表情主动迁移学习问题

a、固定w，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：

设由qi确定的的子集对应的数据阵为xq，引入辅助向量由式(vii)得到式(viii)：

式(viii)的增广拉格朗日函数如式(ix)所示：

式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；

式(ix)中的wc，z，λ是可以分开求解的，在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：

求解式(x)中的子问题。

b、固定wc，qi，转化为求解w的子问题，如式(xi)所示：

引入由式(xi)得到式(xii)：

式(xii)的增广拉格朗日函数如式(xiii)所示：

式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；

式(xiii)中w,z1,z2,z3,λ1,λ2,λ3是可以分开求解的，在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：

求解式(xiv)中的子问题；

c、固定wc，w，转化为求解qi的子问题，如式(xv)所示：

式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；

根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；

式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到

c、微表情识别：

更新的包含的特征x被映射成特征w^tx后，用于训练可靠的分类器模型；对于未知标签的微表情样本，同样提取整个图像序列的主方向平均光流特征，该特征被w映射到新空间后，使用上述分类器进行识别。

根据本发明优选的，求解式(x)中的子问题，包括：

对于求解式(x)中关于的子问题，如式(xvi)所示：

式(xvi)是关于wc的凸函数，因此，得到式(xvii)：

式(xvii)中，i是单位阵，

对于求解式(x)中关于z^k+1的子问题，如式(xviii)所示：

式(xviii)中，

式(xviii)是一个稀疏求解的问题。

根据本发明优选的，求解式(xiv)中的子问题，包括：

对于求解式(xiv)中w^k+1的子问题，如式(xix)所示：

通过梯度下降法求解式(xix)。

根据本发明优选的，求解式(xiv)中的子问题，包括：

对于求解式(xiv)中的子问题，如式(xx)所示：

式(xx)中，

式(xx)是稀疏求解的问题。

本发明的有益效果是：

基于宏表情和微表情的内在联系，本发明通过一个非对称的线性翻译器，构筑宏表情到微表情之间的桥梁。主动学习在开始阶段可以利用的标注样本比较少，通过该翻译器，使微表情在变换域中可以利用宏表情域的监督信息，从而有助于主动学习在微表情域选择高质量的样本，被人工标注后加入到已有训练集中，训练出更为有效的分类器。

附图说明

图1是本发明实施例中表示“惊讶”的宏表情、微表情样本的对比示意图；

图2是本发明实施例中表示“高兴”的宏表情、微表情样本的对比示意图；

图3是本发明实施例中表示“厌恶”的宏表情、微表情样本的对比示意图；

图4是本发明实施例的微表情识别方法的流程示意图；

图5是图4所示流程中步骤s2和s3实现方法的示意图；

图6是图4所示流程中步骤s4和s5实现方法的示意图；

图7是本发明ck+到casme对比的实验结果的对比示意图；

图8是本发明ck+到casmeii对比的实验结果的对比示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

如图1、图2、图3所示，宏表情动作幅度强，表达明显，在单帧图片上即可被很好地认知；而微表情动作微弱，需要借助整个图像序列加以判断。

一种基于主动迁移学习的微表情识别方法，如图4所示，包括：

步骤s1，对宏表情和微表情样本进行特征提取。对宏表情样本提取单张图片的lbp特征，对微表情样本提取整个图像序列的主方向平均光流特征(maindirectionalmeanoptical-flow，mdmo，参见论文liuyj,zhangjk,yanwj,etal.amaindirectionalmeanopticalflowfeatureforspontaneousmicro-expressionrecognition[j].ieeetransactionsonaffectivecomputing,2016,7(4):299-310.)

步骤s2、s3，对宏表情和微表情训练集样本进行主动迁移学习，形成新的微表情训练数据集。

图5示出了步骤s2、s3的一种实现方法。

ns张含有标签的宏表情的样本的特征形成宏表情域(源域)训练数据集其中为源域样本特征空间，ds为源域特征维数，且是的真实类标签，共含有c类。nl个含有标签的微表情样本的特征形成微表情域(目标域)训练数据集(种子集)其中，为目标域样本特征空间，dt为目标域特征维数，且是的真实类标签。nu个无标签微表情样本的特征形成候选数据集(主动池)其中

由于多元分类问题可以分解成多个二元分类问题，根据结构风险最小化，在宏表情域建立c个二元分类问题，如式(i)所示：

式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，cs是宏表情域分类器的惩罚系数，l是损失函数，

学习一个线性的“翻译器”w将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：

式(ii)中，ct是微表情域分类的惩罚系数，

通过式(ii)，我们希望w可以将微表情域的样本点映射到分类超平面正确的一侧。也就是说，我们希望借助wc和w，完成迁移学习。因为确定了分类器的具体形式，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：

式(iii)中，q表示被选择的样本组成的集合；

根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：

在式(iv)中我们采用了增广形式的分类器，为了表示简单，吸收增加的常数项，即得到式(v)：

根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：

式(vi)中，是对应上样本的查询因子；

由于式(vi)是一个非凸的最优化问题，使用交替解法进行求解，主要分为三步。

a、固定w，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：

设由qi确定的的子集对应的数据阵为xq，引入辅助向量由式(vii)得到式(viii)：

式(viii)的增广拉格朗日函数如式(ix)所示：

式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；

式(ix)中的wc，z，λ是可以分开求解的，在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：

b、固定wc，qi，转化为求解w的子问题，如式(xi)所示：

引入由式(xi)得到式(xii)：

式(xii)的增广拉格朗日函数如式(xiii)所示：

式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；

式(xiii)中w,z1,z2,z3,λ1,λ2,λ3是可以分开求解的，在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：

求解式(xiv)中的子问题；

c、固定wc，w，转化为求解qi的子问题，如式(xv)所示：

式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；

根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；

式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到根据本发明优选的，求解式(x)中的子问题，包括：

对于求解式(x)中关于的子问题，如式(xvi)所示：

式(xvi)是关于wc的凸函数，因此，得到式(xvii)：

式(xvii)中，i是单位阵，

对于求解式(x)中关于z^k+1的子问题，如式(xviii)所示：

式(xviii)中，

式(xviii)是一个稀疏求解的问题。

根据本发明优选的，求解式(xiv)中的子问题，包括：

对于求解式(xiv)中w^k+1的子问题，如式(xix)所示：

通过梯度下降法求解式(xix)。

根据本发明优选的，求解式(xiv)中的子问题，包括：

对于求解式(xiv)中的子问题，如式(xx)所示：

式(xx)中，

式(xx)是稀疏求解的问题。

步骤s4，更新的训练集中的微表情样本的特征x被映射成特征w^tx后，用于训练可靠的分类器模型。

步骤s5，对于未知标签的微表情样本，其主方向平均光流特征被w映射到新空间后，使用步骤s4得到的分类器进行识别。

图6是图4所示流程中步骤s4和s5实现方法的示意图；

为了进一步体现本发明的技术效果，下面给出一个具体的实验过程。在该实验中，我们选择ck+表情数据库，casme、casmeii微表情数据库。ck+是一个较为完整的表情数据库，发布于2010年。ck+包括了123个实验者产生的593个图像序列，每个序列的最后一帧是表情的高潮帧，有相应动作单元的标注。其中，有327个图像序列的高潮帧带有情感标签，表1为ck+数据库的样本分布。casme数据库针对20个实验者，共采集到195个自发产生的微表情样本，包含每个样本的微表情类别，动作单元(actionunits，au)的组合，以及微表情发生的开始、高潮、终止时间。casmeii针对26个实验者，采集到246个有效的微表情样本，同样包含每个样本的微表情类别，动作单元(actionunits，au)的组合，以及微表情发生的开始、高潮、终止时间。表2是casme和casmeii数据库的样本分布。

表1

表2

比较表1和表2，ck+、casme和casmeii各类表情样本的数量分布不均匀，我们从上述3个数据库中挑选厌恶、高兴、惊讶3类表情对应的样本用于本次实验。ck+的宏表情样本作为源域数据，casme、casmeii的微表情样本作为目标域数据。主动学习是针对微表情样本进行的，因此需要利用casme、casmeii的微表情样本建立种子集和主动池。我们在casme、casmeii上随机地抽取每个类别三分之一的样本形成测试集，余下三分之二的样本形成候选训练集。然后，从候选训练集的每个类别中随机地抽取1个正样本作为主动学习的初始样本，组成种子集，余下的样本被当作主动池。利用主动学习从主动池中选择查询样本，被选择的查询样本经由人工标注后加入到种子集。种子集中所有的样本作为标注数据，用来训练一个标准的分类器。在测试集上的识别率被视为对本发明方法的评价。由于种子集、主动池和测试集是随机产生的，因此对于每项实验，我们独立地进行20次实验，并报告平均识别率。

我们使用统一模式的lbp特征，设置lbp采样点数目为8，采样半径为4；交替解法的迭代次数设为30。

不失一般性，本次实验使用线性支持向量机分类器，该分类器有一个参数，惩罚系数c，我们在{10^-1,1,10,10²,10³,10⁴}中寻参，本次实验结果均是最优参数下的结果。

我们将本发明方法和其他主动学习的方法进行了对比。对比方法有带有种类最大化不确定抽样的多分类主动学习方法(uncertaintysamplingwithdiversitymaximization，usdm，参见yangy,maz,nief,etal.multi-classactivelearningbyuncertaintysamplingwithdiversitymaximization[j].internationaljournalofcomputervision,2015,113(2):113-127.)和随机选择的方法。usdm同样遵循了信息量准则，它通过在种子集和主动池上建立图上随机游走模型来估计主动池中样本的标签概率，最后得到样本的信息熵，该方法依赖建图相关参数的有效设定。实验中，我们按照原文参数的设定，报告最优参数下的结果。本发明方法的目标函数式(8)包含源域惩罚系数cs和目标域惩罚系数ct，它们的取值从{10^-1,1,10,10²,10³,10⁴}中选择，并报告最优参数下的结果。

图7是ck+到casme对比的实验结果的对比示意图；图8是ck+到casmeii对比的实验结果的对比示意图。从图7、8可以看出，当从主动池中选择同样多的样本加入到种子集时，本发明方法总能获得更好的识别率，这证明了我们的方法具有优势。应当注意到，当从主动池中选择的查询样本较少时，优势比较明显。这是由于翻译器w可以将微表情样本的特征x映射成一种新的特征w^tx，该特征通过分类器与表情样本对齐，相当于在公共空间中获得了额外的监督信息，因此，有助于微表情识别率的提高。