一种微表情识别的方法和装置与流程

本发明涉及微表情识别领域，具体涉及一种微表情识别的方法和装置。

背景技术：

当人类试图抑制或隐藏真实的情感时，往往会泄露出非常短暂且不能自主控制的面部表情，这样的面部表情称为微表情(mirco-expression)，如附图1所示。在心理学层面针对微表情的研究已经有了几十年的历史，研究人员利用微表情在司法审讯，商业谈判，心理咨询等领域颇有建树。目前，微表情识别研究引起了计算机视觉和模式识别领域的广泛关注，微表情识别的现有方法与面部表情识别方法相似，是从人脸面部图像序列中提取能反应情绪类别的主要特征，并在此基础上进行微表情的分类和识别。由于微表情自身持续时间短暂和强度较低的特点，常用的表情识别方法用于识别微表情效果比较一般。

由于人脸表情是一个持续的过程，为了更好的体现这一持续过程，在识别的过程中加入时间特征是必要的。(zhaoandpietikainen,2007)提出了两种时空局部模式：vlbp(volumelocalbinarypatterns，时空局部二值模式)和lbp-top(lbpfromthreeorthogonalplanes，三个正交平面的局部二值模式)。由于当邻近点增加时，vlbp的模式数量会变得相当庞大。

技术实现要素：

本发明提供一种干扰对齐的方法和装置，降低接收端的反馈量，节省发送端之间的信息交互。

为了实现上述发明目的，本发明采取的技术方案如下：

一种微表情识别的方法，包括：

获取微表情测试集；

对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式lbp-top特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归gslsr模型的预测子；

通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述gslsr模型的预测子，获得所述微表情图片的gslsr模型对应的测试集内的标签。

可选地，所述的方法还包括：根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。

可选地，所述方法之前还包括：

获得序列标签向量和微表情图片序列特征向量之间的关系。

可选地，获得序列标签向量和微表情图片序列特征向量之间的关系包括：

获取微表情训练集；

对于所述训练集内的每一个微表情图片提取lbp-top特征向量，并用获得的所述特征向量作为gslsr模型的预测子；

根据获得的所述每一个微表情图片的gslsr模型的预测子，求解gslsr的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。

可选地，提取lbp-top特征向量之前还包括：

将所述图片的大小进行归一化；

将所述归一化后的图片转化为灰度图片。

可选地，提取lbp-top特征向量之前还包括：

对所述图片进行分块，并为每块图片分配权值。

可选地，通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述gslsr模型的预测子，获得所述微表情图片的gslsr模型对应的测试集内的标签包括：

求解描述所述微表情图片的所述gslsr模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。

本发明还提供一种微表情识别的装置，包括：

获取模块，设置为获取微表情测试集；

预测模块，设置为对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式lbp-top特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归gslsr模型的预测子；

标签模块，设置为通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述gslsr模型的预测子，获得所述微表情图片的gslsr模型对应的测试集内的标签。

可选地，所述的装置还包括：

识别模块，设置为根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。

可选地，所述的装置还包括：

对应模块，设置为获得序列标签向量和微表情图片序列特征向量之间的关系。

可选地，所述对应模块包括：

训练单元，设置为获取微表情训练集；

特征单元，设置为对于所述训练集内的每一个微表情图片提取lbp-top特征向量，并用获得的所述特征向量作为gslsr模型的预测子；

关系单元，设置为根据获得的所述每一个微表情图片的gslsr模型的预测子，求解gslsr的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。

可选地，所述预测模块包括：

归一化单元，设置为将所述图片的大小进行归一化；

灰度单元，设置为将所述归一化后的图片转化为灰度图片。

可选地，所述预测模块还包括：

权值单元，设置为对所述图片进行分块，并为每块图片分配权值。

可选地，所述标签模块，设置为：

求解描述所述微表情图片的所述gslsr模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。

本发明和现有技术相比，具有如下有益效果：

本发明，所以通过只连接三个正交平面(xy，xt，yt)的lbp，提出了简化的描述子lbp-top，其中xt和yt平面提供的是时空转换的信息，这样就减少了计算复杂度。

附图说明

图1为一个微表情视频序列的示意图，其中小框部分表示au4(actionunit，运动单元)的肌肉运动状况；

图2为本发明实施例的微表情识别的方法的流程图；

图3为本发明实施例的微表情识别的装置的结构示意图；

图4为本发明实施例的微表情识别方法的框架图；

图5为区域分割的示例图；

图6为lbp-top特征提取示例图，其中，图6(a)表示在每个平面提取lbp特征，图6(b)表示将其连接组成lbp-top特征；

图7为面部子区域权重分配的示例图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

如图2所示，一种微表情识别的方法，包括：

获取微表情测试集；

对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式lbp-top特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归gslsr(groupsparseleastsquaresregression)模型的预测子；

通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述gslsr模型的预测子，获得所述微表情图片的gslsr模型对应的测试集内的标签。

所述的方法还包括：根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。

所述方法之前还包括：

获得序列标签向量和微表情图片序列特征向量之间的关系。

获得序列标签向量和微表情图片序列特征向量之间的关系包括：

获取微表情训练集；

对于所述训练集内的每一个微表情图片提取lbp-top特征向量，并用获得的所述特征向量作为gslsr模型的预测子；

根据获得的所述每一个微表情图片的gslsr模型的预测子，求解gslsr的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。

提取lbp-top特征向量之前还包括：

将所述图片的大小进行归一化；

将所述归一化后的图片转化为灰度图片。

提取lbp-top特征向量之前还包括：

对所述图片进行分块，并为每块图片分配权值。

通过序列标签向量和微表情图片序列特征向量之间的关系，获得所述测试集内的每一个微表情图片的gslsr模型对应的测试集内的每一个微表情图片的标签包括：

求解描述所述微表情图片的所述gslsr模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。

如图3所示，本发明实施例提供一种微表情识别的装置，包括：

获取模块，设置为获取微表情测试集；

预测模块，设置为对于所述测试集内的每一个微表情图片提取三个正交平面的局部二值模式lbp-top特征向量，并用获得的所述特征向量作为组稀疏最小二乘回归gslsr模型的预测子；

标签模块，设置为通过序列标签向量和微表情图片序列特征向量之间的关系，依据获得的每一个微表情图片所述gslsr模型的预测子，获得所述微表情图片的gslsr模型对应的测试集内的标签。

所述的装置还包括：

识别模块，设置为根据测试集内的每一个微表情图片的标签得到所述测试集的识别率。

所述的装置还包括：

对应模块，设置为获得序列标签向量和微表情图片序列特征向量之间的关系。

所述对应模块包括：

训练单元，设置为获取微表情训练集；

特征单元，设置为对于所述训练集内的每一个微表情图片提取lbp-top特征向量，并用获得的所述特征向量作为gslsr模型的预测子；

关系单元，设置为根据获得的所述每一个微表情图片的gslsr模型的预测子，求解gslsr的回归系数矩阵，根据所述回归矩阵获得序列标签向量和微表情图片序列特征向量之间的关系。

所述预测模块包括：

归一化单元，设置为将所述图片的大小进行归一化；

灰度单元，设置为将所述归一化后的图片转化为灰度图片。

所述预测模块还包括：

权值单元，设置为对所述图片进行分块，并为每块图片分配权值。

所述标签模块，设置为：

求解描述所述微表情图片的所述gslsr模型的预测子与所述序列标签向量关系函数的最小值，将所述最小值对应的标签作为所述微表情图片的标签。

实施例1

如图4所示，本发明实施例说明利用回归模型和组稀疏时空特征识别微表情的步骤：

(1)预处理和特征提取:对训练集图片序列进行归一化大小和将其转化为灰度图片序列的处理之后，采用基于分块的lbp-top特征作为图片序列的特征,完成提取训练集图片序列的特征。

(2)gslsr模型训练:gslsr模型用于描述微表情图片序列标签向量和对应的微表情图片序列特征向量之间的关系,采用学习算法来求解gslsr的回归系数矩阵。

(3)微表情识别:对于测试集遵循和训练集相同的过程，即提取lbp-top特征，并用得到的特征向量作为gslsr模型的预测子，通过gslsr模型计算出测试集的标签，完成测试集的识别。

其中，在提取训练集微表情图片和测试集为表情图片序列特征之前需要进行归一化大小的处理。由于每个图片序列中的图片大小不尽相同，将其统一为256×256的大小。

在提取基于分块的lbp-top特征的过程中，将面部图片分成1,4,16,64个共85个面部子区域，为了提高识别率，可以采用具有重叠块的划分方式。

在步骤(2)中利用组稀疏最小二乘回归(gslsr)模型来描述分类标签向量和面部特征向量的关系。然后利用增广拉格朗日(alm)算法来解决gslsr的优化问题。

在测试过程中，假设yt是从测试图像序列中提取的lbp-top特征，xt是对应的表情标签向量，假设有五类表情，第一类的表情标签向量应表示为第二类的表情标签向量应表示为以此类推。xt的值可以通过求解下面的最小化问题来预测：

其中，是通过增广拉格朗日(alm)算法得到的组稀疏最小二乘回归(gslsr)模型的最优解。然后该测试图像序列微表情的种类可以表示为：

其中，xt(k)表示xt的第k个元素。

假设对于一个五类问题通过公式(6)预测的结果为可以看出第二项最大，则预测的表情类别为第二类。

实施例2

(1)预处理和特征提取：

首先对图片序列进行归一化大小和转换成灰度图像序列的处理，然后分别将面部图片分成1,4,16,64个面部子区域，为了提高识别率，采用了具有重叠块的划分方式，如图5所示，每个面部图片对应了85个面部区域。对于每个面部区域而言，采用x轴，y轴半径为1，t轴半径为2到4，近邻点数量为8，统一模式下的lbp-top算子，即(其中rx＝ry＝1rt＝2,3,4)作为特征，如图6所示。对于训练集微表情数据库中的每个图片序列而言，每个面部区域对应了59×3维特征向量，所有的面部区域为59×3×85＝15045维特征向量。

(2)gslsr模型训练：

步骤(1)完成了基于区域的微表情特征提取，不同的面部区域对于微表情识别的贡献各不相同，因此对每个面部区域设置一个权值使得其对微表情识别的不同贡献可以通过权值表现出来，如图7所示。如果某个面部区域所提取的特征对微表情识别的贡献较少，则相应的加权参数会被设置为0，其结果是该区域对应的面部特征就会对微表情识别没有任何影响。

假设有m个图像序列，令x＝[x1,λ,xm]为对应于这m个图像序列的类别标签矩阵，其中第p个面部图像序列的标签向量表示为c为微表情类别的数量。如果第p个图像序列属于第j类，则设置为1，其他为0。令表示85个面部区域的lbp-top特征与权重相结合的级联特征，其中的取值表示对应区域对微表情识别是否有贡献，若为0则表示对应区域对微表情识别没有贡献，相反若为1则表示对应区域对微表情识别有贡献。那么x和y的关系可用以下最小二乘回归(leastsquaresregression，lsr)来表示：

微表情特征向量和序列标签向量是用最小二乘回归(lsr)来表示的，最小二乘回归的公式添加面部区域选择参数构成组稀疏最小二乘回归gslsr模型，使用训练集图片序列特征向量和序列标签向量是为了求出公式(1)最小情况下的lsr的回归系数矩阵u。

其中，u是lsr的回归系数矩阵，f表示frobenius范数。

可以注意到，可以起到一个特征选择的作用，与传统特征选择不同的是，非0的意味着对应的面部区域对微表情识别是有贡献的，其对应的特征被选择出来用于微表情识别。这就等效于一个相对于的稀疏学习问题，因此，添加一个对应于权重参数的正则项到lsr的回归公式中，则公式(1)的lsr模型可以写作下式：

其中，λ＞0是一个正则化参数。

公式(2)即为本发明实施例所提出的组稀疏最小二乘回归模型，公式(2)的最小化问题可以使用交替方向法(alternateddirectionmethod，adm)和增广拉格朗日乘子法(augmentlargangrianmultiplier，alm)求解。

令则意味着另一方面，如果则要么是零矩阵，要么如果是零矩阵，那么特征矩阵yi^j在公式(2)的回归模型中对响应矩阵x没有贡献，这也就意味着，其所对应的面部子区域并不重要，因此可以将零值分配给因此，本发明实施例使用来代替并得到如下的正则回归优化问题：

为了得到的最优解，本发明实施例首先通过将公式(3)的优化问题转换为以下等效问题来增加需要求解的变量数量：

上述优化问题可以通过增广拉格朗日乘子法(augmentlargangrianmultiplier，alm)来解决，其目的是使下面的alm方程的值尽可能取最小值：

其中，ti^j是拉格朗日乘子，μ＞0是一个正则化参数。

l的最小化问题可以通过固定其他变量，交替优化pi^j和然后更新拉格朗日乘子ti^j，直至收敛。

(3)微表情识别：

令通过步骤(2)求出的最优解。在测试过程中，假设yt是从测试图像序列中提取的lbp-top特征，xt是对应的表情标签向量，xt的值可以通过求解下面的最小化问题来预测：

然后该测试图像序列微表情的种类可以表示为：

其中，xt(k)表示xt的第k个元素，此时假设对于一个五类问题通过公式(6)预测的结果为可以看出第二项最大，则预测的表情类别为第二类。

表1给出在三个不同t轴半径下本发明实施例和lbp-top+svm算法在微表情数据库识别率的比较情况；

表1

图2给出本发明实施例和其他算法在微表情数据库最高识别率的比较情况；

表2

表3给出本发明实施例和其他算法在微表情数据库最高识别率的比较情况；

表3

虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。