一种基于面部动作单元强度估计的表情分析方法与流程

本发明涉及表情分析领域，尤其是涉及了一种基于面部动作单元强度估计的表情分析方法。

背景技术：

面部表情的识别和分析是人工智能领域的一个重要研究方向，它不但在社会生活中具有普遍意义，而且在计算机的情感计算方面也起着有重要作用。它通过自动识别出人的面部表情，进而分析人的感情和心理活动，可以应用于安全领域，在公共场合，如机场、地铁站等处，通过安装的摄像头等监控设备来自动地分析人的表情和动作，通过这些分析进一步判断人物心理，从而判断可疑人物甚至是恐怖分子，进而阻止其犯罪行为；也可以帮助执法机构和情报机构更好地辨别可疑行为和欺骗行为。此外，表情变化识别也可以应用于客户满意度调查和儿童兴趣点分析等，通过记录人物的表情变化，进一步分析而获得客户反馈等。以前的识别方法由于面部形态变异性较大，导致缺乏适合的大型数据集用于有效的深层模型学习，因此识别准确性低。

本发明提出了一种基于面部动作单元强度估计的表情分析方法，结构化深度条件随机场包括两个设置，在第一个设置中，给定输入面部图像，将预定义的卷积神经网络层应用于(归一化)输入图像，生成特征图，第二个设置为了利用来自多个数据集的信息，使用数据增强学习方法；在结构性深度条件随机场中定义一元结点势，当随机变量为离散时，可以为离散变量构造联合分布，从多个数据集增强学习生成的深度结构化条件随机场的目标函数。本发明利用深层结构化学习，能够处理高维输入特征，图像特征大大改进，性能也显著提升，提高了面部动作单元强度估计的精确性。

技术实现要素：

针对识别准确性低的问题，本发明的目的在于提供一种基于面部动作单元强度估计的表情分析方法，结构化深度条件随机场包括两个设置，在第一个设置中，给定输入面部图像，将预定义的卷积神经网络层应用于(归一化)输入图像，生成特征图，第二个设置为了利用来自多个数据集的信息，使用数据增强学习方法；在结构性深度条件随机场中定义一元结点势，当随机变量为离散时，可以为离散变量构造联合分布，从多个数据集增强学习生成的深度结构化条件随机场的目标函数。

为解决上述问题，本发明提供一种基于面部动作单元强度估计的表情分析方法，其主要内容包括：

(一)结构化深度条件随机场(crf)；

(二)一元电势；

(三)成对电势；

(四)学习与推断。

其中，所述的结构化深度条件随机场(crf)，包括两个设置，在第一个设置中，给定输入面部图像，首先将预定义的cnn层应用于(归一化)输入图像，以生成特征图；由于池层中的抽样操作较低，所学习的深层特征的分辨率低于原始图像；要嵌入目标结构，在网络的(完全)连接的输出层上放置一个crf图；这里，网络的每个输出(动作单元)表示该图中的节点，并且使用该crf中的成对连接对不同节点(动作单元)之间的关系进行建模；为了利用来自多个数据集的信息，使用数据增强学习方法(第二个设置)；在这种方法中，使用来自多个数据集的数据同时训练卷积神经网络(cnn)层，从而产生丰富的特征表示；由于这些数据集可能包含非重叠的动作单元(au)集合，因此模型输出是所有au的并集；然而，对于au的每个组合(数据集)，在crf成对连接中学习不同的相关性，因为它们的动力学在整个数据集中可能会有很大差异；另一方面，通过共享这些数据集中的重叠au的模型参数，共同执行图中边缘/节点的建模。

进一步地，所述的结构化crf，引入一个随机场关联到图其中节点v∈v,|v|＝q，对应于单独的au和派系从属au的子集，使用连接函数建模；用于图像的似然条件x具有标签y，定义如下：

其中，是配分函数和能量函数由一组一元函数和成对电势函数定义的；

其中，u是潜在一元函数，v是成对电势函数；u和v的参数分别是φ和θ；使用fd(x,w)计算输入特征，其中x是输入，w是网络的权重。

其中，所述的一元电位，令l∈{1,…,l}是第q个au的强度等级的序数标签，采用标准阈值模型：

其中，β^q是序数投影矢量，是计数水平l的下限阈值

进一步地，所述的一元结点势，通过假定误差(噪声)项ε^q是具有零均值和方差(σ^q)²的函数，它们的正常累积密度函数为和强度为l的动作单元q的概率定义为：

其中，该模型参数存储在最后，在结构性深度crf中的一元结点势定义如下：

u(y^q,x,w,φ^q)＝pr(y^q＝l|fd(x,w),φ^q)(5)

在图形中，这些序数势嵌入标签结构；这与现有的结构化深度crf不同，其通常使用softmax或s形函数。

其中，所述的成对电势，连接函数c(u¹,u²,…,u^q):[0,1]^q→[0,1]为在具有均匀边缘的单位立方体的多元分布函数；当随机变量是离散的时，可以为离散变量构造联合分布：

其中，θ是连接函数的参数，由连接函数引起的联合密度模型的条件是深度特征fd(x,w)，例如f(y¹,…,y^q)←f(y¹,…,y^q)|fd(x,w)。

进一步地，所述的模型，用于二进制的情况下，模型简化为：

使用合成联合概率在crf模型定义二进制派系：

v(y^r,y^s,x,w,θ^r,s)＝pr(y¹＝l¹,y²＝l²|fd(x,w),θ^r,s)(8)

连接函数可使用简单的参数模型c(·)进行建模；考虑使用弗兰克连接函数，定义为：

如果θ→±∞，则获得相关性参数θ∈(-∞,+∞)\{0}和完美正/负相关性；当θ→0时，从公式(4)中重新获得有序模型。

其中，所述的学习与推断，定义复合似然函数：

在一元势中包括l2范数(一个测度空间上的平方可积函数构成的函数空间)的正则化；最后，总损失由下式给出：

其中，λ定义正则化强度；使用所有的训练数据最小化公式(11)的负对数似然导致容易过度拟合模型，因此性能较差；学习与推断包括迭代学习平衡批次和从多个数据集增强学习。

进一步地，所述的迭代学习平衡批次，在深度的结构化crf的优化过程中引进迭代均衡批次(ibb)的学习方法来处理不平衡数据；这种不平衡在图像每个训练目标的数量、每个强度等级例子的平均数量以及不同标签联合的数量中非常明显，分别影响着cnn权重(w)、一元(φ)和成对(θ)潜在参数的学习；ibb的主要思想是更新每一组批次参数，它是最具代表性的目标结构，更重要的是平衡了该结构；为此，当优化cnn的权重，生成批次(bbn)，平衡相对于数据集中的目标；这将确保没有学习网络不偏重于特定目标；采用同样的方法为学习边缘创建批次(平衡的au等级-bbm)和连接参数(平衡的au共同出现-bbe)；通过从目标分布函数采样，在算法的每次迭代中计算批次；采用三步优化迭代，更新一个网络区域的参数，固定其余参数；所有更新都相对于公式(12)中定义的全局目标，对每一个au调整验证参数λr。

进一步地，所述的从多个数据集增强学习，给出k个数据集

生成的深度结构化crf的目标函数如上式所示。

附图说明

图1是本发明一种基于面部动作单元强度估计的表情分析方法的系统框架图。

图2是本发明一种基于面部动作单元强度估计的表情分析方法的结构深度crf。

图3是本发明一种基于面部动作单元强度估计的表情分析方法的迭代学习平衡批次。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于面部动作单元强度估计的表情分析方法的系统框架图。主要包括结构化深度条件随机场(crf)，一元电势，成对电势，学习与推断。

一元电位，令l∈{1,…,l}是第q个au的强度等级的序数标签，采用标准阈值模型：

其中，β^q是序数投影矢量，是计数水平l的下限阈值

一元结点势，通过假定误差(噪声)项ε^q是具有零均值和方差(σ^q)²的函数，它们的正常累积密度函数为和强度为l的动作单元q的概率定义为：

其中，该模型参数存储在最后，在结构性深度crf中的一元结点势定义如下：

u(y^q,x,w,φ^q)＝pr(y^q＝l|fd(x,w),φ^q)(3)

在图形中，这些序数势嵌入标签结构；这与现有的结构化深度crf不同，其通常使用softmax或s形函数。

成对电势，连接函数c(u¹,u²,…,u^q):[0,1]^q→[0,1]为在具有均匀边缘的单位立方体的多元分布函数；当随机变量是离散的时，可以为离散变量构造联合分布：

其中，θ是连接函数的参数，由连接函数引起的联合密度模型的条件是深度特征fd(x,w)，例如f(y¹,…,y^q)←f(y¹,…,y^q)|fd(x,w)。

用于二进制的情况下，模型简化为：

使用合成联合概率在crf模型定义二进制派系：

v(y^r,y^s,x,w,θ^r,s)＝pr(y¹＝l¹,y²＝l²|fd(x,w),θ^r,s)(6)

连接函数可使用简单的参数模型c(·)进行建模；考虑使用弗兰克连接函数，定义为：

如果θ→±∞，则获得相关性参数θ∈(-∞,+∞)\{0}和完美正/负相关性；当θ→0时，从公式(2)中重新获得有序模型。

学习与推断，定义复合似然函数：

在一元势中包括l2范数(一个测度空间上的平方可积函数构成的函数空间)的正则化；最后，总损失由下式给出：

其中，λ定义正则化强度；使用所有的训练数据最小化公式(9)的负对数似然导致容易过度拟合模型，因此性能较差；学习与推断包括迭代学习平衡批次和从多个数据集增强学习。

从多个数据集增强学习，给出k个数据集

生成的深度结构化crf的目标函数如上式所示。

图2是本发明一种基于面部动作单元强度估计的表情分析方法的结构深度crf。包括两个设置，在第一个设置中，给定输入面部图像，首先将预定义的cnn层应用于(归一化)输入图像，以生成特征图；由于池层中的抽样操作较低，所学习的深层特征的分辨率低于原始图像；要嵌入目标结构，在网络的(完全)连接的输出层上放置一个crf图；这里，网络的每个输出(动作单元)表示该图中的节点，并且使用该crf中的成对连接对不同节点(动作单元)之间的关系进行建模；为了利用来自多个数据集的信息，使用数据增强学习方法(第二个设置)；在这种方法中，使用来自多个数据集的数据同时训练卷积神经网络(cnn)层，从而产生丰富的特征表示；由于这些数据集可能包含非重叠的动作单元(au)集合，因此模型输出是所有au的并集；然而，对于au的每个组合(数据集)，在crf成对连接中学习不同的相关性，因为它们的动力学在整个数据集中可能会有很大差异；另一方面，通过共享这些数据集中的重叠au的模型参数，共同执行图中边缘/节点的建模。

引入一个随机场关联到图其中节点v∈v,|v|＝q，对应于单独的au和派系从属au的子集，使用连接函数建模；用于图像的似然条件x具有标签y，定义如下：

其中，是配分函数和能量函数由一组一元函数和成对电势函数定义的；

其中，u是潜在一元函数，v是成对电势函数；u和v的参数分别是φ和θ；使用fd(x,w)计算输入特征，其中x是输入，w是网络的权重。

图3是本发明一种基于面部动作单元强度估计的表情分析方法的迭代学习平衡批次。在深度的结构化crf的优化过程中引进迭代均衡批次(ibb)的学习方法来处理不平衡数据；这种不平衡在图像每个训练目标的数量、每个强度等级例子的平均数量以及不同标签联合的数量中非常明显，分别影响着cnn权重(w)、一元(φ)和成对(θ)潜在参数的学习；ibb的主要思想是更新每一组批次参数，它是最具代表性的目标结构，更重要的是平衡了该结构；为此，当优化cnn的权重，生成批次(bbn)，平衡相对于数据集中的目标；这将确保没有学习网络不偏重于特定目标；采用同样的方法为学习边缘创建批次(平衡的au等级-bbm)和连接参数(平衡的au共同出现-bbe)；通过从目标分布函数采样，在算法的每次迭代中计算批次；采用三步优化迭代，更新一个网络区域的参数，固定其余参数；所有更新都相对于公式(10)中定义的全局目标，对每一个au调整验证参数λr。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。