一种基于张量的主动外观模型的表情变化识别方法与流程

本发明涉及表情识别领域，尤其是涉及了一种基于张量的主动外观模型的表情变化识别方法。

背景技术：

面部表情识别是人工智能领域的一个重要研究方向，其可以通过自动识别出人的表情，进而分析人的感情。表情识别可以应用于安全领域，在公共场合，如机场、地铁站等处，通过安装的摄像头等监控设备来自动地分析人的表情和动作，通过这些分析进一步判断人物心理，从而判断可疑人物，进而阻止其犯罪行为。表情变化识别也可以应用于客户满意度、儿童兴趣点分析，通过记录人物的表情变化，进一步分析而获得客户反馈等。

在表情识别中，能够获得和表示面部的形状和纹理信息的常用方法是主动外观模型(AAM)，其广泛用于医学图像分析等其他领域。然而，由于姿势，表情，照明和遮挡的广泛范围的外观变化，构建这样的面部模型并不容易。在已知的获取2D面的几何和纹理信息的算法中，只有AAM能够联合地对面部图像的形状和纹理信息进行建模。主动形状模型(ASM)，约束局部模型(CLM)和基于级联回归(CR)的方法主要用于获得由面部界标传达的面部形状信息。然而，将AAM拟合到2D面部图像很困难，特别是表现出宽度范围的外观变化的面部。

本发明提出了一种基于张量的主动外观模型的表情变化识别方法，给定新的面部图像，主动外观模型(AAM)可以使用拟合算法重建和根据面部的形状和纹理信息建模；基于张量的AAM(T-AAM)使用多线性子空间分析来构造基于张量的形状和纹理模型；为了实现统一，又提出了统一的基于张量的主动外观模型(UT-AAM)。本发明提出了一种更有效和准确的基于级联回归的模型拟合算法用于UT-AAM拟合，提高了检测性能；减少了姿势，表情，照明和遮挡等的影响，提高了识别的准确性。

技术实现要素：

针对姿势，表情，照明和遮挡等会产生影响的问题，本发明的目的在于提供一种基于张量的主动外观模型的表情变化识别方法，给定新的面部图像，主动外观模型(AAM)可以使用拟合算法重建和根据面部的形状和纹理信息建模；基于张量的AAM(T-AAM)使用多线性子空间分析来构造基于张量的形状和纹理模型；为了实现统一，又提出了统一的基于张量的主动外观模型(UT-AAM)。

为解决上述问题，本发明提供一种基于张量的主动外观模型的表情变化识别方法，其主要内容包括：

(一)基于张量的主动外观模型(T-AAM)；

(二)统一基于张量的主动外观模型(UT-AAM)。

其中，所述的基于张量的主动外观模型(T-AAM)，包括主动外观模型(AAM)和基于张量的AAM(T-AAM)。

进一步地，所述的主动外观模型(AAM)，具有两个基于主成分分析(PCA)的参数模型，即形状和纹理模型；给定新的面部图像I，AAM可以使用拟合算法重建和根据面部的形状和纹理信息建模；AAM拟合的目标是调整模型参数，以最小化生成面部实例和输入图像之间的像素强度差：

其中，W(I,α)是将由具有参数α的形状模型生成的形状内的面部纹理翘曲到参考形状的函数。

进一步地，所述的基于张量的AAM(T-AAM)，包括高阶奇异值分解(HOSVD)和构建T-AAM。

进一步地，所述的高阶奇异值分解(HOSVD)，张量是矢量和矩阵的高阶扩展；N阶张量是具有多个索引的N维数组；给定具有I_i同一性，I_p姿势，I_e表情和I_l光照变化的面部数据集，数据集的形状或纹理信息可表示为张量；在形状张量中，元素s(i_i,i_p,i_l,i_e,i_s)表示面部形状向量的第i_i与第i_p个姿态，第i_l个照明和第i_e个表情状态，其中I_s＝2L是面部形状矢量的维度；类似地，纹理张量以张量方式重组训练数据集的纹理矢量；

T-AAM使用多线性子空间分析来构造基于张量的形状和纹理模型，使用Tucker张量分解来获得形状和纹理模型；给定N阶张量Tucker张量分解导致：

其中，是具有输入张量的相同维数的核心张量，对其正交模式矩阵之间的相互作用进行建模张量和矩阵之间的模n的乘积‘×n’导致新的张量其中计算每个元素：

为了进行Tucker张量分解，通常使用高阶奇异值分解(HOSVD)，其也被称为Tucker-1张量分解方法；HOSVD使用SVD分解的左奇异矩阵到的模式n展开矩阵来计算模式n矩阵Un；沿着第n个模式展开张量，通过沿着第n个模式，将向量作为列向量堆叠，在矩阵中对张量中的所有条目进行重新排序；

最后，通过上式获得核心张量

进一步地，所述的构建T-AAM，给定形状张量使用HOSVD得到：

其中，是形状核心张量，和是表示分解的同一性，姿态，照明，表情和形状子空间的模式矩阵；以相同的方式，纹理张量被分解为：

其中，元素具有与形状张量分解相似的含义；

由于2D面部形状主要受姿势和表情变化的影响，T-AAM构造形状基础的子传感器：

其中，和是指示不同姿态或表情变化状态的线性组合和表情混合系数向量，满足0≤c_p(k)≤1和0≤c_e(k)≤1；

在形状基础子张量中考虑姿态和表情变化，通过以下式子获得纹理基础子张量：

其中，是指示不同照明变化状态的线性组合的照明混合系数向量，满足和0≤c_l(k)≤1；

最后，T-AAM构建变体特定的形状模型：

其中，是在所有训练形状上使用姿态和表情混合系数向量计算的加权平均形状，s_k(c_p,c_e)是沿着第5个模式的形状基本张量的展开矩阵的第k列向量，α_k是对应的模型参数；类似地，通过T-AAM构建变体特有的纹理模型：

其中，是在所有训练纹理向量上使用照明混合系数向量计算的加权平均纹理，t_k(c_l)是沿着第5个纹理基础张量的展开矩阵的第k列向量模式，β_k是相应的模型参数。

其中，所述的统一基于张量的主动外观模型(UT-AAM)，为了实现统一，提出的UT-AAM框架引入了四种技术：

(1)UT-AAM在不同的变化模式之间创建一个统一的张量模型；

(2)为了解决大规模姿态变化的自遮蔽问题，提出了一种统一的表示策略；

(3)通过引入张量完成具有缺失训练样本的不完全训练数据集所提出的UTAAM方法；

(4)提出了一种新的基于级联回归的模型拟合算法，不需要估计拟合新面孔的变化状态。

进一步地，所述的统一的形状和纹理模型，给定一组注释的面部图像，相应的形状张量和纹理张量将HOSVD应用于形状和纹理张量用于Tucker张量分解，由于受试者的形状与照明变化无关，所以可将形状模型压缩为：

其中，此外，必须对形状应用全局仿射变换G(s,p_g)，其中p_g＝[s,θ,t_x,t_y]^T是控制尺度，旋转和平移的全局仿射变换参数；在这种统一的基于张量的形状模型中，新形状可以由长参数向量表示；也可以获得统一的纹理模型：

其中，面部的纹理可以由纹理模型参数矢量表示；最后，新的面部实例可以由连接形状和纹理模型参数[p^T,q^T]^T的统一参数向量表示；对于新的面部图像，UTAAM拟合的目标是找到最好地表示输入面的模型参数向量。

进一步地，所述的应对缺失的训练样本，给定具有缺失条目的不完全张量张量完成算法的目标是找到完全张量以最小化其中是没有缺失条目的地面实况张量；然而，这个完整的地面实况张量在实践中是未知的，因此损失修改为：

其中，‘*’为分素乘积；是与大小相同的索引张量，其中当条目的值可用(或缺失)时，将条目的值设置为1(或0)；

给定一个具有缺失条目的不完整形状张量首先使用具有相同姿态，照明和表情变化的所有可用条目的平均值初始化缺失条目：

其中，上标‘m’和‘a’分别代表缺失条目和可用条目；下标表示中对应条目的位置；N^a是具有与缺失相同变量的所有可用条目的。

进一步地，所述的UT-AAM拟合的级联回归，给定面部图像I和初始模型参数向量p，回归方法的目的是构建映射函数：

其中，是与当前模型参数向量相关的特征提取函数，N_f是所提取的特征向量的维度，δ_p是对当前模型参数向量的更新，p^*是面部的地面实况参数向量；

给定一组训练示例，通过任何回归方法学习映射函数，级联回归构建一个强回归，通过级联M弱回归，Φ＝{φ₁,…,φ_M}；为了构建这些级联的弱回归，首先使用原始训练样本训练第一个弱回归；然后应用第一个训练的弱回归来更新第二个弱回归训练的所有初始模型参数p←p+δ_p；可以通过迭代地重复该过程来训练所需数量的弱回归；每个弱回归是线性回归，即φ_m:δ_p＝A_mf(I,p)+b_m，其中是投影矩阵，是偏移，N_p是参数向量p的维数；对于第m个弱回归的训练，损失函数为：

其中，f(I_n,p_n)是第n个训练样例提取的特征向量，是当前模型参数和地面实况模型参数之间的差，λ是正则化项的权重，‖*‖_F是矩阵的Frobenius范数，应当在每个弱回归训练之后更新p_n和

给定一个新的人脸图像，初始参数估计p和训练的级联回归Φ，使用Φ中的弱回归来迭代更新模型参数；提取围绕每个面部关键点的HOG特征，连接到长矢量，作为提取特征，即f(I,p)；一旦获得形状模型参数p的最终估计，使用基于张量的形状模型计算面部的形状；然后通过将估计的面部形状中的像素包裹到参考形状，获得面部图像的全局纹理，并且估计纹理模型参数q。

附图说明

图1是本发明一种基于张量的主动外观模型的表情变化识别方法的系统框架图。

图2是本发明一种基于张量的主动外观模型的表情变化识别方法的姿态，表情和照明变化的不完全训练数据集中对象的示例图。

图3是本发明一种基于张量的主动外观模型的表情变化识别方法的从多PIE选择的子集的变化图。

图4是本发明一种基于张量的主动外观模型的表情变化识别方法的自遮挡面部关键点的不同定义。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于张量的主动外观模型的表情变化识别方法的系统框架图。主要包括基于张量的主动外观模型(T-AAM)和统一基于张量的主动外观模型(UT-AAM)。

基于张量的主动外观模型(T-AAM)包括主动外观模型(AAM)和基于张量的AAM(T-AAM)。

主动外观模型(AAM)具有两个基于主成分分析(PCA)的参数模型，即形状和纹理模型；给定新的面部图像I，AAM可以使用拟合算法重建和根据面部的形状和纹理信息建模；AAM拟合的目标是调整模型参数，以最小化生成面部实例和输入图像之间的像素强度差：

其中，W(I,α)是将由具有参数α的形状模型生成的形状内的面部纹理翘曲到参考形状的函数。

基于张量的AAM(T-AAM)包括高阶奇异值分解(HOSVD)和构建T-AAM。

统一基于张量的主动外观模型(UT-AAM)，为了实现统一，提出的UT-AAM框架引入了四种技术：

(1)UT-AAM在不同的变化模式之间创建一个统一的张量模型；

(2)为了解决大规模姿态变化的自遮蔽问题，提出了一种统一的表示策略；

(3)通过引入张量完成具有缺失训练样本的不完全训练数据集所提出的UTAAM方法；

(4)提出了一种新的基于级联回归的模型拟合算法，不需要估计拟合新面孔的变化状态。

图2是本发明一种基于张量的主动外观模型的表情变化识别方法的姿态，表情和照明变化的不完全训练数据集中对象的示例图。关于高阶奇异值分解(HOSVD)，张量是矢量和矩阵的高阶扩展；N阶张量是具有多个索引的N维数组；给定具有I_i同一性，I_p姿势，I_e表情和I_l光照变化的面部数据集，数据集的形状或纹理信息可表示为张量；在形状张量中，元素s(i_i,i_p,i_l,i_e,i_s)表示面部形状向量的第i_i与第i_p个姿态，第i_l个照明和第i_e个表情状态，其中I_s＝2L是面部形状矢量的维度；类似地，纹理张量以张量方式重组训练数据集的纹理矢量；

T-AAM使用多线性子空间分析来构造基于张量的形状和纹理模型，使用Tucker张量分解来获得形状和纹理模型；给定N阶张量Tucker张量分解导致：

其中，是具有输入张量的相同维数的核心张量，对其正交模式矩阵之间的相互作用进行建模张量和矩阵之间的模n的乘积‘×_n’导致新的张量其中计算每个元素：

为了进行Tucker张量分解，通常使用高阶奇异值分解(HOSVD)，其也被称为Tucker-1张量分解方法；HOSVD使用SVD分解的左奇异矩阵到的模式n展开矩阵来计算模式n矩阵Un；沿着第n个模式展开张量，通过沿着第n个模式，将向量作为列向量堆叠，在矩阵中对张量中的所有条目进行重新排序；

最后，通过上式获得核心张量

构建T-AAM，给定形状张量使用HOSVD得到：

其中，是形状核心张量，和是表示分解的同一性，姿态，照明，表情和形状子空间的模式矩阵；以相同的方式，纹理张量被分解为：

其中，元素具有与形状张量分解相似的含义；

由于2D面部形状主要受姿势和表情变化的影响，T-AAM构造形状基础的子传感器：

其中，和是指示不同姿态或表情变化状态的线性组合和表情混合系数向量，满足0≤c_p(k)≤1和0≤c_e(k)≤1；

在形状基础子张量中考虑姿态和表情变化，通过以下式子获得纹理基础子张量：

其中，是指示不同照明变化状态的线性组合的照明混合系数向量，满足和0≤c_l(k)≤1；

最后，T-AAM构建变体特定的形状模型：

其中，是在所有训练形状上使用姿态和表情混合系数向量计算的加权平均形状，s_k(c_p,c_e)是沿着第5个模式的形状基本张量的展开矩阵的第k列向量，α_k是对应的模型参数；类似地，通过T-AAM构建变体特有的纹理模型：

其中，是在所有训练纹理向量上使用照明混合系数向量计算的加权平均纹理，t_k(c_l)是沿着第5个纹理基础张量的展开矩阵的第k列向量模式，β_k是相应的模型参数。

图3是本发明一种基于张量的主动外观模型的表情变化识别方法的从多PIE选择的子集的变化图。关于统一的形状和纹理模型，给定一组注释的面部图像，相应的形状张量和纹理张量将HOSVD应用于形状和纹理张量用于Tucker张量分解，由于受试者的形状与照明变化无关，所以可将形状模型压缩为：

其中，此外，必须对形状应用全局仿射变换G(s,p_g)，其中p_g＝[s,θ,t_x,t_y]^T是控制尺度，旋转和平移的全局仿射变换参数；在这种统一的基于张量的形状模型中，新形状可以由长参数向量表示；也可以获得统一的纹理模型：

其中，面部的纹理可以由纹理模型参数矢量表示；最后，新的面部实例可以由连接形状和纹理模型参数[p^T,q^T]^T的统一参数向量表示；对于新的面部图像，UTAAM拟合的目标是找到最好地表示输入面的模型参数向量。

应对缺失的训练样本，给定具有缺失条目的不完全张量张量完成算法的目标是找到完全张量以最小化其中是没有缺失条目的地面实况张量；然而，这个完整的地面实况张量在实践中是未知的，因此损失修改为：

其中，‘*’为分素乘积；是与大小相同的索引张量，其中当条目的值可用(或缺失)时，将条目的值设置为1(或0)；

给定一个具有缺失条目的不完整形状张量首先使用具有相同姿态，照明和表情变化的所有可用条目的平均值初始化缺失条目：

其中，上标‘m’和‘a’分别代表缺失条目和可用条目；下标表示中对应条目的位置；N^a是具有与缺失相同变量的所有可用条目的。

图4是本发明一种基于张量的主动外观模型的表情变化识别方法的自遮挡面部关键点的不同定义。关于UT-AAM拟合的级联回归，给定面部图像I和初始模型参数向量p，回归方法的目的是构建映射函数：

其中，是与当前模型参数向量相关的特征提取函数，N_f是所提取的特征向量的维度，δ_p是对当前模型参数向量的更新，p^*是面部的地面实况参数向量；

给定一组训练示例，通过任何回归方法学习映射函数，级联回归构建一个强回归，通过级联M弱回归，Φ＝{φ₁,…,φ_M}；为了构建这些级联的弱回归，首先使用原始训练样本训练第一个弱回归；然后应用第一个训练的弱回归来更新第二个弱回归训练的所有初始模型参数p←p+δ_p；可以通过迭代地重复该过程来训练所需数量的弱回归；每个弱回归是线性回归，即φ_m:δ_p＝A_mf(I,p)+b_m，其中是投影矩阵，是偏移，N_p是参数向量p的维数；对于第m个弱回归的训练，损失函数为：

其中，f(I_n,p_n)是第n个训练样例提取的特征向量，是当前模型参数和地面实况模型参数之间的差，λ是正则化项的权重，‖*‖_F是矩阵的Frobenius范数，应当在每个弱回归训练之后更新p_n和

给定一个新的人脸图像，初始参数估计p和训练的级联回归Φ，使用Φ中的弱回归来迭代更新模型参数；提取围绕每个面部关键点的HOG特征，连接到长矢量，作为提取特征，即f(I,p)；一旦获得形状模型参数p的最终估计，使用基于张量的形状模型计算面部的形状；然后通过将估计的面部形状中的像素包裹到参考形状，获得面部图像的全局纹理，并且估计纹理模型参数q。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。