本发明涉及一种基于联合字典的三维人脸表情去除方法，尤其涉及一种以三维人脸非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除的方法。
背景技术：
三维表情去除与三维人脸表情合成都是多学科交叉的研究课题，同属人脸合成领域。表情是人们传递情感的重要渠道之一，在日常的工作、生活之中占有重要的地位，然而在某些应用的场景下，表情的存在反倒成为了影响和负担，例如表情的存在会影响人脸识别的准确性，尤其是人脸带有夸张表情时往往会识别出错误的身份。因此，让使用者摆出中性表情人脸，又有违人脸识别非配合性的初衷。一个思路是在设计、实现表情不敏感的三维人脸识别算法，减弱表情的影响；而通过计算机合成的方法，从带表情人脸生成相应的中性人脸，随后再进行识别，是解决这一困境的另一条思路。公开号为CN101976454A的中国专利申请公开了一种三维人脸表情的去除方法，步骤如下：(1)三维人脸模型的非刚性对齐；(2)建立表情空间；(3)表情残差空间的计算；(4)建立表情空间和表情残差空间的映射关系；(5)表情残差推导和表情去除。这个方法使用径向基函数回归,在法向特征空间与表情残差空间中建立映射,从输入人脸的法向特征数据求解相应的表情残差,随后使用输入的带表情人脸减去表情残差即可获得中性人脸。但是这个方法在对嘴巴张得比较大的人脸模型，处理的效果并不好。
技术实现要素：
本发明提供一种基于非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除方法，主要解决的是将输入的带表情人脸自动变成对应的中性人脸的技术问题。一种基于联合字典的人脸表情去除方法，其步骤如下：(1)、三维人脸非刚性对齐：用于将所有三维人脸数据规则化，便于后续的处理；(2)、联合字典学习：通过联合字典学习完成对训练数据库中的人脸与其对应的表情残差间的映射建立，其中表情残差通过表情人脸“减去”对应的中性人脸得到；(3)、基于残差的表情去除人脸区域提取：对输入一张测试的带表情人脸，根据步骤(2)得到的字典映射，得到与表情残差，通过“减去”残差获得中性人脸；(4)、模板引导的泊松变形：基于向导的变形和刚性区域约束对步骤(3)得到中性人脸进行处理，使得最后输出的中性人脸噪声更少并更接近真实人脸。步骤(1)中的三维人脸非刚性对齐，是指将一个通用人脸模板向所有人实验用到的人脸模板变形，拿变形的结果替代人脸成为新的实验数据，它分为三个阶段：1)特征点原则的人脸变形，使用少数特征点位作为引导，设定变形影响范围，使得这些特征点的移动能够带动其周围较大范围内邻域点的移动，达到预先变形通用模板，减少网格折叠的目标；2)基于最近点原则的人脸曲面变形；3)基于混合原则的人脸曲面变形，即结合最近点原则和法线射线原则，在变形的过程中，不断调整这两个原则对变形结果影响的比重，具体调整原则请参考后面具体实施方案。在联合字典的学习过程中，在表情人脸和表情残差人脸间建立了一组非显性的映射W，使得带表情人脸与对应的表情残差在各自字典上的稀疏表征编码保持相同，即共享编码。带表情人脸fexp“减去”对应中性人脸fneu得到表情残差fres基于以下公式：Φ(fres)＝Φ(fexp)-Φ(fneu)(3)其中Φ(·)表示从三维人脸曲面上提取的曲面信号向量。假设本发明中提到的非刚性对齐步骤已经完成，则Φ(·)可以写成：Φ(f)＝(x1，y1，z1，x2，y2，z3，…，xn，yn，zn)T(4)其中xi，yi，zi，1≤i≤n是三维人脸上的第i个点的三维坐标。基于向导的变形的方法是将输入的人脸在自身拓扑结构的约束下向目标人脸(“向导”)变形。刚性区域约束指的是通过边界条件的方式对泊松方程加以约束，固定人脸上的刚性区域保持不变。三维人脸表情去除可以定义如下：通过输入的带表情的三维人脸fexp，生成相应的不含表情的人脸模型，即中性人脸模型f′neu，它应该与真实的中性人脸fneu尽量的像，φ(f′neu，fneu)≤ξ(5)ξ是一个尽量小的阈值。三维人脸表情去除可归结为“经由某种特征提取方式提取三维人脸数据的特征向量y后，寻找一个从带表情人脸数据到表情残差数据间的映射关系W，yot＝W·yin(6)其中yot和yin分别表示带表情人脸数据和对应残差数据，W即表情人脸与表情残差人脸间的映射。本发明使用稀疏表征以及字典联合学习为三维人脸表情映射处理模型建立隐式的映射关系。三维人脸y可以用字典D∈R3n*m表示，即y＝Dx，带表情人脸数据yin、表情残差数据yot以及目标函数可表示为Dotxot＝yot＝W·yin＝W·Dinxin(7)其中Dot和Din分别是带表情人脸、表情残差人脸数据集的字典，xin和xot是带表情人脸、表情残差人脸在各自字典上的相应的编码。字典Din和Dot可在带表情人脸及对应残差人脸各自的训练集上各自训练获得，表情残差人脸yot可以被认为是编码xot经由某种映射，从带表情人脸yin相应的编码xin映射获得。然而这种想法仅仅是由yin和yot间的映射转化为xin和xot间的映射而已。加入我们在字典训练时找到两组相应的字典Din和Dot，它们在带表情人脸和表情残差人脸间建立了一组非显性的映射W使得同一张人脸的带表情人脸对应的表情残差人脸数据间在各自字典上的稀疏表征编码保持相同，即共享编码：Dotx＝yot＝W·yin＝W·Dinx（8）那么给定带表情人脸数据后，在带表情人脸的字典Din上求解稀疏表征编码x后，即可直接使用字典重构Dot重构输出人脸数据yot＝Dotx。不少取得不错效果的三维人脸表情去除算法使用表情残差作为中间变量，通过在带表情人脸与表情残差间建立映射关系，获得表情残差后，将其从带表情人脸上“减去”以获得中性表情。该方法通常情况下是基于假设“非中性人脸与表情残差间的联系比与它与中性人脸间的关系更紧密”。从数据的角度而言，该假设具有一定的道理，基于“直接映射”的方法等价于使用中性人脸生成目标人脸，相当于“从无到有”的生成；而基于“间接映射”的方法则等价使用表情残差对输入的带表情人脸进行“修正”。直观而言，在原有人脸上“修正”可能要比使用其他人脸“生成”包含更多的个人独有的特征。因此本发明使用带表情人脸和表情残差建立映射的方法对三维人脸进行表情去除。本发明有益的效果是自动地将输入的一个带表情的三维人脸数据变成其对应的中性人脸数据。附图说明图1为采用各种方法以及本发明方法进行处理后视觉上的人脸表情去除结果。具体实施方式：一、三维人脸非刚性对齐三维人脸非刚性对齐，是指将一个通用人脸模板向所有人实验用到的人脸模板变形，拿变形的结果替代人脸成为新的实验数据，这个变形分为三个阶段：1)特征点原则的人脸变形，使用少数特征点位作为引导，设定变形影响范围，使得这些特征点的移动能够带动其周围较大范围内邻域点的移动，达到预先变形通用模板，减少网格折叠的目标，我们也采用误差项来求解变形目标，定义为：λ1，λ2，λ3是经验给定的参数，一般通过对训练数据进行交叉验证的方法得到，其中El为标定点误差，定义为：其中ui，i＝1,2,3,…,l是通用人脸模板上的特征点，υc(i)是目标人脸上的特征点，ui和υc(i)是一一对应的，oi表示变形中υi的偏移量，oi+υi便是变形后顶点υi的新位置，本发明后面的公式使用相同符号定义，不再赘述。光滑误差项Es定义如下：其中Ni是υi在曲面网格上的1环领域内的相邻顶点。初始化误差Er定义如下：其中sυi是顶点υi在每次变形过程中的偏移量，它由所有特征点的位置以及顶点υi与之距离的远近所决定，sυi定义如下：l是特征点个数，rj是第j个特征点的影响半径，σ是控制影响效果的因子。我们设定初始对齐误差估计以及迭代停止阈值ξ，迭代求解最小化能量函数Edef，直到误差估计er＜ξ或为止，停止该阶段的变形。2)基于最近点原则的人脸曲面变形，通过最小化能量定义为：λ1,λ2,λ3是经验给定的参数，一般通过对训练数据进行交叉验证的方法得到，其中最近点误差En定义为：其中pυi是通过最近点原则找到的υi的最近点(下同)，使用最近点原则型迭代30步后，我们结束阶段2)，进入阶段3)。3)基于混合原则的人脸曲面变形，即结合最近点原则和法线射线原则，在变形的过程中，不断调整这两个原则对变形结果影响的比重，通过最小化实现，定义为：其中误差项Eh定义为：gυi表示利用法线射线原则找到的υi的对应点。在这一阶段的变形过程中，η1的取值由1逐步变为0，而η2的取值则由0逐步变为1。这两个值的变化都采用线性的变化，因此能够始终维持η1+η2＝1。针对法向射线寻找对应点时可能寻找到距离较远的错误的点甚至找不到点的问题，我们设定一个参数ψ，如果法向射线对应点对的距离(找不到对应点时距离为无穷大)大于ψ倍的最近点原则下的对应点对的距离，我们认为此时法向射线原则下找到的对应点是错误的对应点，我们用pυi来代替gυi，最终找到的点gi可以表示为：二、联合字典学习1.表情残差提取对训练数据中的所有表情人脸fexp“减去”其对应的中性人脸fneu得到残差人脸fres，Φ(fres)＝Φ(fexp)-Φ(fneu)(19)Φ(·)如前面所定义。2.PCA降维在本发明中，经非刚性对齐后的三维人脸数据具有相同的拓扑结构，且顶点呈有序排列，因此后续实验可直接使用其空间坐标作为其特征向量，即：y＝(x1,y1,z1,x2,y2,z2,…,x2,yn,zn)T(20)其中xi,yi,zi是第i个顶点的三维坐标。本发明在字典联合训练之前，首先使用主成分分析分别为高低分辨率数据训练各自的特征向量，降低样本维度，其中Y是训练样本，Y是样本均值，U是特征向量矩阵，Q是特征值向量。3.字典学习字典的学习这一目标可以通过最小化求解下述函数获得：其中Yexp是带表情人脸训练数据，Yres是对应的残差人脸训练数据，Dexp和Dres是对应的待求解的字典，η是参数，该问题的求解可以通过K-SVD算法交替优化D与X求解得到。三、测试人脸带表情去除1.非刚性对齐按照上述方法对输入的测试带表情人脸进行非刚性对齐，即用一个通用模板变形到输入的测试人脸，用变形结果来替代输入的人脸进行后续计算。2.解码对于输入的样本数据yin，使用特征矩阵Uin以及均值Yin对其进行降维，获得特征值向量qin；将这个结果在已经得到的联合字典的Dexp部分求解得到稀疏编码x；表情残差通过fres＝Dresx得到；粗略的中性人脸通过以下公式求得：Φ(f′neu)＝Φ(fexp)-Φ(fres)(23)3.泊松变形本发明中的泊松变形与YuemingWang,GangPan,ZhaohuiWu.3dfacerecognitioninthepresenceofexpression:Aguidance‐basedconstraintdeformationapproach.In2007.IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2007,1–7中提出的方法类似，不同之处在于通过人脸变形模型，我们能够使得所有的人脸曲面具有相同的顶点个数、相同的拓扑结构以及人体测量学上的一致性对应关系，统计人脸顶点在表情变化时的偏移量Δυ小于阈值ε，认为是位于刚性区域内的顶点，而偏移量Δυ大于该阈值则被认为是非刚性区域内的顶点，顶点偏移量的定义如下：表示中性人脸上的第i个点，表示带表情人脸上的第i个点，Δυi表示对应偏差。YuemingWang,GangPan,ZhaohuiWu.3dfacerecognitioninthepresenceofexpression:Aguidance‐basedconstraintdeformationapproach.In2007.IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2007,1–7中提出的方法中要解决的是带表情的三维人脸识别，刚性模板是同一人多表情下的类内平均差异，只需一个刚性模板。人类在表达不同的表情是，参与的肌肉群不同，因此六种表情具有六个不甚相同的刚性模板。本发明的方法以变形前的带表情人脸作为输入，通过表情残差生成的中性人脸是变形目标，使用模板引导的泊松变形辅以刚性约束模板。本发明使用BU-3DFE数据库作为测试三维人脸表情去除以及合成的数据集。由于BU-3DFE数据库对于单个表情，只有100个人的400张测试数据，数据相对较少，因此在本章节实验中使用留一法，即使用99个人，共396张同表情数据进行训练，剩余1个人的4张同表情数据作为测试，重复测试，直至每个人都作为测试样本测试过一次后求平均。采用均方根误差评价作为量化的评价标准用以评估生成的人脸与真实的人脸曲面间的差异，误差越小表明实验结果越接近真实人脸。将两张非刚性对齐后的三维人脸数据X和Y对齐后，均方根误差RMSE通过如下公式计算：其中m表示人脸数据X上的顶点个数，n表示Y的顶点个数；xi是X的第i个顶点，yxi是三维人脸Y上与X中顶点xi距离最近的点；yi是Y上第i个顶点，xyi是距离Y中顶点yi。使用两张人脸相互间的RMSE取平均值以便避免单张人脸上由于多数点聚集于一处而产生的误差。表1在六种表情上的均方根误差结果：图1为视觉上的人脸表情去除结果，图中每一列从左到右分别是：输入的带表情人脸、使用线性回归方法得到的中性人脸、使用本征转移方法得到的结果、使用径向基函数回归方法得到的结果、使用本发明方法中，基于直接映射获得的结果以及基于间接映射获得的结果，最后一列是真实的人脸。每一行从上到下分别是六种表情：生气、厌恶、恐惧、高兴、哀伤和惊讶。从中可以发现，通过线性回归以及本征转移的方法获得的结果包含了大量的噪声，而其他三种方法获得结果则要平滑很多。