一种基于增强补丁和多标签学习相结合的表情测谎方法与流程

本发明涉及表情测谎领域，尤其是涉及了一种基于增强补丁和多标签学习相结合的表情测谎方法。

背景技术：

对于面部表情测谎技术，采用仪器分析的方法，相比于人为的表情分析测谎所掺杂的主观因素少，更为客观，且节省了相关的人力物力，这将是未来测谎发展的一大趋势。常用的测谎方法是利用电信号采集分析或瞳孔测谎等方法，设备复杂，需要人工分析，且整体设备会给测谎受试者造成一定的心理压力，从而影响测谎结果。

本发明提出了一种基于增强补丁和多标签学习相结合的表情测谎方法，先将视频导入数据库，对表情分析测谎，从而获得微表情测谎系统；开始表情测谎时，先输入视频数据，再进行表情识别，接着在微表情测谎系统中进行查询，最后返回测谎结果。其中，表情识别过程包括利用输入视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导以及将AU关系和ZBDX合并等。本发明采用隐蔽摄像头拍摄测谎过程视频，不会对受试者的心理造成影响，测试结果真实性高；同时，不需要额外的贴附于受试者身体的设备，整个测谎过程人为操作少，减少人力物力的损失；而且对人脸表情进行的智能分析，无需人工参与，结果更加客观。

技术实现要素：

针对设备复杂，结果不客观等问题，本发明的目的在于提供一种基于增强补丁和多标签学习相结合的表情测谎方法，先将视频导入数据库，对表情分析测谎，从而获得微表情测谎系统；开始表情测谎时，先输入视频数据，再进行表情识别，接着在微表情测谎系统中进行查询，最后返回测谎结果。

为解决上述问题，本发明提供一种基于增强补丁和多标签学习相结合的表情测谎方法，其主要内容包括：

(一)训练测谎系统；

(二)表情测谎流程。

其中，所述的训练测谎系统，包括将视频导入数据库、对表情分析测谎和获得微表情测谎系统。

其中，所述的表情测谎流程，包括输入视频数据、表情识别、在微表情测谎系统中进行查询，最后返回测谎结果。

进一步地，所述的表情识别，包括利用输入视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导、将AU关系和ZBDX合并。

进一步地，所述的结合增强补丁和多标签学习(ZBDX)框架，包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；y_i∈{+1,-1}^L是一个L×1标签矢量，第个元素则表示第个AU存在，如果表示第个AU不存在；

简单的说，使作为数据模型，作为包含第个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：

其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β₁,β₂)包含在ψ(·,·)里。

进一步地，所述的增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：

其中是增强补丁的正则化，是第个AU的第p组。

进一步地，所述的多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。

进一步地，所述的动作单元(AU)相互关系推导，通过统计分析多个表情测谎的数据集获得AU之间的关系，得到AU关系推导，将AU之间的关系分成正相关和负相关；相关系数≥0.40为正相关，相关系数≤-0.60为负相关。

进一步地，所述的将AU关系和ZBDX合并，分别用和表示AU对的正相关和负相关；在中，为了合并AU关系，引入关系正规化

β₁和β₂是折衷系数，抓住AU关系的正相关：

γ_ij是一个预定义的相似性得分，决定了相似的两个预测和更大的γ_ij是在中第i个和第j个更相似的预测AUs；正规化矩阵背后的原理是AUs在同一个正组将共享类似的预测，从而最大限度地减少方程(4)；另一方面，消极竞争的正则化NC(W，X，)，定义为：

象征中的第n个AU对；公式(5)中的标准倾向于实现一个稀疏解，如果一个分类器预测AU1在组中，则AU6分类器容易产生小的预测值，对正则化的价值最小化，所以需要解决多标签学习任务ZBDX：

进一步地，所述的ZBDX的算法，由于增强补丁正规化矩阵Ω(W)和关系矩阵ψ(W,X)对分别W行和列进行约束，公式(1)没有解析解；通过引入辅助变量W₁,W₂，然后使用ADMM共同优化W₁和W₂，重写公式(1)：

s.t.W₁＝W₂ (6)

引入拉格朗日算符和惩罚项ρ，扩张的拉格朗日算符可以写成

通过以下更新：

U^(k+1)＝U^(k)+ρ(W₁^(k+1)-W₂^(k+1)) (10)

解决公式(9)涉及增强补丁的正则化Ω(W₁)和扩张术语由于用L_2,1解W₁范数非光滑问题，分解L_2,1规范分解为49个子问题，然后使用加速梯度法求解；该算法的收敛条件是‖w^(t+1)-w^(t)‖₂≤δ(δ＝10^-5)；

解决公式(9)涉及关联化ψ(W₂,X)和的增加项目；对于ψ(·,·)，正相关在W₂是光滑的，但是负相关不使公式(9)不可微；给定一个训练样本x_i和它的负相关关系指示作为一个的W的子矩阵，每列包含W_j，使它的双重规范为根据涅斯捷罗夫的近似值平滑即可以近似为以下光滑函数：

μ是控制精度的一个参数，对于一个固定的W，得到z：

基于这些知识，解决问题(9)的非光滑的目的为光滑逼近：

其中

ZBDX是通过迭代增强补丁学习和多标签学习优化。

附图说明

图1是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的训练测谎系统的流程图。

图2是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的微表情测谎系统的数据库。

图3是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的表情测谎的流程图。

图4是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的表情识别的流程图。

图5是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的结合增强补丁和多标签学习(ZBDX)框架的实例图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的训练测谎系统的流程图。主要包括将视频导入数据库、对表情分析测谎和获得微表情测谎系统。

图2是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的微表情测谎系统的数据库。先将视频导入数据库，再对表情进行分析测谎，从而获得微表情测谎系统。

图3是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的表情测谎的流程图。主要包括输入视频数据、表情识别、在微表情测谎系统中进行查询，最后返回测谎结果。

图4是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的表情识别的流程图。主要包括利用输入视频数据、结合增强补丁和多标签学习(ZBDX)框架、动作单元(AU)相互关系推导、将AU关系和ZBDX合并。

其中，结合增强补丁和多标签学习(ZBDX)框架，包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；y_i∈{+1,-1}^L是一个L×1标签矢量，第个元素则表示第个AU存在，如果表示第个AU不存在；

简单的说，使作为数据模型，作为包含第个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：

其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β₁,β₂)包含在ψ(·,·)里。

进一步地，增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：

其中是增强补丁的正则化，是第个AU的第p组。

进一步地，多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。

其中，动作单元(AU)相互关系推导，通过统计分析多个表情测谎的数据集获得AU之间的关系，得到AU关系推导，将AU之间的关系分成正相关和负相关；相关系数≥0.40为正相关，相关系数≤-0.60为负相关。

其中，将AU关系和ZBDX合并，分别用和表示AU对的正相关和负相关；在中，为了合并AU关系，引入关系正规化

β₁和β₂是折衷系数，抓住AU关系的正相关：

γ_ij是一个预定义的相似性得分，决定了相似的两个预测和更大的γ；_j是在中第i个和第j个更相似的预测AUs；正规化矩阵背后的原理是AUs在同一个正组将共享类似的预测，从而最大限度地减少方程(4)；另一方面，消极竞争的正则化NC(W，X，)，定义为：

象征中的第n个AU对；公式(5)中的标准倾向于实现一个稀疏解，如果一个分类器预测AU1在组中，则AU6分类器容易产生小的预测值，对正则化的价值最小化，所以需要解决多标签学习任务ZBDX：

进一步地，ZBDX的算法，由于增强补丁正规化矩阵Ω(W)和关系矩阵ψ(W,X)对分别W行和列进行约束，公式(1)没有解析解；通过引入辅助变量W₁,W₂，然后使用ADMM共同优化W₁和W₂，重写公式(1)：

s.t.W₁＝W₂ (6)

引入拉格朗日算符和惩罚项ρ，扩张的拉格朗日算符可以写成

通过以下更新：

U^(k+1)＝U^(k)+ρ(W₁^(k+1)-W₂^(k+1)) (10)

解决公式(9)涉及增强补丁的正则化Ω(W₁)和扩张术语由于用L_2,1解W₁范数非光滑问题，分解L_2,1规范分解为49个子问题，然后使用加速梯度法求解；该算法的收敛条件是‖w^(t+1)-w^(t)‖₂≤δ(δ＝10^-5)；

解决公式(9)涉及关联化ψ(W₂,X)和的增加项目；对于ψ(·,·)，正相关在W₂是光滑的，但是负相关不使公式(9)不可微；给定一个训练样本x_i和它的负相关关系指示作为一个的W的子矩阵，每列包含W_j，使它的双重规范为根据涅斯捷罗夫的近似值平滑即可以近似为以下光滑函数：

μ是控制精度的一个参数，对于一个固定的W，得到z：

基于这些知识，解决问题(9)的非光滑的目的为光滑逼近：

其中

ZBDX是通过迭代增强补丁学习和多标签学习优化。

图5是本发明一种基于增强补丁和多标签学习相结合的表情测谎方法的结合增强补丁和多标签学习(ZBDX)框架的实例图。结合增强补丁和多标签学习(ZBDX)框架包括增强补丁学习和多标签学习；使作为训练集，N为实例个数，存在L个AU；其中是一个从面部图像提取的特征向量；y_i∈{+1,-1}^L是一个L×1标签矢量，第个元素则表示第个AU存在，如果表示第个AU不存在；

简单的说，使作为数据模型，作为包含第个AU一个实例的索引集；目标在矩阵形式学习L线性分类器，根据W的对应行，执行组稀疏特征选择，根据W的对应列，确定AU关系；制定ZBDX作为一个无约束优化：

其中是逻辑损失，Ω(W)是增强补丁的正则化，执行以W为组的稀疏行，ψ(w,x)是关系正规化，利用AU关系约束X的预测，对Ω(·)调节参数α，(β₁,β₂)包含在ψ(·,·)里。

其中，增强补丁学习，能更好地捕捉在不同的面部区域(例如，口腔角)的外观变化；为了解决在AUs区域的外观变化，定义一组稀疏性的分类矩阵W；群稀疏性学习的目的是将变量分成组，然后选择每组的稀疏性；每一个列的W分裂成非重叠组，每组128个值，每个组对应于从一个特定的增强补丁提取的筛选特征；这种分组通过共同设置一组在W到零的增强补丁稀疏的选择，公式(1)简化为：

其中是增强补丁的正则化，是第个AU的第p组。

其中，多标签学习，利用共同发生的面部单元的约束作用，提取两种AU关系，积极和消极的，构造了一个相应的关系约束，以帮助提高预测性能；将其与增强补丁结合形成ZBDX框架，充分考虑特征或者动作单元之间的依赖性。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。