一种基于多约束条件卷积神经网络的密集人脸对齐方法与流程

本发明涉及人脸识别领域，尤其是涉及了一种基于多约束条件卷积神经网络的密集人脸对齐方法。

背景技术：

人脸识别是目前计算机视觉与模式识别领域的热门技术，而想要得到精确的识别结果，一般而言很有必要在运行人脸识别算法之前，先对人脸进行归一化，即人脸对齐。人脸对齐算法的核心在于检测人脸特征点，从而估计出人脸的位置与姿态。其算法的成功实现，会对一些关键领域产生重要影响，例如使用生物特征(人脸)识别的应用领域，其范围涵盖银行、电子商务、社会福利保障、安全防务等方面。

人脸是一个复杂的弹性可变的三维非刚性物体，因此人脸对齐是一个极具挑战性的复杂的模式检测问题。特殊的结构化特征的出现或消失如眼睛、胡子或者首饰，面部姿态变换如仰望、俯瞰，光照的变化如室内到室外、白天到黑夜，背景复杂程度的变化如红绿灯路过到会议室的变化，这些都对人脸对齐提出了不同程度的挑战和增加了一定难度。

本发明提出了一种基于卷积神经网络的人脸对齐新框架。首先构建基于卷积模块的分支网络，使之接受输入图像后进行形状参数和投射参数的估计，同时设计一系列约束条件并转化成损失函数，以最小化输入图像和生成图像的差异，从而得到标志物对齐的人脸。本发明可以处理多种姿态尤其大幅度转向的人脸，提供一个损失函数总框架来约束生成图像的变换，同时提升了人脸识别与对齐的效果。

技术实现要素：

针对解决在大幅度转向中进行人脸对齐的问题，本发明的目的在于提供一种基于多约束条件卷积神经网络的密集人脸对齐方法，提出了一种基于卷积神经网络的人脸对齐新框架。

为解决上述问题，本发明提供一种基于视频数据的人体动作分析方法，其主要内容包括：

(一)三维人脸表征；

(二)卷积网络结构；

(三)损失函数设计。

其中，所述的三维人脸表征，使用s表示人脸的三维形状，其包含由q个顶点组成的三维位置，具体为：

其中，使用三维形态模型对此三维位置进行建模，具体为：

其中，s等于所有平均值与线性插值形状基准以及的加权和，其权值系数为

对于不同的需求，产生具有n个顶点的密集三维人脸表征子集u，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：

通过不同的变换角度，子集u生成不同的变换矩阵，以弥补角度不良的人脸表征。

所述的变换矩阵，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，

此外给定正交投影矩阵上述变换过程可用公式(5)表示：

u＝pr·a，(5)

任意形状的二维人脸形态使用矩阵a的前两行(即a＝[m1，...，m8])决定。

所述的卷积网络结构，包括分支结构和卷积模块结构。

所述的分支结构，通过卷积神经网络学习非线性函数f(θ)，从输出图像i中学习到网络参数m和p，具体为：

1)输入层经过三个卷积模块；

2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；

3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；

4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。

所述的卷积模块结构，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。

所述的损失函数，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数jpr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数jlm减少二维标志物拟合误差；轮廓约束损失函数jc用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束js用于拟合三维视图表征矩阵，总损失函数j通过上述损失函数的加权和得到：

其中，

λlm、λc和λs为比例系数。

所述的标志物拟合约束损失函数，给定二维人脸图像和针对的标志物标签首先人为地将三维表征中的点匹配到二维人脸图像上，这些点的索引值集合为ilm，则根据公式(4)的变换矩阵有：

其中，l是预训练的标志物个数，f表示使用弗罗贝尼乌斯范数。

所述的轮廓约束损失函数，给定二维人脸图像和针对的标志物标签首先需要检测图像中的人脸轮廓，接着用矩阵a表征出轮廓顶点，最后最小化二者差异，则根据公式(4)的变换矩阵有：

其中，ic表示当前m和p的取值索引。

所述的尺度不变特征变换匹配约束，给定一对人脸i和j，它们所对应的尺度不变特征为和对其进行三维特征表征转换得到aⁱ和a^j，将其三维顶点表示为和则其尺度不变特征变换匹配约束所构成的损失函数为：

其中，aⁱ是通过{mⁱ，pⁱ}计算得到。

附图说明

图1是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的系统流程图。

图2是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的例子。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法。主要包括三维人脸表征；卷积网络结构；损失函数设计。

其中，三维人脸表征，使用s表示人脸的三维形状，其包含由q个顶点组成的三维位置，具体为：

其中，使用三维形态模型对此三维位置进行建模，具体为：

其中，s等于所有平均值与线性插值形状基准以及的加权和，其权值系数为

对于不同的需求，产生具有n个顶点的密集三维人脸表征子集u，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：

通过不同的变换角度，子集u生成不同的变换矩阵，以弥补角度不良的人脸表征。

变换矩阵，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，

此外给定正交投影矩阵上述变换过程可用公式(5)表示：

u＝pr·a，(5)

任意形状的二维人脸形态使用矩阵a的前两行(即a＝[m1，...，m8])决定。

卷积网络结构，包括分支结构和卷积模块结构。

分支结构，通过卷积神经网络学习非线性函数f(θ)，从输出图像i中学习到网络参数m和p，具体为：

1)输入层经过三个卷积模块；

2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；

3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；

4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。

卷积模块结构，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。

损失函数，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数jpr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数jlm减少二维标志物拟合误差；轮廓约束损失函数jc用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束js用于拟合三维视图表征矩阵，总损失函数j通过上述损失函数的加权和得到：

其中，

λlm、λc和λs为比例系数。

标志物拟合约束损失函数，给定二维人脸图像和针对的标志物标签首先人为地将三维表征中的点匹配到二维人脸图像上，这些点的索引值集合为ilm，则根据公式(4)的变换矩阵有：

其中，l是预训练的标志物个数，f表示使用弗罗贝尼乌斯范数。

轮廓约束损失函数，给定二维人脸图像和针对的标志物标签首先需要检测图像中的人脸轮廓，接着用矩阵a表征出轮廓顶点，最后最小化二者差异，则根据公式(4)的变换矩阵有：

其中，ic表示当前m和p的取值索引。

尺度不变特征变换匹配约束，给定一对人脸i和j，它们所对应的尺度不变特征为和对其进行三维特征表征转换得到aⁱ和a^j，将其三维顶点表示为和则其尺度不变特征变换匹配约束所构成的损失函数为：

其中，aⁱ是通过{mⁱ，pⁱ}计算得到。

图2是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的例子。如图所示，可以观察到，这是本发明方法在不同条件(侧脸、光照不匀、表情变化等)的人脸对齐效果，从图中可以看出，算法很好地抓住了人脸特征，包括轮廓、标志物位置。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。