一种人脸检测方法及装置与流程

本发明属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的人脸检测方法及装置。

背景技术：

人脸检测技术可应用于相机自动对焦、人机交互、照片管理、城市安防监控、智能驾驶等诸多领域。当前，人脸检测在开放环境条件下的实际应用中，由于遮挡的普遍存在(如人群密集情况下)，人脸检测性能受到严重的挑战，因而遮挡条件下的人脸检测性能问题有待解决。另外，研究蒙面遮挡条件下的人脸检测具有重要的现实意义，例如：视频监控中用于发现可疑人员从而提供警告、通过检测蒙面人脸的分布规律进行天气状况预测等。传统的人脸检测方法在遮挡情况下遭遇严重的性能下降，原因在于检测过程中，被遮挡部分的人脸线索已经无效，从而造成在特征提取过程中不可避免地引入噪声。总之，不完整且不准确的特征使蒙面遮挡的人脸检测成为一个极具挑战的问题。

近几年来，在这一领域也研究了一些方法，现有技术是先检测出人脸候选，然后再对人脸候选分类确认。其中一种方法通过训练多个神经网络获得人脸多个部件的响应来检测人脸候选，然后再训练一个新的神经网络进行人脸候选的分类确认(参见：s.yang,p.luo,c.c.loy,andx.tang.fromfacialpartsresponsestofacedetection:adeeplearningapproach.in:ieeeiccv,2015)。另一种方法则通过选择部分特征比较来计算损失从而确认人脸候选(参见：m.opitz,g.waltner,g.poier,h.possegger,andh.bischo.gridloss:detectingoccludedfaces.ineccv,2016)，该方法能够较好地处理部分遮挡情况的人脸检测问题。上述方法在一定程度上缓解了严重遮挡(如蒙面遮挡)情况下的人脸检测问题，但仍未能获得完全解决。当人脸部件被遮挡，通过多个部件响应来检测人脸候选的人脸检测方法，在遮挡区域的部件会引入噪声或错误，从而可能导致人脸分类确认错误；当遮挡严重的时候，通过选择部分特征比较计算损失确认人脸候选的人脸检测方法，计算得到的损失误差较大，从而导致人脸检测失败。

技术实现要素：

为克服现有技术的不足，本发明提供了一种人脸检测方法及装置，该方法通过卷积神经网络检测候选人脸和提取高维深度特征(即候选特征)，然后通过局部线性嵌入进行特征投影来消除蒙面遮挡带来的特征不完全和不精确，再采用多任务卷积神经网络(即cnn-v)验证候选人脸，从而获得更加精确的人脸检测性能。同时，本发明还提出了一种近似外部特征空间的构造方法，通过从外部的数据库中寻找最相似的参考人脸和差异最大的参考非人脸，进行近似外部特征空间构造，利用近似外部特征空间对候选特征进行嵌入变换，从而修正候选特征。本发明通过以下技术方案来实现。

本发明的一种人脸检测方法，其步骤包括：

1)对待检测图像进行候选人脸检测，得到候选人脸图像；

2)对所述候选人脸图像进行候选特征提取，得到候选特征；

3)对所述候选特征进行嵌入变换，得到传统嵌入特征或近似嵌入特征，所述嵌入特征能够恢复人脸线索并移除遮挡带来的噪声；

4)对所述传统嵌入特征或近似嵌入特征，通过分类与回归算法进行验证，得到检测结果。

进一步的，候选特征通过一个预先构建好的外部特征空间进行嵌入变换后，得到传统嵌入特征或近似嵌入特征；外部特征空间为传统外部特征空间或近似外部特征空间。

进一步的，嵌入变换采用传统的局部线性嵌入方法或快速近似局部线性嵌入方法实现；传统的局部线性嵌入方法利用传统外部特征空间对带噪声的候选特征进行嵌入变换，得到传统嵌入特征；快速近似局部线性嵌入利用近似外部特征空间对带噪声的候选特征进行嵌入变换，得到近似嵌入特征。

进一步的，快速近似局部线性嵌入方法中近似外部特征空间的构造方法，包括以下步骤：

a)对标注好的参考人脸数据集进行候选人脸检测及候选特征提取，判断候选特征属于人脸特征还是非人脸特征，将这些候选特征分别存入参考人脸特征字典和参考非人脸特征字典；

b)对标注好的蒙面人脸数据集进行候选人脸检测及候选特征提取，判断候选特征属于蒙面人脸特征还是蒙面非人脸特征，将这些候选特征分别存入蒙面人脸特征字典和蒙面非人脸特征字典；

c)从上述参考人脸特征字典中选择具有代表性的能够代表上述蒙面人脸特征字典的参考人脸特征字典；

d)从上述参考非人脸特征字典中选择具有代表性的能够代表上述蒙面非人脸特征字典的参考非人脸特征字典；

e)合并上述具有代表性的参考人脸特征字典和具有代表性的参考非人脸特征字典，得到近似外部特征空间。

进一步的，步骤a)中，通过计算该候选特征对应的候选人脸位置与标注好的人脸位置之间的重叠度来确定，其重叠度用交并比来度量，其中，交并比大于0.7则判断候选特征为参考人脸的特征，交并比小于0.3则判断候选特征为参考非人脸的特征。

进一步的，步骤b)中，通过计算该候选特征对应的候选人脸位置与标注好的人脸位置之间的重叠度来确定，其重叠度用交并比来度量，其中，交并比大于0.6则判断候选特征为蒙面人脸的特征，交并比小于0.4则判断候选特征为蒙面非人脸的特征。

进一步的，步骤c)中采用贪婪算法从参考人脸特征字典中选择具有代表性的参考人脸特征字典；所述贪婪算法是指计算参考人脸特征字典中每个参考人脸特征的损失，得到按损失由小到大升序排列的参考人脸特征列表，取该列表最前面的参考人脸特征来代表蒙面人脸特征；其中所述损失是指每个参考人脸特征与蒙面人脸特征字典的最近邻特征的距离和每个参考人脸特征与蒙面非人脸特征字典的最近邻特征的距离之差。

进一步的，步骤d)中采用贪婪算法从参考非人脸特征字典中选择具有代表性的参考非人脸特征字典；所述贪婪算法是指计算参考非人脸特征字典中每个参考非人脸特征的损失，得到按损失由小到大升序排列的参考非人脸特征列表，取该列表最前面的参考非人脸特征来代表蒙面非人脸特征；其中所述损失是指每个参考非人脸特征与蒙面非人脸特征字典的最近邻特征的距离和每个参考非人脸特征与蒙面人脸特征字典的最近邻特征的距离之差。

本发明还涉及一种人脸检测装置，包括候选模块、嵌入模块和验证模块。候选模块用于对待检测图像进行候选人脸检测并提取候选特征；嵌入模块用于对候选特征进行嵌入变换，得到传统嵌入特征或近似嵌入特征，嵌入特征能够恢复人脸线索并移除遮挡带来的噪声；验证模块用于对传统嵌入特征或近似嵌入特征，通过分类与回归算法进行验证，以得到最后的检测结果。候选模块得到多个候选特征，然后在嵌入模块中通过一个预先构建好的外部特征空间进行嵌入变换后，得到传统嵌入特征或近似嵌入特征；外部特征空间为传统外部特征空间或近似外部特征空间；嵌入变换采用传统的局部线性嵌入方法或快速近似局部线性嵌入方法实现。

本发明的有益效果在于：

针对遮挡条件下的人脸检测问题，尤其是严重蒙面遮挡条件下的人脸检测问题，本发明的检测方法及装置具有相对较好的性能；对无遮挡情况下的人脸，本发明的人脸检测方法及装置也具备良好的处理能力。

附图说明

图1为本发明一种人脸检测方法的流程图；

图2为本发明装置候选模块流程示意图；

图3为本发明装置嵌入模块流程示意图；

图4为本发明装置验证模块流程示意图；

图5为本发明的近似外部特征空间构造流程示意图。

具体实施方式

为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明如下。

本发明提供一种人脸检测方法及装置，该装置包括候选模块、嵌入模块和验证模块；该方法的流程图如图1所示，其步骤包括：

1)接收图像。所述图像既可以是遮挡条件下的人脸图像或者严重蒙面遮挡条件下的人脸图像，也可以是无遮挡情况下的人脸图像，也可以是不包含人脸的图像。

2)通过候选模块检测出候选人脸并提取候选人脸的高维深度特征，即候选特征。

在候选模块中，先进行候选人脸检测，接着判断是否检测到候选人脸，如果未检测到候选人脸则结束；如果检测到候选人脸则进行候选特征提取，得到候选特征。

请参考图2，所述候选模块主要包含两个卷积神经网络：一个是小的卷积神经网络(称为候选卷积神经网络，简称cnn-p)，该网络用于实现候选人脸检测；另外一个大的卷积神经网络(称为特征卷积神经网络，简称cnn-f)，用于实现候选特征提取。首先，接收到的图像通过候选卷积神经网络，进行候选人脸检测，接着判断是否检测到候选人脸，如果未检测到候选人脸，则结束；如果检测到候选人脸，则先进行候选人脸归一化处理，再通过特征卷积神经网络进行候选特征提取，得到候选特征。

3)通过嵌入模块进行候选特征嵌入，得到嵌入变换后的特征，即传统嵌入特征或近似嵌入特征(统称为嵌入特征)。

由于蒙面遮挡会造成人脸线索缺失及特征噪声，从而导致特征不完整和不精确。针对该问题，本发明技术方案中的嵌入模块实现从候选特征中恢复人脸线索并移除噪声。嵌入模块处理的优点是获得的嵌入特征能够很好地表征蒙面遮挡人脸，从而能够提升检测精度。

请参考图3，在嵌入模块中，候选特征通过一个预先构建好的外部特征空间，进行嵌入变换后，得到传统嵌入特征或近似嵌入特征。所述嵌入变换主要采用lle(locallinearembedding)方法实现。lle是一种针对非线性数据的降维方法，处理后的低维数据能够保持原有的拓扑关系，已经广泛应用于图像数据的分类与聚类、多维数据的可视化以及生物信息学等领域。本发明使用传统的lle方法和快速近似lle方法实现嵌入变换。

4)通过验证模块，进行传统嵌入特征或近似嵌入特征验证，判断每个传统嵌入特征或近似嵌入特征对应的候选人脸是否属于真正人脸，如果该传统嵌入特征或近似嵌入特征对应的候选人脸属于真正人脸，则记录人脸信息；如果该传统嵌入特征或近似嵌入特征对应的候选人脸不属于真正人脸，则结束。

请参考图4，验证模块由一个四层的全连接卷积神经网络(称为验证卷积神经网络，简称cnn-v)组成，以用于进行特征验证，即判别该传统嵌入特征或近似嵌入特征对应的候选人脸是否属于真正人脸并修正对应的候选人脸位置与尺度。如果不属于真正人脸，则忽略该传统嵌入特征或近似嵌入特征对应的候选人脸；如果属于真正人脸，则将该传统嵌入特征或近似嵌入特征对应的修正后的候选人脸位置与尺度加入检测结果中。

通过验证模块对传统嵌入特征或近似嵌入特征进行分类与回归，从而判别出候选属于真正的人脸或非人脸，并对人脸位置与尺度进行修正，从而得到精度更高的人脸检测性能。

因此，本发明提出的一种人脸检测方法及装置联合了候选模块的候选卷积神经网络cnn-p、候选模块的特征卷积神经网络cnn-f、嵌入模块和验证模块的验证卷积神经网络cnn-v，来达到本发明的目的。

下面具体描述嵌入模块的嵌入变换所采用的方法。

1、传统的lle方法。

请参考图3，通过传统的lle方法，将蒙面遮挡的候选特征xi在预先构造好的传统外部特征空间中进行投影变换，得到嵌入特征vi，该嵌入特征vi可以有效消除由于蒙面遮挡带来的特征不完整和不精确问题，具有很好的抗遮挡能力。其中xi的下标i用于标记不同的候选特征；vi的下标i用于标记不同的嵌入特征。嵌入特征vi称为传统嵌入特征。

所述传统外部特征空间由参考人脸特征和参考非人脸特征组成，其表示成特征字典的形式，即d＝[d⁺,d^-]，这里d⁺是参考人脸特征字典，d^-是参考非人脸特征字典，通常来说d⁺和d^-规模都有上百万。

所述参考人脸特征和参考非人脸特征，通过构建参考候选特征集实现。具体地，对标注好的大型无遮挡的参考人脸数据集sn，使用候选模块进行候选人脸检测及候选特征提取。判断候选特征属于人脸特征还是非人脸特征，将这些候选特征分成参考人脸特征和参考非人脸特征，分别存入参考人脸特征字典d⁺和参考非人脸特征字典d^-。其中判断候选特征属于人脸特征还是非人脸特征，是通过计算该候选特征对应的候选人脸位置与标注好的人脸位置之间的重叠度来确定，其重叠度用交并比(intersection-over-union,iou)来度量。通常传统方法中交并比大于0.5被判断为人脸，小于0.5则被判断为非人脸。与传统方法相比，本发明中交并比大于0.7被判断为参考人脸，交并比小于0.3被判断为参考非人脸，使得到的参考人脸与参考非人脸具有更好的区分性，可以保证参考候选特征具有更好的辨识能力。

对于每一个带噪声的候选特征xi，都从d⁺和d^-中选择距离xi最邻近的特征集构成特征子字典di(di的下标i用于标记不同的候选特征对应的特征子字典)，然后利用lle算法进行投影变换，获得一个新的特征表达即传统嵌入特征vi，该过程的求解公式如下：

满足vi≥0(1)

2、快速近似lle方法。

本发明提出一种快速近似lle方法，对于每一个带噪声的候选特征xi，利用快速近似lle方法进行投影变换，获得一个近似嵌入特征该方法求解公式如下：

满足

上述公式(2)中，是近似外部特征空间，该空间是从参考人脸特征字典d⁺和非人脸特征字典d^-中选择具有代表性的特征组成的字典。对每个候选特征xi不再需要构造其对应的特征子字典di，每个候选特征xi都使用固定的近似外部特征空间进行投影变换，得到近似嵌入特征

下面具体描述快速近似lle方法中近似外部特征空间的构造。

所述近似外部特征空间的构造方法是通过从外部的数据库中寻找最相似的参考人脸或差异最大的参考非人脸，进行近似外部特征空间构造。

请参考图5，该图是近似外部特征空间构造的流程图，是从d⁺和d^-中选择最具代表性的特征组成，其包括具有代表性的参考人脸特征字典和具有代表性的参考非人脸特征字典表示为本发明提出的近似外部特征空间构造方法具体分成以下几步：

1)构建参考人脸和参考非人脸特征字典：其与上述传统的lle方法中相同，对标注好的大型无遮挡的参考人脸数据集sn，使用候选模块进行候选人脸检测及候选特征提取。根据候选特征属于人脸特征还是非人脸特征，将这些候选特征分别存入参考人脸特征字典d⁺和参考非人脸特征字典d^-。判断候选特征属于人脸特征还是非人脸特征，是通过计算该候选特征对应的候选人脸位置与标注好的人脸位置之间的重叠度来确定，其重叠度用交并比iou来度量。通常传统方法中交并比大于0.5被判断为人脸，小于0.5则被判断为非人脸。与传统方法相比，本发明中交并比大于0.7被判断为参考人脸，交并比小于0.3被判断为参考非人脸，使得到的参考人脸与参考非人脸具有更好的区分性，可以保证参考候选特征具有更好的辨识能力。

2)构建蒙面人脸和蒙面非人脸特征字典：类似上述步骤1)，对标注好的大型蒙面人脸数据集sm，使用候选模块进行候选人脸检测及候选特征提取。根据候选特征属于蒙面人脸特征还是蒙面非人脸特征，将这些候选特征分成蒙面人脸特征字典和蒙面非人脸特征字典由于蒙面人脸检测的定位精度通常会低于无遮挡的人脸检测，本发明中交并比大于0.6被判断为蒙面人脸，交并比小于0.4被判断为蒙面非人脸，以选择质量更好的蒙面人脸候选特征。

3)选择具有代表性的参考人脸特征字典从参考人脸特征字典d⁺中选择，是d⁺的一个子集即的代表性表明它在代表蒙面人脸时具有好的表征能力同时在代表蒙面非人脸时具有区分能力。从而，在稀疏地代表蒙面人脸特征字典时应有最小的错误，同时在稀疏地代表蒙面非人脸特征字典应有最大的错误。因此，通过求解下列公式(3)得到：

满足

上述公式(3)属于稀疏编码处理，公式中α1和α2分别是利用代表某个蒙面人脸特征x1和某个蒙面非人脸特征x2需要的稀疏系数向量。稀疏系数向量中仅有一个元素是1，其它元素是0。利用稀疏系数向量的约束条件，稀疏编码处理等价于从中寻找最近邻。由于中的各个特征来自于参考人脸特征字典d⁺，公式(3)的优化问题与经典的稀疏编码方式不一样，用经典的优化算法难以进行求解。所以，本发明提出一种贪婪方法有效地从参考人脸特征字典d⁺中构建在提出的贪婪方法中，本发明首先计算参考人脸特征字典d⁺中每个参考人脸特征的损失该损失表示为与蒙面人脸特征字典的最近邻特征的距离和与蒙面非人脸特征字典的最近邻特征的距离之差，其通过以下公式(4)实现：

满足

上述公式(4)中，ρ1和ρ2是两个平衡系数，用于平衡特征之间的距离，实际处理中通常取1以加速计算，每个参考人脸特征很少被用于代表中的蒙面人脸特征和中的蒙面非人脸特征。通过计算损失获得按照损失由小到大升序排列的参考人脸特征列表，列表中排在最前面的参考人脸特征在代表蒙面人脸特征方面的能力最强，而代表蒙面非人脸特征的能力最弱。采用这种方式，能够通过迭代的方式，不断地将列表前m个参考人脸特征加入到一个特征池p+中，构造出最终的优选的，m大于等于1且小于等于50。具体地，令初始特征池为空即然后在第t步采用来选择前m个候选，得到接着，中的特征用于更新然后用于求解公式(3)中的目标函数。

4)选择具有代表性的参考非人脸特征字典从参考非人脸特征字典d^-中选择，是d^-的一个子集即的代表性表明它在代表蒙面非人脸时具有好的表征能力同时在代表蒙面人脸时具有区分能力。从而，在稀疏地代表蒙面非人脸特征字典时应有最小的错误，同时在稀疏地代表蒙面人脸特征字典时应有最大的错误。因此，能够通过求解下列公式(5)得到：

满足

上述公式(5)属于稀疏编码处理，公式中α1和α2分别是利用代表某个蒙面人脸特征x1和某个蒙面非人脸特征x2需要的稀疏系数向量。稀疏系数向量中仅有一个元素是1，其它元素是0。利用稀疏系数向量的约束条件，稀疏编码处理等价于从中寻找最近邻。由于中的各个特征来自于参考非人脸特征字典d^-，公式(5)的优化问题与经典的稀疏编码方式不一样，用经典的优化算法难以进行求解。所以，本发明提出一种贪婪方法有效地从参考非人脸特征字典d^-中构建在提出的贪婪方法中，本发明首先计算参考非人脸特征字典d^-中每个参考非人脸特征的损失该损失表示为与蒙面非人脸特征字典的最近邻特征的距离和与蒙面人脸特征字典的最近邻特征的距离之差，通过以下公式(6)实现：满足

上述公式(6)中，ρ1和ρ2是两个平衡系数，用于平衡特征之间的距离，实际处理中通常取1以加速计算，每个参考非人脸特征很少被用于代表中的蒙面人脸特征和中的蒙面非人脸特征。通过计算损失获得按照损失由小到大升序排列的参考非人脸特征列表，列表中排在最前面的参考非人脸特征在代表蒙面非人脸特征方面的能力最强，而代表蒙面人脸特征的能力最弱。采用这种方式，能够通过迭代的方式，不断地将列表前m个参考非人脸特征加入到一个特征池p-中，构造出最终的优选的，m大于等于1且小于等于50。具体地，令初始特征池为空即然后在第t步采用来选择前m个候选，得到接着，中的特征用于更新然后用于求解公式(5)中的目标函数。

5)合并字典，得到近似外部特征空间

上述步骤中，步骤1)和2)没有严格先后顺序，可以先后或并行进行；步骤3)和4)没有严格先后顺序，可以先后或并行进行。通过上述步骤，构造出近似外部特征空间该近似外部特征空间是从大量参考人脸特征和参考非人脸特征中选择最有代表性的特征组成，其选择策略是通过与大量蒙面人脸特征和蒙面非人脸特征进行比较得到，包含的特征能够很好地代表蒙面人脸特征同时也能区分蒙面非人脸特征，因此利用近似外部特征空间对候选特征进行嵌入投影得到的嵌入特征对蒙面人脸具有很好的表征能力。另一方面，与传统的lle方法相比，本发明提出的快速近似lle方法构造的近似外部特征空间比每个候选特征xi对应的局部特征空间di要大，对每个候选特征xi，进行投影变换后，得到的近似嵌入特征比传统的lle方法得到的传统嵌入特征vi维度要高，一定程度上弥补了快速近似带来的特征表征损失，所以本发明提出的快速近似lle方法构造的近似外部特征空间用于蒙面人脸检测中，对检测精度几乎没有影响。

通过比较近似外部特征空间对应的具有代表性的参考人脸图像和具有代表性的参考非人脸图像的示例，可以发现，选择的具有代表性的参考人脸图像包含不同外观、佩戴、肤色、表情等，因此能够很好地代表蒙面人脸并同时很好地区分蒙面非人脸；选择的具有代表性的参考非人脸图像则是纹理区域、不完整人脸、含较多背景的人脸，因此能够很好地代表蒙面非人脸并同时很好地区分蒙面人脸。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。