应用于移动端的人脸检测方法及装置与流程

文档序号:23654596发布日期:2021-01-15 13:51阅读:61来源:国知局
应用于移动端的人脸检测方法及装置与流程

本发明涉及大数据技术领域,尤其涉及一种应用于移动端的人脸检测方法及装置。



背景技术:

人脸检测属于目标检测领域,即给一幅图像找到其中所有人脸的位置,并用矩形框将人脸框起来输出矩形框的位置和尺寸。人脸检测算法可以分为三个阶段,分别是早期传统算法阶段、adaboost框架阶段,以及深度学习算法时代。其中深度学习算法无论在速度还是精度上都远优于其他方法。现阶段主流的人脸检测算法有mtcnn、faceness-net、facer-cnn、ssh等。这些算法的网络往往在gpu加速的情况下才能达到较快的速度,且模型较大不适用在手机等移动端,或是经过模型压缩后精度下降严重。



技术实现要素:

本发明实施例提出一种应用于移动端的人脸检测方法,用以在移动端快速地实现人脸检测,精度高,该方法包括:

构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;

在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。

本发明实施例提出一种应用于移动端的人脸检测装置,用以在移动端快速地实现人脸检测,精度高,该装置包括:

超轻量级人脸检测模型构建模块,用于构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;

人脸检测模块,用于在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。

本发明实施例还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述应用于移动端的人脸检测方法。

本发明实施例还提出了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述应用于移动端的人脸检测方法的计算机程序。

在本发明实施例中,构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。在上述过程中,构建了超轻量级人脸检测模型,该超轻量级人脸检测模型包括深度可分离dw卷积层,深度可分离dw卷积层可从人脸图像中提取出多种不同尺寸的特征图,相对于现有的深度学习算法,提取过程中参数量少,达到了网络参数轻量化的目的,使得整体人脸检测速度快;该超轻量级人脸检测模型包括多个权值筛选模块,且所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,从而对不同尺寸的特征图从通道域和空间域进行了两次筛选,大大减少了后续分类和回归的网络参数量,即进一步提高了整体人脸检测速度;且通过深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块的结合,应用超轻量级人脸检测模型进行人脸检测的精度高,适用于移动端。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1为本发明实施例中应用于移动端的人脸检测方法的流程图;

图2为本发明实施例中超轻量级人脸检测模型的全卷积神经网络主干示意图;

图3为本发明实施例中视觉感受野模块的结构示意图;

图4为图2对应的超轻量级人脸检测模型中dw卷积层和视觉感受野rfb模块的参数示例;

图5为本发明实施例中权值筛选模块的结构示意图;

图6为本发明实施例中应用于移动端的人脸检测装置的示意图;

图7为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。

在本说明书的描述中,所使用的“包含”、“包括”、“具有”、“含有”等,均为开放性的用语,即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施,其中的步骤顺序不作限定,可根据需要作适当调整。

图1为本发明实施例中应用于移动端的人脸检测方法的流程图,如图1所示,该方法包括:

步骤101,构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;

步骤102,在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。

在本发明实施例中,构建了超轻量级人脸检测模型,该超轻量级人脸检测模型包括深度可分离dw卷积层,深度可分离dw卷积层可从人脸图像中提取出多种不同尺寸的特征图,相对于现有的深度学习算法,提取过程中参数量少,达到了网络参数轻量化的目的,使得整体人脸检测速度快;该超轻量级人脸检测模型包括多个权值筛选模块,且所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,从而对不同尺寸的特征图从通道域和空间域进行了两次筛选,大大减少了后续分类和回归的网络参数量,即进一步提高了整体人脸检测速度;且通过深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块的结合,应用超轻量级人脸检测模型进行人脸检测的精度高,适用于移动端。

具体实施时,超轻量级人脸检测模型以深度可分离dw(depthwiseseparableconvolution)卷积核为主的全卷积神经网络为主干,在网络底层利用三个分枝的特征图(featuremap)进行人脸的检测,在分类和回归前加入权值筛选模块(wsn模块)减少回归目标框的计算量。整个网络的参数根据实际应用场景进行设置,可以快速准确检测人脸。同时,超轻量级人脸检测模型可以压缩到2m以下,达到超轻量的目的。图2为本发明实施例中超轻量级人脸检测模型的全卷积神经网络主干示意图。需要注意的是,图2只是一个示意图,图2上的特征图的尺寸只是示例。

在一实施例中,所述深度可分离dw卷积层包括1个3×3标准卷积、多个dw卷积和多个1×1卷积,其中每个dw卷积后都对应一个1×1卷积。

参见图2,在上述实施例中,每个dw卷积后对应的一个1×1卷积未示出。以图2为例,假设输入图像尺寸为640×480,首先经过1个3×3的标准卷积,之后堆叠一系列的dw卷积,在每个dw卷积后加入一个1×1卷积来扩展通道数。采用dw卷积的目的是减少参数量同时增加不同特征图间的信息交流。

在不采用多个dw卷积时,例如,对于标准卷积,假设输入为5×5像素、三通道(shape为5×5×3),经过3×3的标准卷积的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4,最终输出4个特征图featuremap。因此该标准卷积的卷积层的参数数量可以用如下公式来计算:4×3×3×3=108。

而在采用深度可分离dw卷积时,一个通道只被一个卷积核卷积,即卷积核的数量与上一层的通道数相同。同样是上面的输入,经过3个3×3的卷积核形成3个特征图featuremap,卷积层的参数数量为3×3×3=27。虽然参数量降低但是单一的dw卷积无法扩展特征图featuremap的数量,而且是每个通道独立进行卷积,没有有效的利用不同通道在相同空间位置上的特征feature信息,因此后续需要加入1×1卷积扩展特征图featuremap的数量。假设经dw卷积后得到了3个特征图featuremap,则1×1卷积的卷积核尺寸为1×1×m,这里的卷积运算会将上一步的特征图featuremap在深度方向上进行加权组合,生成新的特征图featuremap。有几个卷积核就有几个输出特征图featuremap。假设类似标准卷积,仍要生成4个特征图featuremap,则需要4个1×1卷积核。所以此步中卷积涉及到的参数数量可以计算为:1×1×3×4=12。总共的参数数量为27+12=39相比不采用dw卷积时的108大大减少,达到网络参数轻量化的目的。

另外,为了增加超轻量级人脸检测模型的鲁棒性,在图2所示的全卷积神经网络为主干中间加入了视觉感受野模块(rfb模块)。

在一实施例中,所述深度可分离dw卷积层还包括视觉感受野模块,所述视觉感受野模块包括不同尺寸的卷积核构成的多分枝结构、每个分枝结构前的卷积、膨胀卷积层和融合层,其中膨胀卷积层包括与每个分枝结构对应的不同尺寸的空洞卷积,所述不同尺寸的空洞卷积是采用相同尺寸的卷积核根据不同的空洞率形成的。

图3为本发明实施例中视觉感受野模块的结构示意图,视觉感受野模块的功能是模仿人类视觉对相同尺寸物体具备不同尺寸的感受野,从而加强特征提取能力。参见图3,1×1卷积、3×3卷积和4×4卷积为不同尺寸的卷积核构成的多分枝结构,其目的是增加网络的宽度并且形成不同尺寸的感受野;图3中,在多分枝结构前分别加上1×1卷积可降低特征图featuremap的厚度减少计算量;图3中,1×1卷积这个分枝对应的空洞卷积为3×3卷积根据空洞率rate=1形成的,3×3卷积这个分枝对应的空洞卷积为3×3卷积根据空洞率rate=2形成的,5×5卷积这个分枝对应的空洞卷积为3×3卷积根据空洞率rate=3形成的,膨胀卷积层的作用是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息;图3中,融合层将膨胀卷积层中与每个分枝结构对应的不同尺寸的空洞卷积进行融合,融合时,将与每个分枝结构对应的不同尺寸的空洞卷积进行合并,并加入一个1×1卷积,形成合并卷积。视觉感受野模块的输出为该合并卷积与经过1×1卷积后的输入的和。

在采用了图2中所示的dw卷积及视觉感受野模块后,图4为图2对应的超轻量级人脸检测模型中dw卷积层和视觉感受野rfb模块的参数示例,其中,s1代表步长为1,s2代表步长为2,conv为标准卷积,convdw为dw卷积,当然,可以理解的是,具体参数可根据实际情况修改,这里不再赘述。

在图4的参数对应的超轻量级人脸检测模型中,经过rfb模块经过一系列步长为2的dw卷积将特征图featuremap进一步降维形成40×30、20×15、10×8三个不同尺寸的特征图featuremap。为了减少计算量使超轻量级人脸检测模型的网络进一步轻量化,在每一分枝的分类回归模块前加入权值筛选wsn模块,图5为本发明实施例中权值筛选模块的结构示意图。

在构建的超轻量级人脸检测模型中,权值筛选模块的作用是在训练过程中,根据响应的大小对特征图featuremap的通道域和空间域重新赋予权值,最后设定阈值将权值较小的部分滤除不参与后续计算,大大减少分类回归模块的计算量和网络参数量。为了实现重现充分筛选,本发明实施例提出的权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图。可见,上述权值筛选模块分别从通道域和空间域对不同尺寸的特征图进行了筛选,对于减少分类回归模块的计算量和网络参数量的效果会非常明显。

在一实施例中,所述通道域权值筛选模块包括全局平均池化层、第一全连接层、第二全连接层、第一sigmond激活函数和第一权值筛选层,全局平均池化层用于对每个通道域的特征图的第一特征向量求平均值后进行压缩获得第二特征向量,第一全连接层用于对所述第二特征向量进行线性组合后进行压缩获得第三特征向量,第二全连接层用于对第三特征向量进行高度非线性变换后进行尺寸还原,获得权值重新分配的第一特征向量,第一sigmond激活函数用于将权值重新分配的第一特征向量的权值映射到[0,1]范围内,获得映射后的第一特征向量,第一权值筛选层用于将权值小于第一设定阈值的映射后的第一特征向量对应的通道域删除,获得通道域筛选后的特征图。

在一实施例中,所述空间域权值筛选模块包括卷积层、第二sigmond激活函数、第二权值筛选层,卷积层用于对通道域筛选后的特征图进行卷积,获得卷积后的特征图,第二sigmond激活函数用于将卷积后的特征图的特征向量的权值映射到[0,1]范围内,获得映射后的第四特征向量,第二权值筛选层用于根据第二设定阈值和映射后的第四特征向量,进行空间域权值筛选,获得空间域权值筛选后的特征图。

在上述实施例中,首先进行通道域的权值筛选,以图2中dw卷积层提取了3种尺寸的特征图即三个分枝为例,在图5中,假设每个分枝初始的特征图featuremap大小为m×n×c1,m和n分别为长和宽,c1为通道数。通过全局平均池化层对每个通道域的特征图featuremap的第一特征向量求平均值后进行压缩产生1×c1维的第二特征向量。然后,接一个尺寸为1×c1/16的第一全连接层对第二特征向量进行线性组合后进行压缩获得第三特征向量,之后再接一个1×c1的第二全连接层对第三特征向量进行高度非线性变换后进行尺寸还原,获得权值重新分配的第一特征向量,通过上述过程,可以将原始的第一特征向量进行权值的重新分配,接着通过第一sigmond激活函数将权值重新分配的第一特征向量的权值映射到[0,1]范围内,获得映射后的第一特征向量,最后第一设定阈值将映射后的第一特征向量上权值小于该第一设定阈值的映射后的第一特征向量对应的通道阈删掉,形成m×n×c2(c2<c1)的特征图featuremap,即通道域筛选后的特征图,至此完成通道域的权值筛选。

之后进行空间域的权值筛选,同样以图2中dw卷积层提取了3种尺寸的特征图即三个分枝为例,对上述m×n×c2的特征图featuremap(即通道域筛选后的特征图)在空间上进行3×3卷积并保证得到的卷积后的特征图featuremap在空间维度上与输入的3种尺寸的特征图featuremap一致。该过程相当于在训练过程中对特征图featuremap上目标区域的位置进行学习,根据响应大小重新分配权值;然后通过第二sigmond激活函数将卷积后的特征图的特征向量的权值映射到[0,1]范围内,获得映射后的第四特征向量。第二权值筛选层用于根据第二设定阈值和映射后的第四特征向量,进行空间域权值筛选,获得空间域权值筛选后的特征图,具体包括:基于第二设定阈值,将映射后的第四特征向量对应的特征图featuremap上小于第二设定阈值的像素点置0其余置1生成权值掩膜,该权值掩膜与输入的特征图featuremap相乘可以将输入的特征图featuremap上非目标区域置0,目标区域的权值保留,至此完成空间域的阈值筛选,获得空间域权值筛选后的特征图。

在上述步骤的基础上,后续分类回归模块在空间域权值筛选后的特征图featuremap上构造多个不同尺寸的预测框对人脸位置进行回归。如果不进行筛选,需要在每个特征图featuremap上的每一个像素点构造预测框defaultboxes。而经过筛选后,不仅减少了特征图featuremap的数量,而且在每一个特征图featuremap上对像素点也进行了筛选,大大减少了所需要构造的预测框的数量,在通道域和空间域两个维度上做到了压缩网络参数的目的。

在一实施例中,分类回归模块包括分类模块和回归模块,其中,分类模块用于对特征图中人脸与背景进行分类,回归模块用于对分类获得的人脸的预测框进行回归,获得人脸的预测框的参数;

分类模块包括一组卷积核和softmax分类器,其中,卷积核用于对人脸的预测框进行特征提取,softmax分类器用于基于提取的人脸的预测框的特征,对特征图中人脸与背景进行分类。

在上述实施例中,深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,形成了多个分枝的特征图,在每一个分枝的特征图eaturemap上,都分别进行需要进行人脸与背景的分类,以及人脸的预测框的,实际上是对所有的人脸的预测框defaultbox进行分类和回归。由于只对人脸进行检测,所以人脸的预测框defaultbox尺寸大致按照人脸的长宽比来设置,这样可以使其在训练的时候更快的与实际标签label相匹配。训练时每个人脸的预测框defaultbox找到与其iou最大的那个groundtruth(阈值设为0.6)称为匹配成功。匹配成功的人脸的预测框defaultbox为正样本否则为负样本。分类模块包括一组卷积核和softmax分类器,其中,卷积核用于对人脸的预测框进行特征提取,softmax分类器用于基于提取的人脸的预测框的特征,对特征图中人脸与背景进行分类。其中,上述一组卷积核可以为3×3卷积核。回归模块,利用人脸的预测框的中心坐标、长、宽与groundtruth计算损失函数loss来回归出预测框的参数,这样获得了准确的预测框。

上述获得的预测框也是人脸检测结果,但是为了提高上述预测框的准确度,本发明实施例考虑了加入非极大值抑制模块,用于将不同尺寸的特征图featuremap预测出的所有人脸的预测框boundingboxes进行nms(非极大值抑制),即对所有人脸的预测框按照置信度进行排序,选出置信度最高的预测框,并计算其与其他预测框的iou(交并比),从其他预测框中去除掉交并比超过预设值的预测框,以此来抑制掉一部分重叠或者不正确的预测框boundingboxes,生成最终的预测框boundingboxes集合,即人脸检测结果。

下面给出一个具体实施例,来说明本发明实施例提出的方法的具有应用。

在一些养老社区,可以采用人脸检测进行来访登记。这样的好处是,刷脸登记省去了填写资料、提交资料等步骤,对老记忆力或自理能力欠佳的老年人群体更为友好。通过人脸识别,甚至可以了解每位老人的资料,包括健康档案、服务需求等,帮助服务中心提供更个性化和贴心的智能养老服务。

具体操作时,例如进行核保时,需要先验证是否是用户本人的操作,这时首先第一步需要用户使用手机根据一系列语音提示做相应的点头、摇头等动作进行活体验证,然后将视频信息传到后台进行身份验证。在动态活体检测阶段可以利用本发明实施例提出的方法,快速准确地得到人脸位置,为后续动作判断和身份验证提供保障。

综上所述,在本发明实施例提出的方法中,构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。在上述过程中,构建了超轻量级人脸检测模型,该超轻量级人脸检测模型包括深度可分离dw卷积层,深度可分离dw卷积层可从人脸图像中提取出多种不同尺寸的特征图,相对于现有的深度学习算法,提取过程中参数量少,达到了网络参数轻量化的目的,使得整体人脸检测速度快;该超轻量级人脸检测模型包括多个权值筛选模块,且所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,从而对不同尺寸的特征图从通道域和空间域进行了两次筛选,大大减少了后续分类和回归的网络参数量,即进一步提高了整体人脸检测速度;且通过深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块的结合,应用超轻量级人脸检测模型进行人脸检测的精度高,适用于移动端。另外,本发明方法加入了rfb模块模拟人眼的多感受野变化,加强特征的提取能力。通过本发明方法,用户在利用手机等移动端进行身份验证时可以快速流畅的完成面部视频采集,增强用户的体验。通过本发明方法还提高了人脸检测的准确率,从而提高了动态活体检测的准确率,同时提高了后台进行身份验证的准确率。

本发明实施例还提出一种应用于移动端的人脸检测装置,其原理与应用于移动端的人脸检测方法类似,这里不再赘述。

图6为本发明实施例中应用于移动端的人脸检测装置的示意图,如图6所示,该装置包括:

超轻量级人脸检测模型构建模块601,用于构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;

人脸检测模块602,用于在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。

在一实施例中,所述深度可分离dw卷积层包括1个3×3标准卷积、多个dw卷积和多个1×1卷积,其中每个dw卷积后都对应一个1×1卷积。

在一实施例中,所述深度可分离dw卷积层还包括视觉感受野模块,所述视觉感受野模块包括不同尺寸的卷积核构成的多分枝结构、每个分枝结构前的卷积、膨胀卷积层和融合层,其中膨胀卷积层包括与每个分枝结构对应的不同尺寸的空洞卷积,所述不同尺寸的空洞卷积是采用相同尺寸的卷积核根据不同的空洞率形成的。

在一实施例中,所述通道域权值筛选模块包括全局平均池化层、第一全连接层、第二全连接层、第一sigmond激活函数和第一权值筛选层,全局平均池化层用于对每个通道域的特征图的第一特征向量求平均值后进行压缩获得第二特征向量,第一全连接层用于对所述第二特征向量进行线性组合后进行压缩获得第三特征向量,第二全连接层用于对第三特征向量进行高度非线性变换后进行尺寸还原,获得权值重新分配的第一特征向量,第一sigmond激活函数用于将权值重新分配的第一特征向量的权值映射到[0,1]范围内,获得映射后的第一特征向量,第一权值筛选层用于将权值小于第一设定阈值的映射后的第一特征向量对应的通道域删除,获得通道域筛选后的特征图;

在一实施例中,所述空间域权值筛选模块包括卷积层、第二sigmond激活函数、第二权值筛选层,卷积层用于对通道域筛选后的特征图进行卷积,获得卷积后的特征图,第二sigmond激活函数用于将卷积后的特征图的特征向量的权值映射到[0,1]范围内,获得映射后的第四特征向量,第二权值筛选层用于根据第二设定阈值和映射后的第四特征向量,进行空间域权值筛选,获得空间域权值筛选后的特征图。

在一实施例中,分类回归模块包括分类模块和回归模块,其中,分类模块用于对特征图中人脸与背景进行分类,回归模块用于对分类获得的人脸的预测框进行回归,获得人脸的预测框的参数;

分类模块包括一组卷积核和softmax分类器,其中,卷积核用于对人脸的预测框进行特征提取,softmax分类器用于基于提取的人脸的预测框的特征,对特征图中人脸与背景进行分类。

在一实施例中,非极大值抑制模块具体用于:

对所有人脸的预测框按照置信度进行排序,确定置信度最高的预测框;

计算置信度最高的预测框与其他预测框的交并比;

从其他预测框中去除掉交并比超过预设值的预测框,获得人脸检测结果。

综上所述,在本发明实施例提出的装置中,构建超轻量级人脸检测模型,对所述超轻量级人脸检测模型进行训练,获得训练好的超轻量级人脸检测模型;其中,所述超轻量级人脸检测模型包括深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块,所述深度可分离dw卷积层用于从人脸图像中提取出多种不同尺寸的特征图,所述权值筛选模块用于对不同尺寸的特征图进行筛选,所述分类回归模块用于对对应权值筛选模块输出的筛选后的特征图进行分类和回归,获得人脸的预测框,所述非极大值抑制模块用于根据所有分类回归模块输出的人脸的预测框,获得人脸检测结果;所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,其中,通道域权值筛选模块用于在通道域对不同尺寸的特征图进行筛选,获得通道域筛选后的特征图,空间域权值筛选模块用于在空间域对通道域筛选后的特征图进行筛选,获得空间域权值筛选后的特征图;在获得待检测人脸图像后,输入至训练好的超轻量级人脸检测模型中,获得人脸检测结果。在上述过程中,构建了超轻量级人脸检测模型,该超轻量级人脸检测模型包括深度可分离dw卷积层,深度可分离dw卷积层可从人脸图像中提取出多种不同尺寸的特征图,相对于现有的深度学习算法,提取过程中参数量少,达到了网络参数轻量化的目的,使得整体人脸检测速度快;该超轻量级人脸检测模型包括多个权值筛选模块,且所述权值筛选模块包括通道域权值筛选模块和空间域权值筛选模块,从而对不同尺寸的特征图从通道域和空间域进行了两次筛选,大大减少了后续分类和回归的网络参数量,即进一步提高了整体人脸检测速度;且通过深度可分离dw卷积层、多个权值筛选模块、与每个权值筛选模块连接的分类回归模块、与多个分类回归模块连接的非极大值抑制模块的结合,应用超轻量级人脸检测模型进行人脸检测的精度高,适用于移动端。另外,本发明装置加入了rfb模块模拟人眼的多感受野变化,加强特征的提取能力。通过本发明装置,用户在利用手机等移动端进行身份验证时可以快速流畅的完成面部视频采集,增强用户的体验。通过本发明装置还提高了人脸检测的准确率,从而提高了动态活体检测的准确率,同时提高了后台进行身份验证的准确率。

本申请的实施例还提供一种计算机设备,图7为本发明实施例中计算机设备的示意图,该计算机设备能够实现上述实施例中的应用于移动端的人脸检测方法中全部步骤,所述计算机设备具体包括如下内容:

处理器(processor)701、存储器(memory)702、通信接口(communicationsinterface)703和通信总线704;

其中,所述处理器701、存储器702、通信接口703通过所述通信总线704完成相互间的通信;所述通信接口703用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输;

所述处理器701用于调用所述存储器702中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的应用于移动端的人脸检测方法中的全部步骤。

本申请的实施例还提供一种计算机可读存储介质,能够实现上述实施例中的应用于移动端的人脸检测方法中全部步骤,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的应用于移动端的人脸检测方法的全部步骤。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1