一种基于改进损失函数的MDSSD人脸检测方法与流程

本发明涉及小脸检测的
技术领域：
，尤其涉及一种基于改进损失函数的mdssd人脸检测方法。
背景技术：
：随着深度学习的兴起，与人脸相关的智能分析技术成为人工智能领域研究的重点和热点，新的算法不断刷新着人脸相关任务的评分，目前人脸识别技术已经超越人类的最高水平，同时与人脸相关的工业应用也是最广泛的。例如与人脸检测相关的应用有智能安防、城市大脑、安全驾驶以及中国的天网系统等；与人脸识别的相关应用包括人脸支付、智能门禁、人脸考勤、各种智能终端设备的人脸验证等，人脸相关的技术与各种系统的安全息息相关。同时与人脸相关的技术也在不断的应用到生活的方方面面，比如走失儿童寻找、智慧教育等。进一步随着计算机计算能力的提高和5g网络的应用，数据储存的成本和数据传输的延时会越来越低，与人脸相关应用会部署到越来越多的智能终端上，真正实现智能社会而造福人类。人脸检测即智能终端在输入图像上判断是否有人脸存在，并找出人脸所在的位置。人脸检测技术的前提就是能准确的检测到人脸，而不受人脸图像背景的影响。因此人脸检测作为人脸相关任务的基础和核心技术，受到研究人员的广泛关注。基于ssd算法的人脸检测模型能快速准确的识别自然场景图像中的人脸，同时该算法具有较高的检测速度，但是ssd人脸检测算法对自然或非自然场景下小脸检测的召回率仍然有较大的提升空间，因此需要构建新的网络mdssd模型，即mixdeconvolutionsingleshotmultiboxdetector用于人脸检测，mdssd算法对ssd算法在人脸检测方面的诸多缺点进行改进，包括模型结构、检测特征图、参数配置、损失函数等，并通过机器学习方法对模型进行配置以减少人为经验干预，大幅度提高了模型的检测效果。技术实现要素：本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。鉴于上述现有存在的问题，提出了本发明。因此，本发明提供了一种基于改进损失函数的mdssd人脸检测方法，能够解决对自然或非自然场景下小脸检测的召回率不高的问题。为解决上述技术问题，本发明提供如下技术方案：包括，mdssd网络利用先验框机制对人脸区域检测并对候选区域进行分类和框回归；根据k-means对groundtruth框进行聚类分析，寻找最佳的先验框数量、大小和比例；所述mdssd网络将focalloss代替分类网络中的交叉熵损失函数，对聚类分析后的所述先验框进行人脸和背景的检测分类。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：所述mdssd网络包括，对深层特征图或深层融合层进行0填充，结合3*3卷积对填充特征图进行反卷积运算，在保证感受野范围不变的条件下使所述特征图的分辨率翻倍；利用与浅层特征图通道维度相同的卷积核数量以保证所述反卷积运算输出维度与所述浅层融合特征图维度匹配；mdssd特征融合时只对所述浅层特征图与反卷积特征图对应位置进行相加运算，以增强有效上下文信息；所述mdssd通过在融合层添加激活层以进行非线性映射，并将激活后的所述融合层作为最终的检测特征图。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：包括，所述mdssd网络将ssd作为基础网络模型；剔除ssd网络中block6和block7的dropout层；添加多层融合mixedlayer3和单层融合mixedlayer4和mixedlayer7；所述mdssd网络模型还增加了l2normalization层以减小与检测层的差异。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：所述先验框机制需要考虑有效感受野，包括，卷积神经网络中层与层之间均为局部相连，使得神经元无法对原始图像的所有信息进行感知；若所述感受野越大，则获取的全局信息越多，即所述特征图所包含的全局的、高级的语义特征越丰富；若神经元感受野越小，则所述特征图所包含的特征越低级，所包含的信息更多是局部和纹理。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：还包括，所述先验框需要与所述groundtruth框进行匹配以划分正负样本；若所述先验框大小、比例与真实的所述groundtruth框差距越大，则计算交并比的误差越大；若所述先验框大小、比例与真实的所述groundtruth框差距越小，则计算交并比的误差越小。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：利用自定义iou距离作为度量距离进行所述聚类分析，包括，diou(box,centroid)＝1-iou(box,centroid)聚类的损失是所述groundtruth框与簇中心的所述iou距离，若所述iou距离越小，则iou值越大；定义簇数k并随机初始化簇中心(wi,hi),i∈{1,2,…,k}，其中，wi,hi分别表示簇中心的长和宽；将所述簇中心与所述groundtruth框中心置于坐标原点并计算每个groundtruth框与所述簇的所述iou距离；对所述groundtruth框分配为iou距离最小的簇，当所有的所述groundtruth框分配完毕后重新计算所述簇中心；不断更新直至所述簇中心不再改变，将所述簇中心的中位数作为最终的先验框大小和比例。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：还包括，利用肘策略确定最佳的簇数，当k＝17时，所述损失函数下降缓慢趋于平稳，综合考虑各个检测层设置，确定最佳聚类簇数为17。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：所述损失函数包括，其中，x为样本标签，y′为模型输出值，α为样本平衡因子，γ是样本权重调节因子。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：还包括，当x＝1时，即输入为正样本，则预测值越大，所述样本越容易分类，且样本权重越小。作为本发明所述的基于改进损失函数的mdssd人脸检测方法的一种优选方案，其中：还包括，所述样本平衡因子α可以调节正负样本在损失函数中的比重，且在模型训练过程中通常设置α＝0.25，γ＝2。本发明的有益效果：本发明针对基于ssd算法在人脸检测中的缺陷如样本不平衡、分类置信度低、小脸检测召回率低等问题对ssd网络结构、损失函数、模型预设等进行改进，提出mdssd算法，mdssd算法重新设计了网络结构和检测模块，并将检测层提前，同时对标注人脸的groundtruth框进行聚类分析，以寻找每个检测层的最佳先验框数量和比例；同时，本发明训练了mdssd模型并对模型进行测试分析，实验结果显示，mdssd算法相对于ssd其对小脸和模糊人脸召回率更高，同时其仍然保持了较快的检测速度。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的流程示意图；图2为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的转置卷积示意图；图3为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的单层特征融合示意图；图4为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的mdssd结构示意图；图5为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的聚类elbow示意图；图6为本发明一个实施例所述的基于改进损失函数的mdssd人脸检测方法的聚类结果可视化示意图。具体实施方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。实施例1参照图1～图4，为本发明的第一个实施例，提供了一种基于改进损失函数的mdssd人脸检测方法，包括：s1：mdssd网络利用先验框机制对人脸区域检测并对候选区域进行分类和框回归。其中需要说明的是，mdssd网络包括：对深层特征图或深层融合层进行0填充，结合3*3卷积对填充特征图进行反卷积运算，在保证感受野范围不变的条件下使特征图的分辨率翻倍；利用与浅层特征图通道维度相同的卷积核数量以保证反卷积运算输出维度与浅层融合特征图维度匹配；mdssd特征融合时只对浅层特征图与反卷积特征图对应位置进行相加运算，以增强有效上下文信息；mdssd通过在融合层添加激活层以进行非线性映射，并将激活后的融合层作为最终的检测特征图。进一步的，还包括：mdssd网络将ssd作为基础网络模型；剔除ssd网络中block6和block7的dropout层；添加多层融合mixedlayer3和单层融合mixedlayer4和mixedlayer7；mdssd网络模型还增加了l2normalization层以减小与检测层的差异。s2：根据k-means对groundtruth框进行聚类分析，寻找最佳的先验框数量、大小和比例。本步骤需要说明的是，先验框机制需要考虑有效感受野，包括：卷积神经网络中层与层之间均为局部相连，使得神经元无法对原始图像的所有信息进行感知；若感受野越大，则获取的全局信息越多，即特征图所包含的全局的、高级的语义特征越丰富；若神经元感受野越小，则特征图所包含的特征越低级，所包含的信息更多是局部和纹理；先验框需要与groundtruth框进行匹配以划分正负样本；若先验框大小、比例与真实的groundtruth框差距越大，则计算交并比的误差越大；若先验框大小、比例与真实的groundtruth框差距越小，则计算交并比的误差越小。具体的，利用自定义iou距离作为度量距离进行聚类分析，包括：diou(box,centroid)＝1-iou(box,centroid)聚类的损失是groundtruth框与簇中心的iou距离，若iou距离越小，则iou值越大；定义簇数k并随机初始化簇中心(wi,hi),i∈{1,2,…,k}，其中，wi,hi分别表示簇中心的长和宽；将簇中心与groundtruth框中心置于坐标原点并计算每个groundtruth框与簇的iou距离；对groundtruth框分配为iou距离最小的簇，当所有的groundtruth框分配完毕后重新计算簇中心；不断更新直至簇中心不再改变，将簇中心的中位数作为最终的先验框大小和比例。s3：mdssd网络将focalloss代替分类网络中的交叉熵损失函数，对聚类分析后的先验框进行人脸和背景的检测分类。其中还需要说明的是，损失函数包括：其中，x为样本标签，y′为模型输出值，α为样本平衡因子，γ是样本权重调节因子；利用肘策略确定最佳的簇数，当k＝17时，损失函数下降缓慢趋于平稳，综合考虑各个检测层设置，确定最佳聚类簇数为17；当x＝1时，即输入为正样本，则预测值越大，样本越容易分类，且样本权重越小；样本平衡因子α可以调节正负样本在损失函数中的比重，且在模型训练过程中通常设置α＝0.25，γ＝2。参照图2，卷积运算的逆过程称为转置卷积或反卷积，是一种带有可学习参数的特殊上采样卷积操作，转置卷积是卷积的反向过程，即两种运算的前向转播与反向传播过程是互逆的；但所谓的逆过程仅仅是指转置卷积只能还原输入特征图的大小而不能还原原始特征图的特征值，故转置卷积最大的用途是上采样；步长大于1的卷积运算是等距下采样，会使得输出特征图尺寸小于输入特征图，而转置卷积使用步长小于1的卷积进行上采样，从而使特征图尺寸变大；实现上采样的传统方法是应用插值或人工创建规则，而转置卷积则是让网络从数据中学习合适的变换，无需人为干预；转置卷积实现过程中，首先在输入特征图的特征单元中插入s-1个0作为新输入特征图，然后对插值之后的特征图进行卷积运算，当输入特征图大小为i×i，转置卷积步长为s，卷积核大小为k×k，填充大小为p时，转置卷积输出特征图大小为s(i-1)+k-2p，在mdssd算法中通过转置卷积对低分辨率特征图进行上采样，实现浅层纹理特征与高层语义特征的融合。参照图3，ssd网络设置多个检测特征图，并在不同特征图检测不同大小的人脸，浅层特征图由于其有较小的感受野因而适用于小脸检测，随着网络卷积层数的增加感受野不断扩大，特征图分辨率不断降低，因而深层特征图更适合大脸检测；在深度卷积神经网络中浅层特征图含有的语义特征不丰富，而且受限于小脸的分辨率和信息，因此对小脸检测是富有挑战性的任务；深度卷积神经网络中浅层特征图分辨率高，包含更多低级的纹理特征，但是由于特征提取不丰富，因而其包含的语义特征较少，噪声更多，而深层特征图经过多次卷积运算，提取的语义信息更丰富，但其对纹理等一些低级特征的感知能力较差，因此mdssd算法通过引入上下文信息的方式来改进对小脸的检测，即通过融合多个特征层来提升人脸检测的性能；层引入上下文信息能够显著提高模型的检测能力，丰富浅层特征图的语义信息，但引入过多的上下文信息会引入大量的噪声，从而影响低分辨率小脸的检测，因此本实施例根据人脸检测任务设计了多层融合和单层融合两种特征融合策略，并只对用于检测小脸的浅层检测层添加特征融合模块，对于较低层的特征图使用多层融合策略，即使用深层融合模块的反卷积层与该特征图进行融合，而对于高层特征图只进行单层融合，即该特征层只与下一模块的反卷积层融合。参照图4，mdssd网络使用ssd作为基础网络，仍然以vgg16作为主干网络且保持原有的卷积核数量和模型结构，但mdssd去掉了ssd网络中block6和block7的dropout层，同时网络添加了两种特征融合模块用于小脸检测，mdssd网络分别添加了一个多层融合模块mixed_layer3和两个单层融合模块mixed_layer4和mixed_layer7，由于vgg16的conv3_3层位于较浅层，且该层检测的人脸分辨率较低，如果单独融合conv4_4层并不能有效地融合有用的语义特征，因此mdssd网络将conv3_3与融合模块mixed_layer4进行融合，其中mixed_layer4是conv4_3与block7的卷积层进行融合，从而实现conv3_3的多层融合，mixed_layer7是block7的卷积层与block8卷积层进行融合用于正常小脸检测，同样，由于mixed_layer3和mixed_layer4层位置比较靠前，其数据尺度较大，所以mdssd模型在该检测模块后增加l2normalization层以减小与后面检测层的差异，增加该层数据之间的差异性。优选的，本实施例还需要说明的是，类似于ssd的一阶段人脸检测算法取消了候选区域提名阶段，极大地提高了人脸检测速度，但一阶段人脸检测算法同时带来了比较严重的样本不平衡问题；在一阶段人脸检测算法中，输入的人脸图像可能会生成成千上万的预选框，但是其中只有很少一部分是包含真实人脸的候选框，使得训练样本中会存在大量负样本即背景区域，在训练过程中这些负样本会对损失的下降起主要作用，从而主导梯度的更新方向，使得模型不能很好地对人脸和背景进行分类；而本发明的mdssd算法使用focalloss代替分类网络中的交叉熵损失函数，且focalloss通过添加两个平衡因子来解决模型训练过程中的难分样本学习和正负样本不平衡问题。实施例2参照图5和图6，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于改进损失函数的mdssd人脸检测方法的验证，包括：本实施例通过对标注图像聚类发现，所有的簇中心有4种不同的比例分别为{0.55,0.65,0.75,1}，当输入为300×300的人脸图像时，由于人脸姿势和模型数据增强会导致不同尺度人脸对应不同比例的groundtruth框，小尺度人脸比例接近于{0.65,0.75,1}，大尺度人脸比例接近{0.55,0.65,1}。通过计算每个簇中心groundtruth的尺度确定每个检测层的数量，同时根据每个检测层的感受野大小将17个先验框分配至7个不同的检测层，具体检测层设置如下表所示：表1：mdssd检测层参数配置表。优选的是，本实施例为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的自然ssd算法与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的真实效果。传统的自然ssd算法对于非自然场景下小脸检测的召回率较低，存在人为经验干预，影响检测效果，为验证本发明方法相较于传统方法具有较高的召回率和较好的检测效果，本实施例中将采用传统的自然ssd算法和本发明方法分别对某非自然场景下的小脸进行随机测量对比。测试环境：(1)delltower服务器、windows10操作系统、nvidagtx1080tigup和intercorei7-8700@3.20ghz；(2)内存32g、显存8g；(3)ssd模型和mdssd模型均采用python3.6基于tensorflow1.14框架实现。表2：参数设置表。参数ssd网络mdssd网络主干网络初始化方法vgg16ssd批量大小(batchsize)3232优化方法adamadamadam_bate10.90.9adam_bate20.9990.999学习率0.0010.001学习率衰减率0.900.90迭代次数5000050000表3：两种方法召回率对比结果表。参照表2和表3，能够直观的看出，传统方法和本发明方法在相同的参数设置情况下进行召回率的对比，传统方法随着样本训练迭代次数的递增，召回率逐渐减小，而本发明方法则是保持稳定状态，且一直高于传统方法的召回率，基于此，验证了本发明方法的真实技术效果。应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。当前第1页12