单步人脸检测器优化系统、方法、装置与流程

本发明属于模式识别技术领域，具体涉及一种单步人脸检测器优化系统、方法、装置。

背景技术：

人脸检测是一种在任意输入图像中决定是否存在人脸并返回每一个人脸位置的技术，其广泛应用于计算机视觉等领域，例如人脸识别、人脸追踪和人脸分析等。

目前在人脸检测模型中，基于锚点框的单步检测方法占主导地位，该方法基于不同位置、尺度和纵横比的锚点框进行人脸检测。随着深度神经网络的发展，这种基于锚点框的单步检测方法已经在学术界取得了巨大的进步。具体地说，在非常有挑战性的widerface数据集中，困难子集上的性能近几年已经从40％被提升到了90％。现在，如何持续改进这些高性能的人脸检测器已经成为一个具有挑战性的问题，尤其是在不增加额外开销的情况下。针对该问题，通过分析高性能人脸检测器在widerface验证集上的错误分布，发现有两种错误模式，即回归和分类，其中分类错误在检测中占主要作用。如果能够增强人脸检测器的分类能力，就可以从复杂的背景中识别出更多的人脸，从而减少错误样本，提高检测精度。因此，如何提高人脸检测器的分类能力是一个值得进一步研究的问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决在不增加任何额外开销的前提下提高人脸检测器分类能力的问题，本发明的第一方面，提出了一种单步人脸检测器优化系统，所述系统包括训练系统、测试系统；所述训练系统包括数据增强模块、尺度感知边距模块、特征监督模块、单步人脸检测器接口模块、损失函数模块；

所述数据增强模块，配置为基于被检测图像，通过复制拼接获得拼接图像；在所述拼接图像中随机裁剪获得一个图像块，并对该图像块进行数据增强后，通过对锚点框进行划分获取训练样本；

所述单步人脸检测器接口模块，配置为将所述训练样本发送至待训练的单步人脸检测器进行二分类和边框回归，并获取单步人脸检测器进行训练样本的二分类过程中得到的各训练样本的采样特征；

所述尺度感知边距模块，配置为获取训练样本的尺度感知边距损失；

所述特征监督模块，配置为基于所述各训练样本的采样特征，通过基于特征监督的分类网络进行训练样本的二分类；

所述损失函数模块，配置为通过基于lcls、lloc、lfsm的损失函数，对单步人脸检测器进行参数更新；其中，lcls为所述单步人脸检测器二分类中的尺度感知边距损失函数，lloc为边框回归损失函数，lfsm为基于特征监督的分类网络中二分类的损失函数；

所述测试系统，配置为基于预设的测试数据，利用所述训练系统得到的单步人脸检测器进行人脸检测任务获取检测准确度，并在该准确度小于预设准确度阈值时，再次通过所述训练系统优化所述单步人脸检测器。

在一些优选的实施方式中，所述被检测图像为矩形，所述数据增强模块中“基于被检测图像，通过复制拼接获得拼接图像”，其方法为：

将被检测图像复制4次，并通过矩阵式拼接获取所述拼接图像；所述拼接图像的长边和短边分别为被检测图像长边和短边的2倍。

在一些优选的实施方式中，所述数据增强模块中所述图像块，其长边和短边分别为被检测图像长边和短边a倍，a∈[1,2]。

在一些优选的实施方式中，所述基于特征监督的分类网络，包括roialign层、四个卷积层、一个全局平均池化层、损失函数层。

在一些优选的实施方式中，所述尺度感知边距损失函数基于感知边距的预测概率函数构建，所述基于感知边距的预测概率函数

y＝sigmoid(x-m)

其中，y为预测的概率值，x是预测值，m是x的边距值，α为预设的超参数，w、h分别为样本的宽和高。

在一些优选的实施方式中，所述尺度感知边距损失函数设置在尺度感知边距网络中，所述尺度感知边距网络包括分类卷积层、尺度感知边距层、sigmoid函数层和损失函数层。

在一些优选的实施方式中，所述基于lcls、lloc、lfsm的损失函数为

l＝lcls+lloc+λlfsm

其中，λ为预设权重。

本发明的第二方面，提出了一种单步人脸检测器优化方法，所述方法包括以下步骤：

步骤s100，基于被检测图像，通过复制拼接获得拼接图像；在所述拼接图像中随机裁剪获得一个图像块，并对该图像块进行数据增强后，通过对锚点框进行划分获取训练样本；

步骤s200，通过单步人脸检测器进行训练样本的二分类和边框回归，并获取各训练样本的采样特征；

步骤s300，基于单步人脸检测器进行训练样本的二分类过程中得到的各训练样本的采样特征，通过基于特征监督的分类网络进行训练样本的二分类；

步骤s400，通过基于lcls、lloc、lfsm的损失函数，对单步人脸检测器进行训练，直至达到预设的训练结束条件；其中，lcls为所述单步人脸检测器二分类中的尺度感知边距损失函数，lloc为边框回归损失函数，lfsm为基于特征监督的分类网络中二分类的损失函数；

步骤s500，基于预设的测试数据，利用所述训练系统得到的单步人脸检测器进行人脸检测任务获取检测准确度，若该准确度小于预设准确度阈值时，跳转至步骤s100再次优化所述单步人脸检测器，否则输出训练好的单步人脸检测器。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的单步人脸检测器优化方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现上述的单步人脸检测器优化方法。

本发明的有益效果：

本发明利用单步人脸检测器中获得的更有鉴别性的分类特征，通过特征监督的分类网络损失函数、尺度感知边距损失函数、及单步人脸检测器自身的二分类损失函数联合构建整体的损失函数，以对待优化的单步人脸检测器进行训练，能够有效增强高性能单步人脸检测器的分类能力，并在测试阶段无需进行特征监督分类网络和尺度感知边距的运算，故不增加单步人脸检测器的运算量，本发明可以在不增加任何额外开销的前提下提高人脸检测器分类能力。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的单步人脸检测器优化系统的网络框架示意图；

图2是本发明一种实施例中的特征监督模块的主要结构示意图；

图3是本发明一种实施例中的尺度感知边距模块的主要结构示意图；

图4是本发明一种实施例的单步人脸检测器优化方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如何持续改进这些高性能的人脸检测器已经成为一个具有挑战性的问题，尤其是在不增加任何额外开销的情况下。针对该问题，本发明提供了一种单步人脸检测器优化系统及方法。

本发明的一种单步人脸检测器优化方法，如图1所示，

所述系统包括数据增强模块、尺度感知边距模块、特征监督模块、单步人脸检测器接口模块、损失函数模块；

所述数据增强模块，配置为基于被检测图像，通过复制拼接获得拼接图像；在所述拼接图像中随机裁剪获得一个图像块，并对该图像块进行数据增强后，通过锚点框获取训练样本；

所述单步人脸检测器接口模块，配置为将所述训练样本发送至待训练的单步人脸检测器进行二分类和边框回归，并获取单步人脸检测器进行训练样本的二分类过程中得到的各训练样本的采样特征；

所述尺度感知边距模块，配置为获取训练样本的尺度感知边距损失；

所述特征监督模块，配置为基于所述各训练样本的采样特征，通过基于特征监督的分类网络进行训练样本的二分类；

所述损失函数模块，配置为通过基于lcls、lloc、lfsm的损失函数，对单步人脸检测器进行参数更新；其中，lcls为所述单步人脸检测器二分类中的尺度感知边距损失函数，lloc为边框回归损失函数，lfsm为基于特征监督的分类网络中二分类的损失函数；

所述测试系统，配置为基于预设的测试数据，利用所述训练系统得到的单步人脸检测器进行人脸检测任务获取检测准确度，并在该准确度小于预设准确度阈值时，再次通过所述训练系统优化所述单步人脸检测器。

为了更清晰地对本发明单步人脸检测器优化系统进行说明，下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。

本发明实施例中待训练的单步人脸检测器主干网络是基于resnet网络构建的，这里的resnet网络是一个6层的特征金字塔结构，作为主干网络，如图1所示，该网络中包括c2、c3、c4、c5、c6、c7这6个特征层，对应特征层有p2、p3、p4、p5、p6、p7这6个检测层。

在每一个检测层上，使用2种尺度的锚点框：2s和s，其中s是每一个检测层的下采样率，另外宽和高的纵横比只使用一种是1.25。每个检测层使用2种锚点框，可以在网络输入图像上覆盖8到362像素的尺寸范围。

本发明的一种实施例的单步人脸检测器优化系统，如图1所示，包括训练系统、测试系统；所述训练系统包括数据增强模块、尺度感知边距模块、特征监督模块、单步人脸检测器接口模块、损失函数模块。

1、训练系统

(1)数据增强模块

该模块配置为基于被检测图像，通过复制拼接获得拼接图像；在所述拼接图像中随机裁剪获得一个图像块，并对该图像块进行数据增强后，通过锚点框获取训练样本。

现有的数据增强策略是先在训练图像上增加了一些光度失真，然后进行均值扩展操作，接着裁剪出两个patch(图像块)，随机选择一个用来训练，一个patch是图像短边的大小，另一个patch是图像短边通过乘以在区间[0.5,1.0]内的一个随机数来确定的大小；最后随机翻转选中的patch，将其调整到1024x1024，得到最终的训练样本。该数据增强策略中，扩展操作可以得到更多的小人脸，从而显著地提高性能，尤其对小人脸，然而，在整个图像中除了放置的原图像，其他地方在训练阶段都没有贡献，这就导致了低利用率。

为了解决上述问题，本实施例采用一种新的高效的数据增强(eda)取代了原来方法中的扩展操作。

由于最大的缩减因子为2，本实施例先将被检测图像复制4次，并并通过矩阵式生成一个画布作为拼接图像，拼接图像的长边和短边分别为被检测图像长边和短边的2倍。然后在所述拼接图像中随机裁剪获得一个patch，patch的长边和短边分别为被检测图像长边和短边a倍，a∈[1,2]。再通过常规的数据增强方法对裁剪得到的patch进行数据增强。

在训练阶段，需要将预置的锚点框设置为正样本和负样本：设定锚点框为正样本的依据是其与真值的重叠度(iou)阈值大于0.5；设置为负样本的依据是其与真值的重叠度(iou)在区间[0，0.4)；如果锚点框与真值的重叠度(iou)在区间[0.4,0.5)，则在训练阶段被忽略。

(2)单步人脸检测器接口模块

该模块配置为将所述训练样本发送至待训练的单步人脸检测器进行二分类和边框回归，并获取单步人脸检测器进行训练样本的二分类过程中得到的各训练样本的采样特征。

近年来，基于卷积神经网络的方法在目标检测中占主导地位，分为一步检测法和二步检测法。二步检测法在时间上消耗较大，然而一步检测法速度更快，可以在很多应用中更加实用。本实施例中应用一步检测方法。

人脸检测是一种相对简单的二分类方法，有大量的小人脸，这使得二步检测法中第二步的优势不那么明显。而本实施例中应用的是一步检测方法，为了增强一步检测法的分类能力而不减慢速度，使得如何充分利用二步法中的第二步去学到更有鉴别性的特征成为关键。为了解决这个问题，本实施例设计了一个于特征监督的分类网络，它像在二步检测法中的第二阶段一样，让主干网络在训练阶段学到更有鉴别性的特征，并且保持检测器的测试时间不变。使用该方法，在测试阶段充分利用在二步法中的第二阶段学到更有鉴别性的分类特征而且没有任何额外的开销。

由于本方法加入了基于特征监督的分类网络，因此需要将非极大值抑制(nonmaximumsuppression)的阈值设为设定阈值，本实施中为0.7。本实施例中选择512个预测锚点框作为训练样本，把这些锚点框分布到合适的金字塔层上去采样特征，通过公式(1)确定后续的二分类要在哪个层pk上进行采样：

其中，k0＝2，w、h分别是训练样本的宽和高。

即：

如果训练样本大小小于16²，则分配到p2层上；

如果训练样本大小在16²到32²之间，则分配到p3层上；

如果训练样本大小在32²到64²之间，则分配到p4层上；

如果训练样本大小在64²到128²之间，则分配到p5层上；

如果训练样本大小在128²到256²之间，则分配到p6层上；

如果训练样本大小大于256²，则分配到p7层上。

(3)尺度感知边距模块

该模块配置为获取训练样本的尺度感知边距损失。

为了得到更好的高性能人脸检测，其主要的障碍就是分类的错误，即分类能力不够鲁棒。在人脸检测的二分类任务中需要对不同尺度的样本进行分类，这就导致尺度问题，为了增强检测中的分类能力，结合常用的基于边距的预测概率函数(如公式(2)所示)，重新构建了尺度感知边距损失函数，其区别之处在于边距值m的设定由固定值改为与样本长宽相关的因子，如公式(3)所示。

y＝sigmoid(x-m)(2)

其中，y为预测的概率值，x是预测值，m是x的边距值，α为预设的超参数，w、h分别为样本的宽和高。

为了获取尺度感知边距损失函数的值，设置了尺度感知边距网络(sam)。尺度感知边距网络如图1、图3所示，包括分类卷积层、尺度感知边距层、sigmoid函数层和损失函数层(focalloss层)，通过尺度感知边距层获取x-m、通过sigmoid函数层得到y值、通过损失函数层的基于y值的损失函数lcls计算损失。将一幅图像输入尺度感知边距网络中，得到每个样本的尺度，并通过公式(3)得到m值，进而通过公式(2)得到该幅图像的基于边距的损失。

尺度感知边距网络对于较大的人脸使用较小的边距值，对于较小的人脸使用较大的边距值来增强分类能力。使用尺度感知边距模块后，可以更好地区分人脸和复杂背景，从而增强了小人脸的分类能力。

(4)所述特征监督模块

该模块配置为基于所述各训练样本的采样特征，通过基于特征监督的分类网络进行训练样本的二分类。

如图1、图2所示，基于特征监督的分类网络(fsm)，包括roialign操作层、四个卷积层(256×128×3×3卷积、128×64×3×3卷积、64×32×3×3卷积、32×1×3×3卷积)、一个全局平均池化层、损失函数层(focalloss层)。

(5)损失函数模块

该模块配置为通过基于lcls、lloc、lfsm的损失函数，对单步人脸检测器进行参数更新；其中，lcls为所述单步人脸检测器二分类中的尺度感知边距损失函数，lloc为边框回归损失函数，lfsm为基于特征监督的分类网络中二分类的损失函数。

基于lcls、lloc、lfsm的损失函数如公式(4)所示

l＝lcls+lloc+λlfsm(4)

其中，λ为预设权重，本实施例中取值为0.5，该权重用来在训练中平衡单步人脸检测器二分类中的损失函数和特征监督的分类网络中二分类的损失函数。

2、测试系统

该系统配置为基于预设的测试数据，利用所述训练系统得到的单步人脸检测器进行人脸检测任务获取检测准确度，并在该准确度小于预设准确度阈值时，再次通过所述训练系统优化所述单步人脸检测器。

在测试系统无需进行特征监督分类网络的运算，故不增加单步人脸检测器的运算量。

测试阶段，置信度设置为0.05过滤掉一些检测结果，保留置信度分数最高的400个边框；

之后，使用非极大值抑制算法(nonmaximumsuppression)设置阈值为0.4，在每张图像中生成200置信度分数最高的检测框作为最终的结果。

需要说明的是，上述实施例提供的单步人脸检测器优化系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第二实施例的一种单步人脸检测器优化方法，如图4所示，所述方法包括以下步骤：

步骤s100，基于被检测图像，通过复制拼接获得拼接图像；在所述拼接图像中随机裁剪获得一个图像块，并对该图像块进行数据增强后，通过对锚点框进行划分获取训练样本；

步骤s200，通过单步人脸检测器进行训练样本的二分类和边框回归，并获取各训练样本的采样特征；

步骤s300，基于单步人脸检测器进行训练样本的二分类过程中得到的各训练样本的采样特征，通过基于特征监督的分类网络进行训练样本的二分类；

步骤s400，通过基于lcls、lloc、lfsm的损失函数，对单步人脸检测器进行训练，直至达到预设的训练结束条件；其中，lcls为所述单步人脸检测器二分类中的尺度感知边距损失函数，lloc为边框回归损失函数，lfsm为基于特征监督的分类网络中二分类的损失函数；

步骤s500，基于预设的测试数据，利用所述训练系统得到的单步人脸检测器进行人脸检测任务获取检测准确度，若该准确度小于预设准确度阈值时，跳转至步骤s100再次优化所述单步人脸检测器，否则输出训练好的单步人脸检测器。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的单步人脸检测器优化方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的单步人脸检测器优化方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。