一种自适应标签分配的目标检测方法与流程

1.本发明属于目标检测技术领域，涉及一种基于自适应标签分配的安全帽检测方法。


背景技术：

2.随着深度学习技术的不断成熟，目标检测技术也飞速发展。基于卷积神经网络的安全帽检测方法，在计算损失函数的时候，需要判断某一个位置是正样本还是负样本，并在对应的位置上赋予一个合适的标签，使得损失函数能够逐渐学习这一行为，这个过程就叫做标签分配。
3.目前，有锚框和无锚框的检测方法在整个框架存在一定区别。基于锚框的检测方法通常在特征图上，主动地计算锚框和真实框的iou，根据人为经验选取一个合适的阈值范围，将iou大于阈值上限的锚框划分为正样本，小于阈值下限的锚框划分为负样本，处于范围内的则为忽略样本。一阶段ssd方法就是依据这一思想，但锚框和真实框匹配策略设置略有不同，导致其正样本的数量远少于负样本的数量。而基于无锚框的经典检测方法fcos则根据目标中心区域及其尺度来确定正负样本,将特征图中的坐标映射回原始图像上，如果该映射结果在真实框内且类别一致，则认为是正样本，否则为负样本。以上都是较为经典的固定标签分配策略，这些策略中的锚框、阈值等都是依据人为经验值设定的，经此训练得到的模型与最佳结果可能存在一定差距。随着科技的进步，最近的检测器引入了自适应机制的标签分配，使得网络尽可能地自主学习标签分配流程，尽量消除人为经验值带来的影响，对不同场景下的图像实现最佳的检测。
4.针对现有技术存在的上述问题，很需要研究出一种自适应标签分配的安全帽检测方法，能实现辅助网络信息流补充到主干网络且在主干网络中层层传递的效果，同时利用深层信息与浅层特征的相互指导完成两者之间的交互。该技术具有辅助修正机制，同时在网络训练的过程中以自适应标签分配策略为指导，进行锚框与真实框的匹配操作。


技术实现要素：

5.本发明的目的在于提供一种自适应标签分配的安全帽检测方法，以解决上述背景技术中提到的标签分配问题。
6.为了实现上述目的，本发明采取了如下技术方案：
7.一种自适应标签分配的安全帽检测方法，包括如下步骤：
8.步骤(1)：构建佩戴安全帽和未佩戴安全帽的图像数据集，对数据集进行预处理，并将数据集分为训练集和验证集；
9.步骤(2)：构建基于dlanet网络的安全帽检测模型，并加入辅助修正机制和特征引导模块，对安全帽检测模型进行改进；
10.步骤(3)：将训练数据集输入改进后的安全帽检测模型进行训练，将验证数据集输入每次迭代生成的安全帽检测模型进行验证，从得到的所有安全帽检测模型中选择验证精
度最高的模型作为最优安全帽检测模型；
11.步骤(4)：保存最优安全帽检测模型，将待检测图像输入模型中，输出所述检测图像的目标检测结果。
12.所述步骤(1)中预处理的具体操作为：对图像进行裁剪到规定尺寸后，进行多尺度随机缩放、图像翻转和图像像素的归一化以增加模型的性能。
13.所述步骤(2)中的安全帽检测网络由3个模块构成：第一个模块为基础网络模块，使用去除了分类层的dlanet网络，通过基础网络模型对训练图像进行特征提取，通过网络中的卷积核与输入图片卷积，提取出有效特征；第二个模块为辅助修正机制，该模块的基础网络是vgg16，辅助修正机制用于融合辅助网络提取的信息与主干网络提取的信息，在辅助网络特征补充到主干网络后，通过不同膨胀率及尺度下的卷积来学习复杂场景下大范围的感受野，进而修正融合后的信息，改善主干网络的特征表示；第三个模块为特征引导模块，该模块采用互相反馈学习，通过注意力机制对深层特征的作用结果引导浅层过滤掉冗余信息，保留更多的细节内容来改善小目标的预测，并且借助过滤后的冗余信息反馈到深层特征中补充更多的语义信息来预测中大目标。
14.所述步骤(3)中，输入改进后的安全帽检测模型进行训练，在训练过程中优化自适应标签分配，实现自动标签分配。
15.所述步骤(4)中，当输出图像的检测结果为未佩戴安全帽时，发送未佩戴安全帽的人体区域图像和提醒信号到终端，进而发出警报声音提醒未佩戴安全帽的人。
16.本发明提出一种自适应标签分配的安全帽检测方法主要由辅助修正机制(auxiliary correction mechanism，acm)和特征引导模块(feature guide module，fgm)构成，实现辅助网络信息流补充到主干网络且在主干网络中层层传递的效果，同时利用深层信息与浅层特征的相互指导完成两者之间的交互。辅助修正机制包含两个部分：主干网络和辅助网络。该机制以vgg-16作为主干网络，将辅助网络与其作用的结果经由密集空洞空间金字塔池化模块处理后，再逐步渗透到主干网络的后续特征中；接着利用特征引导模块执行深浅层之间的特征筛选与融合。同时，在网络训练的过程中以自适应标签分配策略为指导，进行锚框与真实框的匹配操作。本发明的有益效果：优化了自适应标签分配，并提出特征引导模块和多尺度目标融合网络，提高了安全帽检测的精确度。
附图说明
17.图1为一种自适应标签分配的安全帽检测方法流程框架示意图；
18.图2为实施例1所述的多尺度目标检测网络框架；
19.图3为实施例1所述的密集空洞空间金字塔池化。
具体实施方式
20.下面结合附图和实施例描述本发明的实施方式。
21.实施例1：
22.如图1所示为本实施例公开的自适应标签分配的安全帽检测方法，适用于工地工人佩戴安全帽检测，该方法具体包括如下步骤：
23.步骤(1)：构建佩戴安全帽和未佩戴安全帽的图像数据集，对图片数据集进行预处
理，并划分为训练集和验证集；
24.步骤(2)：构建安全帽检测模型，并对安全帽检测模型进行改进，包括基于辅助网络的修正机制、特征引导模块以及标签分配方式改进；
25.步骤(3)：将训练数据集输入改进后的安全帽检测模型进行训练，将验证数据集输入每次迭代生成的安全帽检测模型进行验证，从得到的所有安全帽检测模型中选择验证精度最高的模型作为最优安全帽检测模型；
26.步骤(4)：在得到最优安全帽检测模型后，利用深度学习相关框架初始化所述最优检测模型。将所需检测图像输入模型中，输出所述检测图像的目标检测结果。
27.在步骤(1)中，对数据集进行预处理具体为：对图像进行裁剪到规定尺寸并进行多尺度随机缩放、图像翻转和图像像素的归一化。在具体实施过程中，直接获取工地图像，或者从工地监控摄像头中抓取实时工地图像，采用labelimg标注工具标注工地图像中的待检测目标，即安全帽区域，佩戴安全帽图像对应类型标号为1的集合，未佩戴安全帽图像对应类型标号为0的集合。将已标注的图像进行裁剪，进行多尺度随机缩放、图像翻转和图像像素的归一化等预处理，按比例7比3分别收集到训练图像集和验证图像集中，该预处理过程不仅能够保证训练图像的尺寸等参数符合要求，还能进行数据增强，有利于目标检测模型的鲁棒性增强。
28.在步骤(2)中，安全帽检测模型的主干网络依照ssd主干网络去除了vgg-16中的全连接层fc_6，fc_7和fc_8，其中fc_6和fc_7处以卷积conv6和conv7作为替代，并额外添加了四个卷积层进行逐层次的特征提取。整个安全帽检测模型包括三个部分，分别是：基于辅助网络的修正机制、特征引导模块、自适应标签分配。第一部分：基于辅助网络的修正机制，包括两个支路，第一支路为卷积组和两个下采样模块搭建的辅助网络，第二支路是主干网络，两个支路以并行和级联的方式，利用空洞卷积中不同大小的膨胀率，生成了感受野不同的多个尺度特征，促使中间特征图上的神经元在多个尺度上对语义内容进行编码，进而在复杂场景中捕获更全面的特征信息。第二部分：特征引导模块，该模块有两个输入(对应图2上的p1和p2)，深层特征与浅层特征中间间隔一个尺度特征，因此，当深层特征执行上采样操作，使其与浅层特征保持在同一尺度时，应该执行四倍的采样操作,即两次二倍上采样。相较于浅层特征适用于小目标的预测，来自深层特征上采样后的结果(对应图2上的p3)，会去除掉小目标以外的冗余信息，保留了更多的语义信息，突出主要的小目标特征。同时，引入注意力机制对上采样后的特征图(对应图2上的p3)中的焦点区域进行学习，显著地反映其大目标情况。第三部分：基于动态修正的标签分配原则，其中iou是锚框和真实框之间交叉信息所占的比重，iou_regress是模型输出的安全帽边界框和真实框之间的iou值，利用iou和iou_regress之间的比重作为权重，并借助权重进一步对iou和iou_regress进行自适应融合操作，避免初启动时的错误判断。随着训练过程的进行，网络能够根据框架需要，动态地调整两者的比重，自适应的实现安全帽检测的标签分配。
29.所述步骤(3)中，输入改进后的安全帽检测模型进行训练，在训练过程中优化自适应标签分配，可以实现自动标签分配。具体操作为：首先，将以iou为准则分配的正样本数量记为n，忽略样本记为m，m和n随着训练的进行不断变化；紧接着，依据优化后值的大小进行锚框的排序，排序后的前n个样本作为正样本，接下来m个锚框作为忽略样本，其余则为负样本。基于此标签分配策略，训练过程中定位能力会逐渐增强，边界框的坐标信息逐
渐向真实框的坐标靠拢，会慢慢增大，在这一过程中，不仅能够捕捉到对目标物体更敏感的锚框，而且基于m和n的动态改变，样本数量始终维持在一个平衡的范围，避免了人工阈值导致的正样本过多问题，保障了网络的稳定训练。
30.在步骤(4)中，采集施工工地的施工人员的原始图像，将原始图像输入步骤(3)中的最优检测模型中，当模型检测到工人时，判断该工人头部区域中是否佩戴安全帽，如果是，则认为该人员正常佩戴了安全帽，如果不是，则该工作人员未佩戴安全帽，进行该人员的图像收集以及发出警报处理。
31.对比试验：
32.训练与测试过程：实验采用了两块nvidia rtx a4000 gpu在pytorch框架的支持下来执行模型的训练和测试工作。权重衰减项系数为0.0005，动量为0.9，学习率初始为0.001，后续伴随迭代的次数逐渐降低直至为0，采用smooth l1和focal loss作为网络框架的损失函数。通过现场实时监控系统采集的影像，构建了1600张图片的数据集。对1500幅图像进行了标记、训练，对其余100幅图像进行了安全帽检测实验。
33.表1展示了多个算法的性能结果。可以看出，无论一阶段还是两阶段算法，都很难得到较大的提升，大多数算法的检测精度大概维持在80.0％左右。与其他方法相比，本发明所提出的方法在同样条件下，即主干网络为vgg-16，输入分辨率为300
×
300的情况下实现了82.0％的平均精度，超越了表中其他方法。
34.表1测试及检测结果
35.