基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法

基于改进yolov5的化工生产过程中安全防护品佩戴检测方法
技术领域
1.本发明涉及化工生产场景下安全防护品佩戴检测与机器视觉的技术领域，具体涉及一种基于改进yolov5的化工生产过程中安全防护品佩戴检测方法。


背景技术：

2.随着化工行业的发展，化工安全越来越被重视和关注。安全帽和口罩作为一种对人员头部防护和肺部防护起着关键作用的设备，在化工生产过程中，佩戴安全防护品的监管十分必要，研究一种精度高、鲁棒性强的安全防护品佩戴检测算法可以保障生产人员的人身安全，降低安全事故的危害，具有重要的实际意义。
3.安全防护品佩戴检测的研究可以分成两大类∶基于传感器的检测方法和基于计算机视觉的检测方法。基于传感器的检测方法通过在安全帽上嵌入各类传感器，如压力传感器、电子标签等实现与外界通信。但这就会对工人的正常作业造成干扰，跟踪设备通常都会有距离限制，且成本较高。
4.基于计算机视觉的检测方法主要包括基于深度学习的两阶段检测算法和基于深度学习的单阶段检测算法。由于两阶段安全帽检测算法需要预先生成候选框，再对候选框进行分类和回归，边界框经过两次微调，检测准确度比单阶段安全防护品佩戴检测算法要高，但损失了检测速度。这就导致两阶段安全防护品佩戴检测算法不能够适用于对速度要求极高的检测任务。
5.基于深度学习的单阶段安全防护品检测算法模型结构简单且检测速度快，能够很好的应用于安全防护品佩戴检测任务中，但单阶段检测算法的检测准确度有所下降。yolov5沿用了yolov4的网络结构，采用了mosaic数据增强方法，采用自适应锚框，检测速度很快，集成了yolov3和yolov4的部分特性，检测速度远超yolov4，但是对于检测复杂场景中和密集小目标中作业人员安全防护品佩戴情况的检测准确度依旧有所欠缺。


技术实现要素：

6.发明目的：针对现有技术中存在的问题，本发明提出一种基于改进yolov5的化工安全防护品佩戴检测方法，能够在小目标的情况下，精确的识别是否佩戴安全防护品。
7.技术方案：本发明提出一种基于改进yolov5的化工安全防护品佩戴检测方法，包括以下步骤：
8.步骤1：获取训练图像并进行预处理，使用mixup数据增强算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像，按比例分配得到训练数据集d1和测试数据集d2；
9.步骤2：搭建包含注意力机制nam模块和encoder结构的改进的yolov5网络模型；
10.步骤3：搭将训练数据集d1和测试数据集d2输入改进的yolov5网络模型中，对网络进行训练与测试，得到改进的安全防护品佩戴检测模型mod；
11.步骤4：搭将待检测图像输入模型mod中，得到待检测图像中的安全防护品的检测
结果。
12.进一步地，所述步骤1中获取训练图像并进行预处理具体包括以下步骤：
13.步骤1.1：通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像，其中安全防护品包括安全帽和口罩；
14.步骤1.2：对得到的图像进行筛选，选取安全防护品佩戴图像，包括不同场景、光线、遮挡和多目标情况下的图片，并且删除错误图片；
15.步骤1.3：对筛选后的图像进行归一化处理，将图像按照统一规定命名，统一图像为rgb三通道彩色图，统一图像尺寸；
16.步骤1.4：利用labelimg工具对图像进行手动标注，标注图像中安全帽和口罩的位置和类别，并生成xml标签文件。
17.进一步地，所述步骤1中使用mixup算法对安全帽图像数据和口罩图像数据进行加权融合具体包括：
18.步骤1.5：通过mixup数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图像初始图像进行加权处理，得到更多的同时存在安全帽和口罩的图像数据；
19.步骤1.6：加权融合公式如下：
[0020][0021]
其中，表示新生成的同时存在安全帽和口罩类别的图像数据，xa表示随机一张佩戴口罩的图像，xb表示随机一张佩戴安全帽的图像，λ是mixup方法的权值，取值范围为λ∈[0.4，0.6]；
[0022]
步骤1.7：将数据增强后的数据集按照8∶2的比例划分，得到训练数据集d1和测试数据集d2。
[0023]
进一步地，所述步骤2改进的yolov5网络模型包括以下结构：
[0024]
改进的yolov5网络主要包括改进的backbone模块、改进的neck模块和head模块；
[0025]
所述改进的backbone模块包括focus模块、csp模块、spp模块和注意力机制nam模块；focus模块首先把输入的安全防护品佩戴图片进行切片处理，然后进行concat操作，再对切片后的图像进行卷积操作，得到304
×
304大小的初始特征图，csp模块由卷积块和若干个残差结构组成，对网络中的梯度信息进行优化，通过在特征图中融合梯度信息降低网络的参数量，spp模块用于特征提取，使用三个不同卷积核对csp中输出的特征图进行下采样，得到三个特征图，再进行concat操作，最后将融合后的特征图进行卷积操作；在csp模块和spp模块后均插入注意力机制nam模块，通过使用bn的缩放因子来表示权值的重要程度，nam模块主要包括通道注意力模块和空间注意力模块；
[0026]
改进的neck模块主要包括fpn模块和pan模块，fpn模块自上而下的对特征图进行上采样操作，增大特征图，将得到的特征图与csp模块中输出的特征图进行concat操作，pan模块自下而上的对特征图进行下采样操作，缩小特征图，将得到的特征图与fpn模块中输出的特征图进行concat操作，在每个输出后插入改进的encoder结构，encoder结构的输出特征图和fpn模块的输出特征图进行concat操作，进一步的提取更多的特征信息；
[0027]
改进的encoder结构，首先对输入的特征图进行展平操作，将特征图展平为一个序列，对该序列进行positional encoding操作，用于对图像区域进行位置编码，得到位置序
为三个不同的权重矩阵。
[0047]
进一步地，所述步骤3包括以下步骤：
[0048]
步骤3.1：设置网络模型参数，设置网络模型的batchsize为4、初始学习率为5
×
10-4
、迭代次数设为100和iou为0.5；
[0049]
步骤3.2：利用训练数据集d1训练上述改进网络，通过反向传播算法不断优化神经网络参数，使网络模型达到最优；
[0050]
步骤3.3：利用测试数据集d2进行监督学习，通过计算其精确率、召回率和平均准确率，用于进行网络模型评估；
[0051]
步骤3.4：根据评估结果，对网络中的参数进行调整，得到最优推理模型mod。
[0052]
进一步地，所述步骤4包括以下步骤：
[0053]
步骤4.1：使用所述模型mod对待检测的安全防护品佩戴图片进行目标检测，标记目标类别位置，得到所有可能包含目标的预测框的坐标位置、置信度和类别概率；
[0054]
步骤4.2：通过diou方法去除冗余的检测框，取置信度最高的检测框输出，删除其余检测框，计算置信度最高的检测框与其他边框的交并比iou，若该检测框的iou大于预设的阈值则删除；
[0055]
步骤4.3：重复步骤4.2直至检测框列表为空，产生最终检测结果，得到待检测图像中的安全防护品佩戴的检测目标的位置和类别。
[0056]
有益效果：
[0057]
本发明方法在数据预处理阶段使用mixup数据增强算法，能够弥补训练数据中同时存在安全帽和口罩的图片数据较少的情况，提高网络识别多目标图片的准确率。在骨干网络中插入注意力机制nam模块，利用了网络模型训练过程中的原有的权重的信息，对不显著的特征进行抑制，轻量又高效地提高了网络的特征提取能力。在颈部模块中插入改进的encoder结构，提取图像区域之间的语义关系，进一步提高网络的特征提取能力，满足化工生产过程中安全防护品佩戴检测的精度要求。
附图说明
[0058]
图1为本发明基于改进yolov5的化工安全防护品佩戴检测方法的流程图；
[0059]
图2为本发明基于改进yolov5的化工安全防护品佩戴检测方法的通道注意力机制模块示意图；
[0060]
图3为本发明基于改进yolov5的化工安全防护品佩戴检测方法的空间注意力机制模块示意图；
[0061]
图4为本发明基于改进yolov5的化工安全防护品佩戴检测方法的改进的encoder结构示意图；
[0062]
图5为本发明基于改进yolov5的化工安全防护品佩戴检测方法的改进的yolov5网络结构图。
具体实施方式
[0063]
下面结合附图对本发明作进一步详细说明。
[0064]
参见附图1至附图5，本发明公开一种基于改进yolov5的化工安全防护品佩戴检测
方法，具体包括以下步骤：
[0065]
步骤1：获取训练图像，使用mixup算法对安全帽图像数据和口罩图像数据进行加权融合，得到更多存在双目标的训练图像，按比例分配得到训练数据集d1和测试数据集d2。具体方法为：
[0066]
步骤1.1：通过化工厂的监控图像和公共数据集获取安全防护品佩戴情况的图像，其中安全防护品包括安全帽和口罩。
[0067]
步骤1.2：对得到的图像进行筛选，选取安全防护品佩戴图像，主要包括不同场景、光线、遮挡和多目标等情况下的图片，并且删除错误图片。
[0068]
步骤1.3：对筛选后的图像进行归一化处理，将图像按照统一规定命名，统一图像为rgb三通道彩色图，统一图像尺寸。
[0069]
步骤1.4：利用labelimg工具对图像进行手动标注，标注图像中安全帽和口罩的位置和类别，并生成xml标签文件。
[0070]
步骤1.5：同时存在安全帽和口罩类别的图像数据较少，通过mixup数据增强算法随机对一张佩戴口罩的图像和一张佩戴安全帽的图像初始图像进行加权处理，得到更多的同时存在安全帽和口罩的图像数据。
[0071]
步骤1.6：上述步骤1.5中的加权融合公式如下：
[0072][0073]
表示新生成的同时存在安全帽和口罩类别的图像数据，xa表示随机一张佩戴口罩的图像，xb表示随机一张佩戴安全帽的图像，λ是mixup方法的权值，取值范围为λ∈[0.4，0.6]。
[0074]
步骤1.7：将数据增强后的数据集按照8∶2的比例划分，得到训练数据集d1和测试数据集d2。
[0075]
步骤2：搭建包含注意力机制nam模块和encoder结构的改进的yolov5网络模型。如图2至图5所示，具体方法为：
[0076]
步骤2.1：改进的yolov5网络主要包括改进的backbone模块、改进的neck模块和head模块。
[0077]
步骤2.2：改进的backbone模块主要包括focus模块、csp模块、spp模块和注意力机制nam模块，focus模块首先把输入的安全防护品佩戴图片进行切片处理，然后进行concat操作，再对切片后的图像进行卷积操作，得到304
×
304大小的初始特征图，csp模块主要由卷积块和若干个残差结构组成，对网络中的梯度信息进行优化，通过在特征图中融合梯度信息降低网络的参数量，spp模块用于特征提取，使用三个不同卷积核对csp中输出的特征图进行下采样，得到三个特征图，再进行concat操作，最后将融合后的特征图进行卷积操作；在csp模块和spp模块后均插入注意力机制nam模块，通过使用bn的缩放因子来表示权值的重要程度，nam模块主要包括通道注意力模块和空间注意力模块，bn缩放因子公式如下：
[0078][0079]
其中，μb表示mini-batchb中的某个特征图的平均值，σb表示mini-batchb中的某个特征图的标准差，γ和β均通过反向传播训练更新的变换参数，b
out
和b
in
表示输出和输入的
信息。
[0080]
步骤2.3：通道注意力模块通过利用网络训练过程中的权重信息来突出显著特征，其公式如下所示：
[0081]
mc＝sigmoid(w
γ
(bn(f)))，
[0082]
其中mc表示输出特征，f表示输入的特征，γ是每个通道的权重因子，w
γ
权重的计算公式为：
[0083]
步骤2.4：空间注意力模块通过应用bn缩放因子对像素的重要性进行判断，其公式如下所示：
[0084]ms
＝sigmoid(w
δ
(bns(f)))，
[0085]
其中，ms表示输出特征，f表示输入的特征，δ是每个通道的权重因子，w
δ
权重的计算公式为：
[0086]
步骤2.5：上述步骤2.3和步骤2.4中，为了对不显著的权重进行抑制，在损失函数中添加了正则化，其公式如下所示：
[0087]
loss＝∑
(x，y)
l(f(x，w)，y)+p∑g(γ)+p∑g(δ)，
[0088]
其中，x、y分别表示输入和输出，w表示网络中的权重，1为损失函数，g表示范数惩罚函数，p是g(γ)和g(δ)的权值。
[0089]
步骤2.6：改进的neck模块主要包括fpn模块和pan模块，fpn模块自上而下的对特征图进行上采样操作，增大特征图，将得到的特征图与csp模块中输出的特征图进行concat操作，pan模块自下而上的对特征图进行下采样操作，缩小特征图，将得到的特征图与fpn模块中输出的特征图进行concat操作，在每个输出后插入改进的encoder结构，encoder结构的输出特征图和fpn模块的输出特征图进行concat操作，进一步的提取更多的特征信息。
[0090]
步骤2.7：改进的encoder结构，首先对输入的特征图进行展平操作，将特征图展平为一个序列，对该序列进行positional encoding操作，用于对图像区域进行位置编码，得到位置序列x，接着是一个multi-head attention层，将positional encoding操作的输出和multi-head attention层的输出进行add操作，再对输出的特征矩阵进行归一化处理并输入多层感知器中，将多层感知器的输出和add操作的输出再一次进行add操作，最后对输出的特征矩阵进行归一化处理和rearrange操作，使改进的encoder结构的输出符合head模块的输入要求。
[0091]
步骤2.8：上述步骤2.7中，multi-head attention层中权重计算公式所示：
[0092][0093]
q＝xwq[0094]
k＝xwk[0095]
v＝xwv[0096]
其中，dk为一个q和k向量的维度，为尺度标量因子，x为输入位置序列，wq、wk、wv为三个不同的权重矩阵。
[0097]
步骤2.9：将上述修改后的模块和结构按照yolov5的网络形式进行堆叠，得到包含注意力机制nam模块和encoder结构的改进的yolov5网络模型。
[0098]
步骤3：将训练数据集d1和测试数据集d2输入改进的yolov5网络模型中，对网络进行训练与测试，得到改进的安全防护品佩戴检测模型mod。具体方法为：
[0099]
步骤3.1：设置网络模型参数，设置网络模型的batchsize为4、初始学习率为5
×
10-4
、迭代次数设为100和iou为0.5。
[0100]
步骤3.2：利用训练数据集d1训练上述改进网络，通过反向传播算法不断优化神经网络参数，使网络模型达到最优。
[0101]
步骤3.3：利用测试数据集d2进行监督学习，通过计算其精确率、召回率和平均准确率，用于进行网络模型评估。
[0102]
步骤3.4：根据评估结果，对网络中的参数进行调整，得到最优推理模型mod。
[0103]
步骤4：将待检测图像输入模型mod中，得到待检测图像中的安全防护品的检测结果。具体方法为：
[0104]
步骤4.1：使用上述最优推理模型mod对待检测的安全防护品佩戴图片进行目标检测，标记目标类别位置，得到所有可能包含目标的预测框的坐标位置、置信度和类别概率。
[0105]
步骤4.2：通过diou方法去除冗余的检测框，取置信度最高的检测框输出，删除其余检测框，计算置信度最高的检测框与其他边框的交并比iou，若该检测框的iou大于预设的阈值则删除。
[0106]
步骤4.3：重复步骤4.2直至检测框列表为空，产生最终检测结果，得到待检测图像中的安全防护品佩戴的检测目标的位置和类别。
[0107]
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。