一种基于混合连接改进YOLOv5的安全帽佩戴检测方法与流程

本发明涉及人工智能目标检测领域，特别涉及一种基于混合连接改进yolov5算法的安全帽佩戴检测方法。

背景技术：

1、安全帽可在油田钻井、采矿业等多种领域上起到良好的缓冲减震、分散应力效果，规范佩戴安全帽是保护人体头部的有效防护措施。安全帽佩戴监督检查对保护从业人员安全具有重大意义，也是生产经营单位必尽的职责和义务，正规生产单位都配备有安全管理人员对安全帽佩戴情况进行检查和监督。

2、随着计算机视觉技术的发展，计算机辅助监督检查成为了当代的常用方法之一。智能算法和设备先进程度不断精进，给计算机视觉技术带来许多可瞻望的发展可能、研究价值和意义。

3、目前，安全帽监督检查工作可根据检查资料形式被分为现场监督、照片检查、视频回放检查和实时摄像检查，每种方式都需要配备安全管理人员进行人工判断，不仅费时费力，而且可能会由于疲劳等人为主观因素造成漏看和误判。安全帽佩戴检测方法可被看作是针对安全帽佩戴情况的目标检测方法。yolov5作为近年产生的一阶段目标检测算法，以其精度高、速度快等卓越性脱颖而出，但目标精准度不高。

技术实现思路

1、本发明的目的在于克服现有技术中所存在的使用yolov5作为目标检测算法精准度不高的问题，提供了一种基于混合连接改进yolov5的安全帽佩戴检测方法。

2、为了实现上述发明目的，本发明提供了以下技术方案：

3、一种基于混合连接改进yolov5的安全帽佩戴检测方法，其特征在于，包括如下步骤：

4、s1、收集现场作业图像；

5、s2、对收集到的图像进行数据标注，完成标注文件格式转换，建立安全帽佩戴检测数据集；

6、s3、搭建yolov5 v6.0网络，对网络结构进行改进，构建基于混合连接改进yolov5的安全帽佩戴检测网络模型；

7、s4、将所述s2中建立的数据集输入所述s3中构建的改进yolov5网络模型进行训练，得出训练参数，保存得出的权重文件；

8、s5、完成模型部署和系统界面设计，利用测试样本做功能测试，包括：图像、视频、摄像头视频流；

9、s6、若检测到样本中有人员未佩戴安全帽，则发出报警提示，若无则回到所述步骤s4中。

10、本发明方法针对yolov5算法结构进行改进，进行局部残差连接和宏观密集连接的短路连接结构、搭建压缩激活门控单元中使用组卷积、深度可分离卷积等结构，更新门使用softmax实现新提取的特征信息有效融合、遗忘门使用sigmoid函数实现重用特征的衰减，进一步提高模型检测的精准率。

11、优选地，所述步骤s1中，基于ms coco数据集，结合网络爬虫工具获取安全帽类相关施工作业图像，以及根据使用环境有针对性对作业现场获取作业视频录像，包括：化工厂、施工现场等作业现场，截取视频帧，完成图像数据收集。

12、使用网络爬虫工具获取安全帽类相关施工作业图像，收集到的图片数据量较多，数据较为全面，使数据集更加丰富。

13、优选地，所述步骤s2中，包括如下步骤：

14、s21、使用python中的qt开发界面labelme对s1步骤中收集到的图像进行标注，将佩戴安全帽的内容标记为1，未佩戴安全帽的内容标记为0，将标注结果输出保存为xml格式文件；

15、s22、将标注文件转换为yolo数据集标签文件，为txt格式；

16、s23、根据数据集内图像数量按照8：1：1比例划分训练集、验证集和测试集。

17、使用该方法，可以建立一个具有针对性的、全面的、准确的安全帽佩戴检测数据集。

18、优选地，所述步骤s3中，包括以下步骤：

19、s31、构建yolov5 v6.0网络，包括p1～p5，8个c3结构，一个sppf结构、两个upsample结构，其中，前4个c3结构使用bottleneck1×n结构进行特征提取，后4个c3结构使用bottleneck2×n结构进行特征提取；

20、s32、将所述bottleneck1×n模块替换为引入了注意力机制的混合连接模块1，所述混合连接模块1的输入和输出之间增加一个密集连接(dense connection)结构，并在最终输出之前添加一个1×1卷积层，既增强了模型对特征信息的传递和保护能力，又保证原有通道数不变；

21、s33、将所述bottleneck2×n模块替换为混合连接模块2，所述混合连接模块1的输入和输出之间添加一个密集连接结构，所述混合连接模块2延续原有bottleneck2×n结构特征，在所述混合连接模块1的基础上，去掉每两个单元结构之间的跳连结构；

22、s34、所述混合连接模块1和所述混合连接模块2中，均使用压缩激活门控结构代替原有的convbnsilu结构；

23、s35、压缩激活门控结构中，使用1×1卷积和3×3组卷积构成压缩单元；使用并联的3×3和5×5的深度可分离卷积构成信息激活单元，在两个不同卷积核的深度可分离卷积层后连接一个具有注意力机制的门控结构更新门，用于对并联结构的两个输出的激活信息进行信息融合；在激活单元的外部并联一个遗忘门，用于对重复提取的特征信息进行过滤，在压缩单元之后与遗忘门的输出之间嵌入残差连接(residual connection)结构，可实现所有c3结构内部的混合连接。

24、3×3和5×5卷积得出的长度相似，使用并联的3×3和5×5的深度可分离卷积，是最轻量化的组合，且速度性能快，模型占用小。

25、这种用混合连接结构代替原本bottleneck结构的方法，既可以加速特征信息的传递，保留更多的特征信息，实现特征信息的有效利用，又能够确保不增加模型的复杂度，使得安全帽佩戴检测算法精度得到有效提高。

26、优选地，所述步骤s35压缩激活门控单元中，包括以下步骤：

27、s351、特征图像输入压缩激活门控单元，依次通过1×1卷积层和3×3组卷积层，二者可使用宽度乘数或步长来实现模型的降采样操作，得到特征维度减小后的特征图像，达到减小模型复杂度的目的；

28、s352、使用3×3和5×5深度可分离卷积并联的结构进行特征信息激活和数据填充，这样的设计可在保持两个并联输出维度相同的情况下，获得更多激活的特征信息，实现模型对信息的更有效学习；

29、s353、在两个深度可分离卷积结构后连接一个更新门，用于不同支路的特征信息有效融合，经过3×3和5×5的深度可分离卷积之后分别得到特征图像进入更新门；

30、s354、在所述s351的两个压缩结构之后与更新门的输出之间嵌入一个遗忘门和残差连接并联后加权聚合的结构，并使其与更新门的输出相加，这样做可以使用通道注意力机制和sigmoid函数来对复杂利用的特征进行筛选衰减；遗忘门和更新门拥有相同的全局注意力池化层之前的softmax门控结构，然后分别经过第一全连接层、批标准化和激活函数层、第二全连接层和sigmoid函数层得到遗忘门的输出；

31、sigmoid函数可将通道权重控制在(0，1)之间，有效实现对重复利用特征的衰减。

32、s355、将更新门和遗忘门的最终输出特征图的对应位置相加，得到压缩激活门控单元的最终输出。

33、通过上述步骤，实现了特征信息的高效传播。

34、优选地，所述步骤s353中，对于3×3支路，输入的特征图像通过一个1×1卷积和一个softmax函数将通道维度缩减到1，实现注意力特征图归一化，得到最终注意力特征描述符，每一个元素表示为：

35、

36、式中，表示softmax函数归一化后得到的最终注意力特征图，h,w,c分别表示特征图的长、宽和通道数；表示输入特征图或经过1×1卷积核得到的注意力特征图；

37、其次，分别经过全局注意力池化层进行图像收缩，生成全局上下文特征图，全局上下文特征图的每个元素可表示为：

38、

39、式中，表示最终注意力特征图经过全局注意力池化加权得到的全局上下文特征图，表示第c个通道的全局上下文特征图元素；

40、对于5×5支路，经过同样的并联结构可得到全局上下文特征图

41、接着，将两个并联支路得出的全局上下文特征图进行通道上的连结，并经过一个设置了缩减系数的全连接层，将其转换成一个隐藏过程特征图：

42、h＝w(z3×3||z5×5)+b

43、式中，μ表示缩减系数；和分别表示全连接层的权重和偏差值；

44、之后，隐藏过程特征图经过批量归一化和非线性激活函数激活得到隐藏特征图可表示为：

45、h′＝tanh{bn[w(z3×3||z5×5)+b]}

46、式中，bn表示批量归一化batchnorm，tanh表示tanh()激活函数；

47、这个过程可以通过设置缩减系数提高信息融合和传播的效率。

48、然后，使用两个并联的全连接层作用于融合的隐藏特征图生成通道注意力特征图，再经过一个softmax函数实现通道特征归一化，生成最终的通道注意力特征图，通道注意力特征图可表示为：

49、

50、式中，通道注意力特征图，分别表示两个全连接层的权重和偏差值；

51、最终的通道注意力特征图可表示为：

52、

53、其中，u3×3,

54、最后，将最终的通道注意力特征图分别与对应支路的全局上下文特征图加权聚合，可得到更新门的最终输出：

55、

56、优选地，所述步骤s354中，遗忘门的输出表示为：

57、

58、式中，表示由输入特征图经过和更新门相同的全局注意力池化等结构得到的全局上下文特征图；分别表示第一个全连接层的权重和偏差值；分别表示第二全连接层的权重和偏差值；rf表示瓶颈系数，表示遗忘门输出的最终通道注意力特征图；

59、优选地，所述步骤s4中，包括如下步骤：

60、s41、基于s2步骤中建立的安全帽佩戴检测数据集训练s3步骤中的基于混合连接改进yolov5的安全帽佩戴检测网络，可使用adam或sgd优化器，训练周期(epoch)为300，设置不同的批量大小(batch_size)为4、8、16、32、64分别训练；

61、s42、基于不同批量大小训练得出的权重文件和测试集数据测试训练结果；

62、s43、在验证集上微调网络的超参数；

63、s44、保存最优的训练参数及其权重文件，绘制混淆矩阵、f1曲线、p曲线、r曲线、p-r曲线，计算训练集预测框位置损失train/box_loss、目标损失train/obj_loss、置信度损失train/cls_loss，和验证集预测框位置损失val/box_loss、目标损失val/obj_loss、置信度损失val/cls_loss，精准率precision、召回率recall、平均正确率均值map@0.5与map@0.5:0.95，并绘制函数图像。

64、优选地，所述步骤s5中，包括如下步骤：

65、s51、添加主界面，设置窗口主类、图片视频读取进程和线程，以及模型和界面初始化等参数；

66、s52、分别设置图片、视频和摄像头实时数据流读取界面；

67、s53、设置图片、视频等事件开启、关闭和重置事件。

68、优选地，所述步骤s6中，通过python自带的playsound数据库来实现报警提示，当模型检测到人未佩戴安全帽时，发出实时报警提示，提醒人员未带安全帽，降低安全管理人员的工作强度。

69、与现有技术相比，本发明的有益效果：

70、1.本发明方法在yolov5网络中添加了混合连接结构，通过局部残差连接和宏观密集连接的短路连接结构，即加速了特征信息的传递速度和利用效率，又保护模型不会过度冗余；

71、2.本发明方法在yolov5网络中，将压缩激活门控单元嵌入混合连接模块中，搭建的压缩激活门控单元中使用组卷积、深度可分离卷积等结构，在保证性能的情况下，节省了模型的参数量和计算量，保持了模型的轻量化效果；

72、3.在改进的yolov5网络中，更新门使用softmax实现新提取的特征信息有效融合、遗忘门使用sigmoid函数实现重用特征的衰减，且二者均引入了轻量化的通道注意力机制，既能够使模型学习到更多的特征信息，提高模型检测的精准率，又可以保证模型的复杂度不过高，保证模型的内存占比不过大、检测速度不降低；

73、4.本发明方法是一种可在任何施工作业环境中使用的智能安全帽佩戴自动化检测方法，有助于提高安全帽佩戴情况的检测效率，降低安全管理人员的工作强度，具有广阔的推广意义和发展研究价值，为智慧工地的实现和实施提供了新的视角。