一种基于改进型YOLOv7的防护用品穿戴检测方法

本发明涉及图像识别，更具体的说是涉及一种基于改进型yolov7的防护用品穿戴检测方法。

背景技术：

1、目前，实验室是从事实验教学、科学研究和社会服务的重要场所。实验室安全管理是保障教学、科研工作平稳运行的重要组成部分。但是，因实验人员特别是学生对实验室规章制度和实验操作规程的不熟悉、不重视，导致近年来安全事故频出。其中，不按规定穿戴防护用品是安全事故发生的主要原因之一。通过人工监督防护用品的穿戴情况耗时费力，且在人数较多时容易出错。防护用品穿戴情况的自动检测可为实验室的智能化管理提供基础信息，对加快实验室信息化、智能化建设具有重要意义。

2、近来，计算机视觉技术开始被用于进行防护用品穿戴检测，如专利cn116453100a公开了一种防护用具穿脱规范性的检测方法。该方法利用alphapose算法对图像中的人体姿态进行估计，获取人体关节点区域，再通过yolov5模型和resnet模型实现安全设备穿戴检测；如专利cn115761626a使用yolov5模型获取初步的检测结果，再根据不同的检测场景，识别现场工作人员的安全设备穿戴情况。上述专利虽然推动了自动检测防护用品穿戴的发展，但其均需执行多次检测，速度较慢。

3、为了提高检测速度，专利cn116543419a公开了一种基于嵌入式平台的酒店卫勤人员穿戴检测方法。该方法实时获取待检测区域的图像数据，对图像数据进行预处理后发送给识别模型，由模型识别卫勤工作人员防护用品穿戴是否正确；又如专利cn116630737a公开了一种基于yolov5的市政工程施工人员安全特征检测方法，同时对施工人员是否佩戴安全帽、是否穿戴反光衣进行检测；再如专利cn115731577a公开了一种基于改进yolov5的电力施工人员安全用具穿戴检测方法。上述三个专利均是模型直接输出防护用品的穿戴情况，仅执行一次检测，速度较快，但三个专利的定位部分和分类部分的网络共享权重，存在特征耦合的问题，导致检测结果不准确，不利于对人体位置和穿戴类别进行精细化预测。

4、因此，如何提供一种防护用品穿戴检测方法，其可以快速、准确、精细化预测人体的位置和防护用品穿戴类别是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明的目的是提供一种基于改进型yolov7的防护用品穿戴检测方法，其可以快速、准确、精细化预测人体的位置和防护用品穿戴类别。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于改进型yolov7的防护用品穿戴检测方法，包括以下步骤：

4、s1：构建改进型yolov7模型：

5、去除yolov7的小尺度输出层和中尺度输出层，保留大尺度输出层；

6、将保留的大尺度输出层解耦为两个并行分支；所述两个并行分支包括分类分支和定位分支；

7、将yolov7中的cbs模块均替换为cbs+模块，所述cbs+模块将所述cbs模块中的传统卷积层替换为部分卷积层，并在部分卷积层和批量归一化层之间添加了逐点卷积层；

8、在原始yolov7损失函数上添加防护用品穿戴损失函数构建改进型yolov7的损失函数；

9、s2：利用训练集对所述改进型yolov7模型进行训练，获得训练好的改进型yolov7模型；

10、s3：将待检测图像输入到训练好的改进型yolov7模型中，获得待检测图像中防护用品的穿戴情况。

11、优选的，所述训练集中的各个图像标注有人体边界框、头部关键点、手部关键点、防护服穿戴类别、防护帽穿戴类别以及防护手套穿戴类别。

12、优选的，所述定位分支用于输出预测人体边界框、预测头部关键点以及预测手部关键点；

13、所述分类分支用于输出预测防护服穿戴类别、预测防护帽穿戴类别以及预测防护手套穿戴类别。

14、优选的，s1进一步包括：在原始yolov7损失函数的基础上添加防护服分类损失函数、防护帽分类损失函数以及防护手套分类损失函数，获得所述改进型yolov7的损失函数。

15、优选的，所述改进型yolov7的损失函数计算公式为：

16、ltotal＝lyolov7+lppe；  (1)

17、lyolov7＝ciou loss(bboxgt，bboxprd)

18、+bce with logits loss(bclsgt，bclsprd)

19、+bce with logits loss(objgt，objprd)

20、+oks loss(kposgt，kposprd)

21、+bce with logits loss(kclsgt，kclsprd)；  (2)

22、

23、其中，ltotal表示改进型yolov7的损失函数，yyolov7和lppe分别表示原始yolov7损失函数和防护用品穿戴损失函数，ciouloss表示complete-iou损失函数，bce with logitsloss表示二元交叉熵损失函数，oks loss表示目标关键点相似度损失函数，bboxgt表示真实人体边界框，bboxprd表示预测人体边界框，bclsgt表示真实人体边界框类别，bclsprd表示预测人体边界框类别，objgt表示真实objectness分数，objprd表示预测objectness分数，kposgt表示真实关键点坐标，kposprd表示预测关键点坐标，kclsgt表示真实关键点类别，kclsprd表示预测关键点类别，和分别表示真实人体边界框防护服穿戴类别、预测人体边界框防护服穿戴类别、真实关键点防护帽穿戴类别、预测关键点防护帽穿戴类别、真实关键点防护手套穿戴类别和预测关键点防护手套穿戴类别。

24、优选的，s3进一步包括：

25、筛选出置信度高于第一置信度阈值的预测人体边界框，获得第一预测人体边界框集合；

26、对所述第一预测人体边界框集合使用非极大值抑制方法剔除iou值大于设定阈值的预测人体边界框，获得第二预测人体边界框集合。

27、基于第二置信度阈值获取第二预测人体边界框集合中各个预测人体边界框头部关键点的状态、手部关键点的状态、手部关键点穿戴防护手套的类别、头部关键点穿戴防护帽的类别以及人体边界框内穿戴防护服的类别。

28、优选的，所述第一置信度阈值为0.7；所述设定阈值为0.5；所述第二置信度阈值为0.7。

29、优选的，采用随机梯度下降法和反向传播算法微调所述改进型yolov7模型的权重。

30、优选的，对训练集内标注的所有人体边界框进行k-means聚类得到的9个簇，将所述9个簇作为所述大尺度输出层的9个锚点框。

31、优选的，将保留的大尺度输出层解耦为两个并行分支进一步包括：

32、设置定位分支输出锚点框在水平方向和垂直方向的偏移量；

33、设置定位分支输出锚点框的宽度缩放比例和高度缩放比例；

34、设置定位分支输出锚点框内头部关键点在水平方向和垂直方向的偏移量；

35、设置定位分支输出锚点框内手部关键点在水平方向和垂直方向的偏移量；

36、设置分类分支输出锚点框的objectness分数；

37、设置分类分支输出锚点框内包含人体的置信度；

38、设置分类分支输出锚点框内穿戴防护服的置信度；

39、设置分类分支输出锚点框内包含头部关键点的置信度；

40、设置分类分支输出锚点框内头部关键点穿戴防护帽的置信度；

41、设置分类分支输出锚点框内包含手部关键点的置信度；

42、优选的，所述部分卷积的卷积核大小为3×3，通道数为传统卷积的1/4。

43、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于改进型yolov7的防护用品穿戴检测方法，其可以获得以下有益效果；

44、1、本发明采用单尺度(只保留大尺度输出层)代替yolov7的三个输出层(大尺度输出层、中尺度输出层和小尺度输出层)，优化了标签重写和标签分配不均衡的问题，提高了模型检测的准确性。

45、2、本发明将保留的大尺度输出层中的定位和分类解耦，提高了模型检测的准确性。

46、3、本发明将各个cbs模块中的传统卷积替换为部分卷积(partital convolution，pconv)，并在部分卷积与批量归一化层之间加入逐点卷积(pointwise convolution，pwconv)，提高了模型检测的速度；

47、4、本发明构建的改进型yolov7的损失函数在原始yolov7损失函数上添加了防护用品穿戴损失函数，提高了模型检测的准确性。