一种基于改进YOLOv5模型的螺栓检测方法及系统

本发明涉及计算机视觉，具体涉及一种基于改进yolov5模型的螺栓检测方法及系统。

背景技术：

1、铁路轨枕螺栓是铁路轨道扣件的重要组成部分之一，由于其长期暴露在大气中，经受风吹雨淋，霜冻雪埋等循环性气候变化，容易出现氧化锈蚀。螺栓锈蚀轻则使螺栓锈死，影响轨距调整和轨道水平找正等养路作业，重则使螺栓根部腐蚀折断，影响行车安全。因此，为了保证运输安全，应有计划的对轨枕螺栓进行防锈蚀处理。近年来，在对轨枕螺栓进行长效防腐脂涂覆作业时，逐渐开始使用简单机具或智能装置进行螺栓自动识别和涂覆，然而，由于在识别中会出现遮挡、翻转以及平移等问题，

2、现有的钢轨螺栓识别方法往往使用计算机视觉技术，将图像处理技术用于钢轨螺栓的识别，可用于钢轨螺栓的自动涂覆，有效提高钢轨螺栓涂油保养的效率，减轻作业人员的工作负担。然而，由于钢轨螺栓图像中包含大量冗杂信息，往往还出现阴影、光照不均衡、复杂背景等情况，在识别中螺栓图像会出现遮挡、翻转以及平移等问题，造成误检和漏检的情况，的拓扑结构和形态差异较大，容易导致对其局部的误判和漏检。因此，如何快速、准确的识别钢轨螺栓，对提高铁路养路机械化水平，做好轨道零件日常性保养具有重要意义。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于改进yolov5模型的钢轨螺栓检测方法，提高了识别效果，还减少了模型复杂度，提高了检测速度，能够快速的应对大规模的目标检测任务。

2、本发明解决其技术问题采取的技术方案是：

3、本发明实施例提供的一种基于改进yolov5模型的螺栓检测方法，包括以下步骤：

4、采集钢轨螺栓图像进行预处理，建立目标数据集；

5、构建结合carafe和nwd-iou损失函数的改进yolov5模型；

6、利用目标数据集，对所述改进yolov5模型进行训练并评估；

7、使用评估完成的改进yolov5模型进行钢轨螺栓检测。

8、进一步的，采集钢轨螺栓图像进行预处理，建立目标数据集，包括：

9、使用labelimg标注工具对采集的螺栓图像中螺栓位置进行标注，获得每张图像对应的xml文件；

10、对每张螺栓图像及其对应的xml格式文件进行数据增强操作；

11、将螺栓图像及其xml文件按照voc格式进行存储，建立目标数据集。

12、进一步的，构建结合carafe和nwd-iou损失函数的改进yolov5模型，包括：

13、建立基础yolov5模型；

14、将传统上采样模块替换为carafe上采样模块；

15、使用nwd-iou损失函数作为模型的回归损失函数。

16、进一步的，carafe上采样模块进行上采样，包括：

17、输入形状为h×w×c的特征图，用1×1×1卷积将它的通道数压缩到h×w×cm，其中h、w、c分别为图片高度、图片长度和图片通道数；

18、设上采样倍率为σ，利用kencoder×kencoder的卷积层，输入通道数为cm，输出通道数为将通道数在空间维展开，得到形状为的上采样核；

19、将所述上采样核利用softmax进行归一化，使卷积核权重和为1。

20、进一步的，所述nwd-eiou损失函数的公式，包括：

21、lbbox＝(1-iour)×(1-nwd)+iour×(1-iou)

22、其中，iou为预测边界框与真实边界框的重叠面积，iou为使用iou度量方法的阈值设定值，nwd为使用nwd度量方法的基础设定值。

23、进一步的，将所述目标数据集划分为训练集、验证集和测试集，其中训练集、验证集与测试集的比例为7:2:1。

24、进一步的，对改进yolov5模型进行评估，包括：

25、计算召回率recall、精确率precision和f1分数：

26、recall＝tp/(tp+fn)

27、precision＝tp/(tp+fp)

28、f1-score＝2×(precision×recall)/(precision+recall)

29、其中，tp为将正类预测为正类的样本个数，fn为将正类预测为负类的样本个数，fp为将负类预测为正类的样本个数，tn为将负类预测为负类的样本个数。

30、本发明实施例提供的一种基于改进yolov5模型的螺栓检测系统，其特征在于，包括：

31、图像处理模块，用于采集钢轨螺栓图像进行预处理，建立目标数据集；

32、模型建立模块，用于构建结合carafe和nwd-iou损失函数的yolov5模型；

33、模型训练模块，用于利用目标数据集，对所述改进yolov5模型进行训练并评估；

34、螺栓检测模块，用于使用评估完成的改进yolov5模型进行钢轨螺栓检测。

35、一种计算机设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一所述的一种基于改进yolov5模型的螺栓检测方法的步骤。

36、一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种基于改进yolov5模型的螺栓检测方法的步骤。

37、本发明实施例的技术方案可以具有的有益效果如下：

38、(1)使用carafe上采样模块替换传统的上采样模块，具有更大的感受野，可以更好的利用周围的信息，与特征图的语义信息相关，基于输入内容进行上采样，不引入过多参数和计算量，使得模型进行了轻量化的改进；

39、(2)将nwd损失函数和iou损失函数相结合，组成新型nwd-iou损失函数，解决了使用iou损失函数无法检测微小物体和使用nwd损失函数模型训练过程不收敛的问题；

40、(3)本申请基于yolov5算法结合轻量级上采样算子和nwd-iou损失函数进行复杂背景下的螺栓检测，与传统算法相比，实际采集较少的螺栓图像进行训练，即能较好的处理阴影、气象环境、光照均衡、复杂背景和图像增强等难点问题。

技术特征：

1.一种基于改进yolov5模型的螺栓检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，采集钢轨螺栓图像进行预处理，建立目标数据集，包括：

3.根据权利要求1所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，构建结合carafe和nwd-iou损失函数的改进yolov5模型，包括：

4.根据权利要求3所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，carafe上采样模块进行上采样，包括：

5.根据权利要求3所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，所述nwd-eiou损失函数的公式，包括：

6.根据权利要求1所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，将所述目标数据集划分为训练集、验证集和测试集，其中训练集、验证集与测试集的比例为7:2:1。

7.根据权利要求1所述的一种基于改进yolov5模型的螺栓检测方法，其特征在于，对改进yolov5模型进行评估，包括：

8.一种基于改进yolov5模型的螺栓检测系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一所述的一种基于改进yolov5模型的螺栓检测方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种基于改进yolov5模型的螺栓检测方法的步骤。

技术总结
本发明公开了一种基于改进YOLOv5模型的螺栓检测方法及系统，方法包括以下步骤：采集钢轨螺栓图像进行预处理，建立目标数据集；构建结合CARAFE和NWD‑IOU损失函数的改进YOLOv5模型；利用目标数据集，对所述改进YOLOv5模型进行训练并评估；使用评估完成的改进YOLOv5模型进行钢轨螺栓检测。本发明基于YOLOv5模型结合CARAFE上采样模块和NWD‑IOU损失函数进行复杂背景下的螺栓检测，对模型进行了轻量化的改进，解决了使用NWD函数不收敛的问题，与传统算法相比，实际采集较少的螺栓图像进行训练，即能较好的处理阴影、气象环境、光照均衡、复杂背景和图像增强等难点问题。

技术研发人员：潘广源,宋华建,白志远,苗志军,王新聪
受保护的技术使用者：临沂大学
技术研发日：
技术公布日：2024/1/16