一种基于深度学习的热轧带钢表面缺陷检测方法

本发明涉及机器视觉，特别涉及一种基于深度学习的热轧带钢表面缺陷检测方法。

背景技术：

1、目前，表面缺陷检测是机器视觉领域中非常重要的一项研究内容，也称为aoi(automated optical inspection)或asi(automated surface inspection)，它是利用机器视觉设备获取图像来判断采集图像中是否存在缺陷的技术。传统的基于机器视觉的表面缺陷检测方法，往往采用常规图像处理算法或人工设计特征加分类器方式。一般来说，通常利用被检表面或缺陷的不同性质进行成像方案的设计，合理的成像方案有助于获得光照均匀的图像，并将物体表面缺陷明显地体现出来。近年来，随着以卷积神经网络(convolutionalneural network，cnn)为代表的深度学习模型在诸多计算机视觉(computer vision，cv)领域成功应用，不少基于深度学习的缺陷检测方法也广泛应用在各种工业场景中。目前，应用于缺陷检测领域的目标检测算法主要分为两类。一类是依赖锚框的检测算法,包括以faster r-cnn(fast region-based convolutional network)为代表的两阶段网络和以ssd(single shot multibox detector)和另一类yolo(you only lookonce)系列为代表的一阶段网络。

2、但是，由于热轧带钢表面缺陷检测目标小且细节模糊会导致检测精度不高的问题，现存的缺陷检测算法应用在热轧带钢表面缺陷时存在运算速度不够快，对于设备性能要求高，检测正确率不够高。

3、因此，本发明提出了一种基于深度学习的热轧带钢表面缺陷检测方法。

技术实现思路

1、本发明提供一种基于深度学习的热轧带钢表面缺陷检测方法，将yolov5s网络模型的骨干网络修改为repvgg模块，提高程序运行速度；使用优化后的损失函数，加速收敛提高回归精度；采用carafe上采样方式提高感受野；加入pyconv模块提升检测性能；再加入小目标检测层提高正确率；并通过模型剪枝优化结构，降低安装设备要求；进而降低了算法的复杂度和对运行检测方法的设备性能的要求，提高了缺陷检测的准确率和检测速度。

2、本发明提供一种基于深度学习的热轧带钢表面缺陷检测方法，包括：

3、s1：获取海量热轧带钢表面缺陷图片数据；

4、s2：基于海量热轧带钢表面缺陷图片数据，构建出热轧带钢表面缺陷图片数据集，并将热轧带钢表面缺陷图片数据集划分为训练集和测试集；

5、s3：构建出yolov5s网络模型；

6、s4：将yolov5s网络模型的主干网络卷积模块修改为repvgg block模块；

7、s5：将yolov5s网络模型的上采样方式改为carafe上采样方式；

8、s6：将yolov5s网络模型的下采样方式改为pyconv下采样方式；

9、s7：对yolov5s网络模型进行模型剪枝，获得基于改进yolov5s网络模型的热轧带钢表面缺陷检测模型；

10、s8：基于优化损失函数，获得优化后的损失函数；

11、s9：基于训练集和测试集以及优化后的损失函数，对热轧带钢表面缺陷检测模型依次进行训练、测试，获得合格热轧带钢表面缺陷检测模型；

12、s10：将待检测热轧带钢表面缺陷图片输入至合格热轧带钢表面缺陷检测模型，获得热轧带钢表面缺陷检测结果。

13、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，s2：基于海量热轧带钢表面缺陷图片数据，构建出热轧带钢表面缺陷图片数据集，并将热轧带钢表面缺陷图片数据集划分为训练集和测试集，包括：

14、基于人工标记指令，标记出每个热轧带钢表面缺陷图片数据中的人工标记缺陷区域；

15、将标记后的所有热轧带钢表面缺陷图片数据汇总获得热轧带钢表面缺陷图片数据集；

16、基于预设比例将热轧带钢表面缺陷图片数据集划分为训练集和测试集。

17、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，步骤s3构建出的yolov5s网络模型，包括：

18、input、back bone、颈部网络neck、头部prediction；

19、其中，input包括mosaic数据增强、自适应锚框计算、自适应图片缩放；

20、backbone包括focus模块、spp模块和c3模块；

21、颈部网络neck包括fpn模块、pan模块、c3模块；

22、所述头部包括bounding box损失函数和nms。

23、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，s4：将yolov5s网络模型的主干网络卷积模块修改为repvgg block模块，包括：

24、s41：训练多分支模型：在训练时，为每一个3×3卷积层添加平行的1×1卷积分支与恒等映射分支；

25、s42：将多分支模型等价转换为单路模型：将1×1卷积看成卷积核中有很多0的3×3卷积，恒等映射是一个特殊1×1卷积；根据卷积的可加性原理，每个repvgg block模块三个分支则可以合并为一个3×3卷积；

26、s43：结构参数重构：通过实际数据流，将多分支网络的权值转移到简单网络中。

27、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，s5：将yolov5s网络模型的上采样方式改为carafe上采样方式，包括：

28、s51：特征图通道压缩：用1×1卷积将形状为c×h×w的输入特征图的通道数压缩到cm，其中，c、h、w分别表示通道数、高度和宽度；

29、s52：内容编码及上采样核预测：利用kencoder×kencoder的卷积层预测上采样核，将步骤s51压缩后的输入特征图的通道维在空间维展开，得到形状为的上采样核，其中，上采样倍率为σ，上采样的卷积核为kup×kup，输入通道数为cm，输出通道数为

30、s53：上采样核归一化：利用softmax对步骤s52得到的上采样核kup×kup的每个通道进行归一化，使得所有通道的权重和为1，获得输出特征图；

31、s54：将输出特征图中的每个位置映射回输入特征图，获得映射后的特征图，并将位于映射后的特征图的中心位置的kup×kup的区域与预测出的该点的上采样核作点积，获得输出值，其中，相同位置的不同通道共享同一个上采样核。

32、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，优化后的损失函数，包括：

33、

34、式中，liou为优化后的损失函数输出的损失值，iou为两个重叠矩形框之间的交并比，为目标框与外接框中心点距离的惩罚项，b为目标框的中心点的坐标表示，bgt为外接框的中心点的坐标表示，ρ2(b,bgt)为目标框与外接框的中心点的欧式距离，c为外接框的对角线长度，为目标框与外接框的宽距离的惩罚项，w为目标框的宽的坐标表示，wgt为外接框的宽的坐标表示，ρ2(w,wgt)为目标框与外接框的宽线段之间的欧式距离，cw为外接框的宽度，为目标框与外接框的高距离的惩罚项，h为目标框的高的坐标表示，hgt为外接框的高的坐标表示，ρ2(h,hgt)为目标框与外接框的高线段之间的欧氏距离，ch为外接框的高度。

35、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，s9：基于训练集和测试集以及优化后的损失函数，对热轧带钢表面缺陷检测模型依次进行训练、测试，获得合格热轧带钢表面缺陷检测模型，包括：

36、基于训练集和优化后的损失函数对热轧带钢表面缺陷检测模型进行训练，获得训练后的热轧带钢表面缺陷检测模型；

37、将测试集输入至训练后的热轧带钢表面缺陷检测模型，获得测试集中每个热轧带钢表面缺陷图片数据的模型标记缺陷区域；

38、基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域和模型标记缺陷区域，计算出模型测试准确率；

39、判断出模型测试准确率是否不小于准确率阈值，若是，则将训练后的热轧带钢表面缺陷检测模型当作合格热轧带钢表面缺陷检测模型；

40、否则，对训练后的热轧带钢表面缺陷检测模型进行重新训练。

41、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域和模型标记缺陷区域，计算出模型测试准确率，包括：

42、基于依次确定出的人工标记缺陷区域的轮廓上每个像素点的切线角度生成第一角度序列，将第一角度序列中的骤变点对应的像素点当作第一骤变像素点，在第一骤变像素点与在人工标记缺陷区域的轮廓中在确定切线角度的方向的反方向上对应的相邻像素点之间标记出第一划分界限；

43、基于依次确定出的模型标记缺陷区域的轮廓上每个像素点的切线角度生成第二角度序列，将第二角度序列中的骤变点对应的像素点当作第二骤变像素点，在第二骤变像素点与在模型标记缺陷区域的轮廓中在确定切线角度的方向的反方向上对应的相邻像素点之间标记出第二划分界限；

44、基于确定出的所有第一划分界限对人工标记缺陷区域的轮廓进行划分，获得多个第一曲线段，同时，基于确定出的所有第二划分界限对模型标记缺陷区域的轮廓进行划分，获得多个第二曲线段；

45、基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段和模型标记缺陷区域中的所有第二曲线段，计算出模型测试准确率。

46、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段和模型标记缺陷区域中的所有第二曲线段，计算出模型测试准确率，包括：

47、确定出第一曲线段的两个端点与对应人工标记缺陷区域中心点的连线与对应第一曲线段围成的区域的第一面积，同时，确定出第二曲线段的两个端点与对应模型标记缺陷区域中心点的连线与对应第二曲线段围成的区域的第二面积；

48、确定出人工标记缺陷区域的轮廓在第一曲线段的两个端点的切线之间的第一角度差，将第一角度差和第一曲线段的长度的比值当作第一曲线段的第一近似曲率；

49、确定出模型标记缺陷区域的轮廓在第二曲线段的两个端点的切线之间的第二角度差，将第二角度差和第二曲线段的长度的比值当作第二曲线段的第二近似曲率；

50、基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段的第一面积和第一近似曲率以及模型标记缺陷区域中的所有第二曲线段的第二面积和第二近似曲率，计算出模型测试准确率。

51、优选的，所述的一种基于深度学习的热轧带钢表面缺陷检测方法，基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段的第一面积和第一近似曲率以及模型标记缺陷区域中的所有第二曲线段的第二面积和第二近似曲率，计算出模型测试准确率，包括：

52、基于人工标记缺陷区域中所有第一曲线段之间的相对位置和对应的模型标记缺陷区域中所有第二曲线段之间的相对位置，将人工标记缺陷区域中的所有第一曲线段与对应的模型标记缺陷区域中的所有第二曲线段进行一一对应，获得曲线段对应结果；

53、基于热轧带钢表面缺陷图片数据的曲线段对应结果、所有第一曲线段的第一面积和第一近似曲率以及所有第二曲线段的第二面积和第二近似曲率，计算出对应热轧带钢表面缺陷图片数据的模型识别准确率；

54、将测试集中所有热轧带钢表面缺陷图片数据的模型识别准确率的平均值当作模型测试准确率。

55、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

56、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。