一种焊缝表面缺陷检测方法、系统、电子设备及存储介质

本公开的实施例属于机器学习，具体涉及一种焊缝表面缺陷检测方法、系统、电子设备及存储介质。

背景技术：

1、金属焊接是现代工业生产中最常用加工方法，已广泛应用于各个领域。由于焊接过程中环境条件和焊接技术的不同，工件在焊接过程中不可避免的会产生各种缺陷。而焊缝表面若存在缺陷，不仅显著降低使用性能，甚至可能会引起严重的安全事故，所以对焊缝缺陷的判断与定位至关重要。

2、现有的目标检测算法主要通过滑窗和手工提取特征，如v-j人脸检测算法和hog+svm行人检测算法等，但滑窗没有针对性，时间复杂度高，容易窗口冗余，手工设计特征对于多样性的变化也没有很好的鲁棒性，不适用于复杂背景下焊缝缺陷的检测。加之基于深度学习的二维目标检测方法不能抑制复杂背景带来的干扰，而基于三维的深度学习方法网络结构较为复杂，且计算效率和在复杂场景中的检测精度不高。

3、yinlong. zuo，jintao. wang等人采用的基于深度学习方法设计的焊面缺陷检测系统，构建了大规模焊缝缺陷数据集，同时利用yolov5模型对焊面进行缺陷检测，但该检测系统在本数据集上效果并不理想，不能抑制复杂背景带来的干扰。

4、pablo等人在焊缝表面缺陷检测上将机器学习方法和点云的三维特征有序的结合起来，充分发挥了焊缝三维点云数据的潜力，该方法具有很高的准确性，但是网络结构较为复杂，且计算效率和复杂场景中的检测精度不高。

5、公开号为cn115953387a的中国专利公开了一种基于深度学习的射线图像焊缝缺陷检测方法，采用了改进后的faster rcnn网络对射线图像进行目标检测，它包括灰度拉伸、中值滤波、均值滤波、张量转化并标准化、输入改进后的fasterrcnn网络等步骤。该技术只能对背景简单的焊缝缺陷进行检测，无法对复杂场景中的焊缝进行有效检测。

6、公开号为cn115393294a的中国专利公开了一种基于rgb-d特征分层融合的焊缝检测与分割方法，包括以下步骤:步骤一、对焊缝的rgb图像和点云数据进行多平面分割预处理，得到各平面的rgb-d数据；步骤二、将得到的各平面的rgb-d数据输入改进的mask r-cnn模型中识别分割，所述改进的mask r-cnn模型包括在主于网络中由resnet-fpn对rgb-d数据的rgb图像和深度图像分别逐层提取特征，然后逐层地将深度特征与rgb特征采用注意力感知的rgb与深度特征融合模块来进行特征融合，在特征金字塔中对rgb特征进行下采样的每一层都使用与之对应的深度特征进行融合，并且将融合后的特征逐层传递到特征金字塔的上采样过程中。该专利主干网络融合的是所有层的输出，而非有效特征层，模型参数量过大，并且模型层数过深，可能会带来梯度消失和梯度爆炸的问题。

技术实现思路

1、本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种焊缝表面缺陷检测方法、系统、电子设备及存储介质。

2、本公开的一个方面提供一种焊缝表面缺陷检测方法，包括：

3、获取焊缝表面的rgb图和深度图；

4、将所述rgb图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，

5、所述焊缝表面缺陷检测模型包括依次连接的主干网络和fpn网络，所述主干网络包括相互并行的rgb图分支网络、深度图分支网络以及分别位于所述rgb图分支网络和所述深度图分支网络各有效特征层之间的融合模块。

6、可选的，所述rgb图分支网络与所述深度图分支网络的结构相同，包括依次连接的第一cbs模块、第二cbs模块、第一csp模块、第三cbs模块、第二csp模块、第四cbs模块、第三csp模块、第五cbs模块、第四csp模块、sppf模块；

7、所述融合模块包括第一融合模块、第二融合模块和第三融合模块；其中

8、所述第一融合模块的输入端分别连接所述rgb图分支网络与所述深度图分支网络的第二csp模块的输出端；所述第二融合模块的输入端分别连接所述rgb图分支网络与所述深度图分支网络的第三csp模块的输出端；所述第三融合模块的输入端分别连接所述rgb图分支网络与所述深度图分支网络的sppf模块的输出端；

9、各所述融合模块的输出端均连接所述fpn网络。

10、可选的，所述第一融合模块的输出结果与所述rgb图分支网络的第二csp模块的输出结果相加输入所述rgb图分支网络的第四cbs模块；

11、所述第二融合模块的输出结果与所述rgb图分支网络的第三csp模块的输出结果相加输入所述rgb图分支网络的第五cbs模块。

12、可选的，所述融合模块中依次包括：相互并行的rgb特征提取支路和深度特征提取支路、分别与所述rgb特征提取支路及所述深度特征提取支路连接的注意力模块、1×1卷积层、bn层和sigmoid激活函数。

13、可选的，所述rgb特征提取支路和所述深度特征提取支路的结构相同，分别包括依次连接的1×1卷积层、3×3卷积层、cbs模块和relu激活函数。

14、可选的，所述rgb特征提取支路和所述深度特征提取支路还分别包括残差边。

15、可选的，所述注意力模块包括空间注意力支路、通道注意力支路以及分别与所述两条支路连接的bn层；

16、所述空间注意力支路包括依次连接的1×1卷积层、3×3卷积层、3×3卷积层、1×1卷积层和bn层；所述通道注意力支路为squeeze excitation模块；其中，

17、所述通道注意力支路的结果与原特征图相乘，再与所述空间注意力支路的结果相加，输入所述bn层；

18、所述bn层的输出与所述原特征图相乘后再与所述原特征图相加。

19、本公开的另一个方面提供一种焊缝表面缺陷检测系统，包括：

20、获取模块，用于获取焊缝表面的rgb图和深度图；

21、检测模块，用于将所述rgb图和所述深度图分别输入预先训练的焊缝表面缺陷检测模型，得到检测结果；其中，

22、所述焊缝表面缺陷检测模型包括依次连接的主干网络和fpn网络，所述主干网络包括相互并行的rgb图分支网络、深度图分支网络以及分别位于所述rgb图分支网络和所述深度图分支网络各有效特征层之间的融合模块。

23、本公开的又一个方面提供一种电子设备，包括：

24、至少一个处理器；以及，

25、与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现上文所述的焊缝表面缺陷检测方法。

26、本公开的最后一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现上文所述的焊缝表面缺陷检测方法。

27、本公开实施例的一种焊缝表面缺陷检测方法、系统、电子设备及存储介质，通过在实时目标检测模型yolov8的基础上，对其主干网络添加与之对称的并行分支，分别将rgb特征与深度特征于有效特征层输入融合网络，融合后的结果作为新的有效特征输入到fpn加强特征提取网络，以此对yolov8模型进行优化改进，解决了焊缝rgb图像缺少高度信息的问题，提高了对于焊缝表面的缺陷检测能力。