一种基于多级特征融合的条带钢表面缺陷检测方法

本发明涉及计算机视觉，具体涉及一种基于多级特征融合的条带钢表面缺陷检测方法。

背景技术：

1、带钢在造船、军工、建筑等多个领域都扮演着不可或缺的角色。然而，由于生产技术和环境的限制，带钢表面常常会出现各种缺陷，如划痕、夹杂物和斑点，这些问题极大地影响了带钢的质量，包括性能和外观。

2、为了解决这些质量问题，对带钢表面进行定期的质量检查变得至关重要。近年来，随着企业快速发展的需求不断增长，传统的手动检测方法逐渐显得力不从心。手动检测耗时且容易受到主观因素的影响，因此迫切需要一种更为准确和高效的检测方法。

3、随着计算机技术的迅速发展，基于机器视觉的自动检测方法应运而生，能够更好地满足生产需求。其中，视觉显著性检测为解决缺陷检测问题提供了一种有前途的途径。具体而言，显著性检测旨在突显图像和视频中最具视觉区别性的区域，这与缺陷的本质相契合。此外，显著性检测不仅被广泛应用于缺陷检测，还成功应用于视频跟踪、图像/视频压缩、视频质量评估和分割等多个领域，成为许多视觉任务的重要预处理步骤。

4、近期，显著性检测领域备受关注，已有不少研究专注于此。具体而言，早期研究主要依赖于启发式先验，如基于对比度和背景的模型。随着传统机器学习技术的迅猛发展，这些方法也被引入显著性检测任务，包括支持向量机、随机森林、随机行走排名、条件随机场、稀疏编码等。随后，随着硬件和软件技术的迅速发展，深度学习成为引人注目的研究焦点。显然，深度学习技术的应用使得许多显著性模型取得了令人振奋的成果。

5、然而，经过深入分析，发现现有显著性模型在处理一些具有挑战性的带钢图像时性能明显下降。带钢表面图像通常呈现出暗淡而不均匀的照明、缺陷区域与复杂背景之间的低对比度、小缺陷区域和微小的缺陷结构等特征。传统显著性模型在这种情况下难以为缺陷提供充分的表达，因此它们经常无法准确突显缺陷区域，反而错误地突出一些背景区域。另外，绝大多数领先的卷积神经网络模型在信息传递过程中通常仅仅简单地将编码器的信息传递到解码器，未能很好地实现对编码器和解码器信息的有效融合。然而，编码器和解码器之间的交互融合质量直接关系到图像分割还原的细致程度。因此，对于一些基于深度学习的显著性模型，显著性推断结果往往缺乏对缺陷细节的充分呈现。

技术实现思路

1、针对现有现有技术中存在的不足，本发明提供一种基于多级特征融合的条带钢表面缺陷检测方法。通过引入不同尺度的感受野，能够更全面地考虑输入数据的结构和关系，提高对复杂场景的理解能力。在条带钢表面缺陷的大小可能千差万别，使用不同膨胀率的卷积核允许网络更好地适应不同尺度的目标，提高了模型的鲁棒性。

2、一种基于多级特征融合的条带钢表面缺陷检测方法，步骤如下：

3、步骤1.获取带钢表面缺陷样本，然后通过人工标注，标注出缺陷的位置。然后将缺陷样本分为训练集和测试集。

4、步骤2.构建基于多级特征融合的条带钢表面缺陷检测模型(addnet)

5、所述条带钢表面缺陷检测模型整体采用u型网络架构，具体包括编码器、桥接层和解码器三部分。其中，编码器用于逐步提取图像中的语义信息，解码器用于逐步还原图像的显著部分。

6、步骤3.利用训练集对addnet进行训练，具体而言，将训练集中的图片输入进addnet，然后将预测图与人工标注的图进行损失计算。

7、步骤4.利用梯度下降算法，对损失进行梯度下降的计算，优化addnet的参数。

8、步骤5.重复3-4步骤，将addnet收敛到最佳，保存addnet参数，获得优化后的addnet。

9、步骤6.将测试集中的数据输入至优化后的addnet，得到输出的缺陷预测图，实现带钢表面缺陷的检测。

10、进一步的，编码器采用resnet34，从上到下分为6层，分别记为：encoder1～encoder6，每层的输出分别记为h1～h6。特别的，编码器的最后一层输出将传输至桥接层。

11、进一步的，桥接层采用的多尺度桥接层(mf模块)。桥接层的输入为编码器第六层的输出e6。首先将输入分别传到4种不同尺度的卷积层中，分别为：1×1的卷积，膨胀率为1，padding为0；3×3的卷积，膨胀率为1，padding为1；3×3的卷积，膨胀率为2，padding为2；3×3的卷积，膨胀率为3，padding为3。然后将它们的结果concat合并，记为x1。

12、之后将上述结果x1传递到1×1的卷积，并经过一个softmax函数，并将输出记为x2，接下来通过对上述特征值的点乘和相加得到res1和res2，具体公式为

13、

14、然后将res1和res2进行concat，最后经过一个3*3的卷积、bn和relu得到桥接层的输出，记为hbg。

15、解码器由5个解码器层组成，自上到下分为5层，记为decoder1～decoder4，对应的每一层的输出记为out1～out5。每个解码器层由一个卷积组模块和一个双重注意模块(da模块)组成，每一层编码器层输入为上一层级编码器层的输入，即第i层解码器的输入是第i+1层解码器层的输出。特别的，第5层解码器层的输入为桥接层的输出hbg。此外，第i层解码器层的卷积组模块的输出记为hdi+1，第i层解码器层的da模块的输出即为当前层解码器的输出outi。

16、具体而言，每个卷积组模块由三个卷积层组成，它们的卷积核均为3×3的大小，输入通道数均为x(x为模块输入特征值的通道数)，而输出通道数分别为

17、具体的，第i层解码器的da模块有两个输入，分别为hi和hdi+1，分别代表第i层的编码器输出和第i层卷积组模块的输出，其中i取值{1，2，3，4，5}。

18、在da模块中有两个分支：

19、分支1：将hdi+1进行两倍的上采样，记为cx1；将hi经过一个3×3的卷积层后，与cx1进行concat操作，得到的特征记为h x1。对于h x1来说，先经过一个1×1的卷积，得到结果记为h x2。之后经过3×3的输出通道为1的卷积，和sigmoid函数，并将结果记为h x3。然后将hx3与h x2点乘，得到h x4。将h x3取反并加一，得到h x5，即：

20、h x5＝1-h x3

21、分支二：对于cx1来说，经过3×3的输出通道为1的卷积，之后经过sigmoid函数，并将结果记为cx2，将cx2与cx1点乘，得到cx3。

22、之后将两个分支的结果进行融合，具体而言，将h x4、h x5与cx3的点乘结果、h x3与cx3的点乘结果进行concat，将结果记为ch。之后将ch经过一个3×3的卷积，得到了模块最后输出的结果outi。

23、本发明有益效果如下：

24、本发明通过将输入分别传递到不同尺度的卷积层，每个卷积层使用不同的膨胀率和padding，可以获得不同尺寸的特征值。将这些不同尺度的特征值concat合并，有助于模型更全面地捕获输入图像的多尺度信息。通过引入不同尺度的感受野，网络能够更全面地考虑输入数据的结构和关系，提高对复杂场景的理解能力。在条带钢表面缺陷的大小可能千差万别，使用不同膨胀率的卷积核允许网络更好地适应不同尺度的目标，提高了模型的鲁棒性。引入非线性的bn和relu，可以加速训练过程，并提高模型的稳定性。