一种基于半监督目标检测算法的钢材表面缺陷检测方法

本发明涉及一种基于半监督目标检测算法的钢材表面缺陷检测方法，属于钢材表面缺陷检测。

背景技术：

1、钢材在机械加工制造、汽车和半导体等行业有着广泛的应用。由于生产工艺和外部环境的限制，钢材表面在生产过程中难以避免的会产生缺陷，严重影响了产品的外观和质量。鉴于钢材表面缺陷具有纹理复杂，易与正常钢材产品混淆等特点，如何精确检测这类缺陷成为目前工业界亟待解决的问题。

2、依托于计算机视觉与人工智能领域的发展，基于深度学习的缺陷检测方法在工业界得到了广泛关注和应用。相比较于人工筛选和基于传统视觉的检测方法，基于深度学习的方法能够降低人工成本的同时对多种复杂缺陷进行实时检测，相比较于其他方法效率更高，检测更准确。目前，大多数基于深度学习的缺陷检测方法使用全监督目标检测网络进行缺陷的检测和识别，例如使用大量带标注信息的缺陷图像对yolo,retinanet等一阶段目标检测网络或faster-rcnn等一系列二阶段目标检测网络进行固定迭代轮数的训练，训练后的网络可以基于某一类任务实现缺陷的实时准确检测。但是，基于全监督网络实现的缺陷检测方法需要大量带标注缺陷图像用于网络训练，人工标注的所需的成本以及后期标注的操作在实际工业场景下难以实现，脱离了工业环境下的实际应用。上述问题严重影响着这一方法在工业领域的实现和部署。

3、随着半监督方法在计算机视觉领域的不断完善和优化，基于深度学习的半监督目标检测方法得到了深入研究与发展。该方法能够仅使用少量带标注图像和大量无标注图像作为训练数据，并对无标注图像生成伪标注来指导网络训练，该方法训练后的网络能够达到全监督网络相似甚至更高的精测精度；缺点在于难以准确识别纹理复杂、尺寸小和背景噪声多的目标（如钢材表面缺陷），且基于缺陷生成的伪标注质量较差，因此在缺陷检测任务中表现不佳。

技术实现思路

1、为了克服上述问题，本发明提供一种基于半监督目标检测算法的钢材表面缺陷检测方法，该方法通过对复杂缺陷具有精确提取能力的特征提取网络，改善了模型对复杂缺陷的提取能力，通过参与全局训练过程、指导和优化缺陷图像伪标注生成的自适应损失策略对模型进行训练，从而生成质量更好的伪标注。

2、本发明的技术方案如下：

3、一种基于半监督目标检测算法的钢材表面缺陷检测方法，包括以下步骤：

4、数据采集阶段，采集若干钢材表面缺陷图像a；

5、数据处理阶段，对部分所述钢材表面缺陷图像a进行缺陷标注，得到钢材表面缺陷图像b；

6、模型构建阶段，构建教师模型和学生模型；

7、模型训练阶段，包括：

8、将所述钢材表面缺陷图像a输入所述教师模型，所述教师模型对所述钢材表面缺陷图像a中的钢材表面缺陷进行预测，并根据预测结果进行标注，生成带有伪标注的钢材表面缺陷图像c；

9、将所述钢材表面缺陷图像b和所述钢材表面缺陷图像c输入所述学生模型，所述学生模型对所述钢材表面缺陷图像b和所述钢材表面缺陷图像c进行预测，计算所述钢材表面缺陷图像c的伪标注的损失，并更新所述学生模型；

10、通过所述学生模型的网络参数更新所述教师模型的网络参数；

11、检测阶段，将所述教师模型作为检测模型，用于钢材表面缺陷检测。

12、进一步的，所述教师模型与所述学生模型结构相同。

13、进一步的，所述教师模型与所述学生模型包括特征提取模块和特征融合模块；

14、所述特征提取模块对所述钢材表面缺陷图像进行特征提取；

15、所述特征融合模块对所述钢材表面缺陷图像的特征进行特征融合。

16、进一步的，所述特征提取模块包括依次连接的stem层、第一resnet50层、第二resnet50层、第三resnet50层和第四resnet50层；

17、所述stem层对输入的钢材表面缺陷图像进行处理得到通道数为64的原始特征图；

18、所述第二resnet50层对所述原始特征图进行下采样，得到特征图c3，采样比例为1/2；

19、所述第三resnet50层对所述特征图c3进行下采样，得到特征图c4，采样比例为1/2；

20、所述第四resnet50层对所述特征图c4进行下采样，得到特征图c5，采样比例为1/2；

21、将所述特征图c4输入双层注意力模块，得到特征图c4'；

22、将所述特征图c5输入双层注意力模块并构成残差连接，得到特征图c5'；

23、输出所述特征图c3、所述特征图c4'和所述特征图c5'。

24、进一步的，所述双层注意力模块包括：

25、将输入的特征图 f1通过第一层注意力模块获得通道域的权重，将所述通道域的权重与特征图 f1相乘，获得加权后的特征图 f2；所述第一层注意力模块包括依次连接的平均池化层、全连接层和全连接层；

26、所述特征图 f2，如下：

27、；

28、其中， w1和 w2分别为两次全连接操作中可学习的参数； σ和 δ分别为sigmoid函数和relu函数； avgpool( f1)表示对特征图 f1应用平均池化；

29、表示按元素进行相乘；

30、将输入的特征图 f1通过第二层注意力模块获得空间域的权重，将所述空间域的权重与特征图 f2相乘，获得加权后的特征图 fout；所述第二层注意力模块包括对特征图 f1各通道同时进行平均池化和最大池化，将平均池化和最大池化的结果在通道维度上拼接后，输入卷积层，以sigmoid函数作为激活函数；

31、所述特征图 fout，如下：

32、；

33、其中， convn×n为卷积核大小为 n的卷积， n为3或7； concat表示将两个特征图在通道维度上进行拼接； maxpool( f1)表示对特征图 f1应用最大池化。

34、进一步的，所述特征融合模块包括：

35、将特征图c3、所述特征图c4'和所述特征图c5'分别通过卷积核大小为1的卷积；其中，所述特征图c5'经过卷积核大小为1，通道数为256卷积处理后，得到中间特征m5；

36、将所述中间特征m5与经过卷积核大小为1，通道数为256卷积处理后的所述特征图c4'进行邻近差值的上采样，得到中间特征m4；

37、将所述中间特征m4与经过卷积核大小为1，通道数为256卷积处理后的所述特征图c3进行邻近差值的上采样，得到中间特征m3；

38、将所述中间特征m3、所述中间特征m4和所述中间特征m4分别通过卷积核大小为3，通道数为256的卷积，得到特征图p3、特征图p4和特征图p5；

39、将所述特征图c5'依次通过relu激活函数和卷积核大小为3的卷积，得到特征图p6；

40、将所述特征图p6依次通过relu激活函数和卷积核大小为3的卷积，得到特征图p7。

41、进一步的，还包括预测模块，所述预测模块根据所述特征图p3-p7对钢材表面缺陷进行预测并计算损失；

42、所述预测模块包括分类分支和回归分支；

43、所述分类分支用于预测缺陷类型并得到置信度分数；

44、所述回归分支用于计算特征图像中各点与生成锚框各端点的距离，从而定位钢材表面缺陷位置。

45、进一步的，还包括重复所述模型训练阶段若干次。

46、进一步的，训练阶段采用全局自适应损失策略，具体为：

47、损失函数 l，如下：

48、；

49、其中，和分别为第 i张所述钢材表面缺陷图像b和所述钢材表面缺陷图像c，和分别为所述钢材表面缺陷图像b和所述钢材表面缺陷图像c的数量； lcls和 lreg分别为分类分支损失函数和回归分支损失函数； λu为所述钢材表面缺陷图像c上伪标注损失的权重系数；

50、训练阶段， λu跟随迭代次数的变化自适应变化，公式如下：

51、；

52、其中， iters为训练阶段模型已迭代次数， itersmax为预设的最大训练迭代次数； σ为sigmoid函数， t为迭代次数阈值；

53、 fiters为用于动态调整伪标注的权重系数，计算方式如下：

54、；

55、所述学生模型根据损失函数 l和梯度下降法对内部网络的参数进行更新；

56、所述学生模型通过指数滑动平均来指导所述教师模型的内部网络参数更新，所述教师模型在迭代次数为 t时的权重如下：

57、；

58、其中， α为超参数， θt为所述学生模型在迭代次数为 t时的权重。

59、进一步的，所述模型训练阶段中通过所述教师模型进行预测时冻结所述教师模型内部网络的参数。

60、本发明具有如下有益效果：

61、1、该方法在同等标注条件下相比于其他半监督目标检测算法和全监督目标检测算法具有更精确的检测精度，能够仅通过少量带标注图像进行训练并达到更优越的精度，大幅度降低了人工标注的成本，更适合于工业生产要求。

62、2、该方法的特征提取模块能够对不同维度的特征信息进行了关注和学习、减少缺陷图像的背景噪声影响，进一步提升对钢材表面复杂缺陷的特征提取能力，提升半监督目标检测算法的检测精确度。

63、3、该方法的全局自适应损失策略能够根据训练的迭代次数自适应调整伪标注损失的权重比例，在训练初期仅考虑监督损失，使模型充分学习带标注图像的特征信息，保证伪标注的准确生成；训练中期权重系数 λu随着迭代次数非线性增加，通过教师模型生成的伪标注图像对学生模型的训练进行指导；训练末期调整 λu恒等于2，令教师模型与学生模型进行互补学习。该策略能够改善教师模型生成的伪标注质量，进一步提升半监督目标检测模型的检测性能和稳定性。