基于图像分割与降噪的弱监督钢铁表面缺陷检测方法

本发明属于计算机视觉和图像检测领域，具体是一种基于图像分割与降噪的弱监督ssim-unet钢铁表面缺陷检测方法。

背景技术：

1、由于轧钢生产的高温、危险的工作环境，在实践中，钢铁表面缺陷检测大多依靠熟练工人的经验判断，这使得钢铁表面缺陷检测变得低效且难以评估。尽管高分辨率的摄像头和相机的出现使得对钢铁表面缺陷检测远程辨别成为可能，但它仍主要依靠熟练工人的主观判断。而正因为高精度的工业相机的发展，可以清晰地记录钢铁表面的实时状态，此基础上利用计算机视觉和图像处理技术对钢铁表面缺陷进行检测是一种可以提高效率和节省人工成本的有效方法，并且，这种方法，是可以被科学评估的。

2、早期的钢铁物体表面缺陷检测大多数是基于特征的机器视觉算法，主要分为三类，基于颜色特征、形状特征和纹理特征。在一定时间内这些方法发挥了巨大的作用，但是特征方法通常是手工设计的，难以捕捉到高层次的语义信息，很难运用在大规模复杂的任务中。

3、2006年herbert和tinne等人提出一种保持了对尺度和旋转的不变性的特征方法(surf)。在表面缺陷检测中可以用于寻找关键点和描述表面纹理。基于特征的机器视觉方法性能趋于平稳。

4、2012年，hinton等人提出的深度卷积神经网络(cnn)——alexnet使得卷积神经网络风靡计算机视觉领域。深度卷及网络可以学习图像的高层次特性，极大地增强模型的鲁棒性。一类主流的目标检测算法是基于区域的卷积神经网络(r-cnn)，一个典型的region-base方法的流程是：先通过计算机图形学(或者深度学习)的方法，对图片进行分析，找出若干个可能存在物体的区域，将这些区域裁剪下来，放入一个图片分类器中，由分类器分类。由此方法改进出现了大量的钢铁表面缺陷检测方法，wen chen等人提出一种集成不同的深度卷积网络(drcnn)的集成方法，训练了三个模型，在钢铁表面缺陷分类的准确度上取得了最先进的性能。

5、另一类主流的目标检测方法是基于单阶段的you only look once(yolo)算法，相比于region-based方法，yolo不需要提前找到可能存在目标的region。相比于r-cnn类的检测方法，由于采用单阶段检测，yolo算法具有较快的检测速度，因为能够满足实时的检测效果，yolo及其改进算法在钢铁表面缺陷检测工业界发挥了及其重要的作用。c zhao等人基于yolov5，引进res2net块组成主干组件，设计一个双特征金字塔网络(dfpn)，提出的一种rdd-yolo的模型应用在钢铁表面缺陷检测，在主流数据集neu-det、gc10-det上取得了较高的准确度

6、以上所提及的卷积神经网络方法主要是基于监督学习，监督学习在钢铁表面缺陷检测的工业领域仍然存在以下问题：

7、监督学习需要大量的标记数据这导致需要很大的人力投入，传统的监督学习在原图上进行标注，工业物品图像的背景复杂，需要耗费更多的标注精力的同时还可能导致标注误差扩大，在工业检测场景下，要寻找大量负类缺陷样本是不容易的，正类样本的图片数量要远远大于负类样本，监督学习必须拥有大量的负类标注样本才能保证与准确性。

技术实现思路

1、本发明针对现有的钢铁表面缺陷检测存在的问题，提出一种基于图像分割与降噪的弱监督钢铁表面缺陷检测方法，该方法可以利用少量的钢铁表面缺陷数据，无需标注即可检测出缺陷的形状，相比现有检测方法，可以减少人力投入的同时、在检测速度、精确率，召回率上有大幅提高。

2、本发明基于图像分割与降噪的弱监督钢铁表面缺陷检测方法，包括如下步骤：

3、1)采集钢铁表面数据，包括少量钢铁表面缺陷图片和大量正常图片，其中正常图片用于模型训练，缺陷图片用来测试模型的分割效果；

4、2)优化u-net网络模型以适应对钢铁表面缺陷数据进行图像分割，网络左侧的第一层卷积层的设置为46个卷积核，每个卷积核大小11*11，步长设置为1，左侧从上往下其余三层的卷积核大小分别设置为9*9、7*7、5*5，步长都设置为2，卷积核个数都为46个；网络的右侧从下往上进行反卷积操作，为了获取更多的特征信息，用跟右侧相对应的左侧下一层特征进行剪裁，拼接到右侧的输入特征中；

5、3)嵌入结构相似性指数(structural similarity index)测量系统作为模型的损失函数，结合步骤2)优化的u-net网络模型，提出一种新的网络模型ssim-unet，利用亮度，对比度和结构三个对比模块对原始图像与缺陷图片计算损失，优化图片光照、图片结构差异在成像时所造成的影响，生成钢铁表面初步缺陷分割灰度图；

6、4)引入消除噪声与图像凸显模块，将步骤3)中得到的缺陷分割灰度图先利用高斯滤波去除成像过程中的高斯噪声，最后利用中值滤波消除图像的椒盐噪声，突出图像缺陷部分；

7、5)输出钢铁表面缺陷最终的检测结果。

8、进一步的，步骤1)所述采集钢铁表面数据的过程为：用高清工业相机拍摄钢铁表面图像，设置相机的分辨率为2048*2048像素，对原始的正常图像采用放大、缩小、亮度增强、亮度减弱、翻转、剪裁、弹性变换7种方法进行图像数增量，最终将所有图片剪裁为512*512像素大小的图片作为模型输入。

9、进一步的，步骤2)所述优化u-net网络模型以适应对钢铁表面缺陷数据进行图像分割，优化步骤为：

10、2.1)为了解决数据量不大的情况，模型还能对钢铁表面缺陷检测达到良好的检测效果，避免过拟合现象的产生，相应的对模型的池化层卷积核大小进行扩大，池化核分别为11*11,9*9,7*7,5*5,3*3,卷积层第一层设置为1，其余层步长设置为2，卷积层每层的通道数设置为46，描述如下：

11、cov2d(k*k,b,c)

12、其中，k表示卷积核大小，b表示步长，c表示卷积的通道数；

13、每层卷积过后得到的特征图尺寸大小的表达式为：

14、

15、式中，w为输入矩阵大小，k为卷积核大小，s为步幅，p为补零层数；

16、2.2)为了获得与输入尺寸大小相同的图片，对2.1)中所得到的特征图在模型右侧进行反卷积操作，其表达式为：

17、x′＝f′*y

18、式中，f′表示反卷积层的卷积核，y表示m*n的输入特征图矩阵，描述如下：

19、

20、2.3)为了在反卷积操作中更好的分割缺陷图像的像素信息，减少数据丢失，获取更多的特征信息，用跟右侧相对应的左侧降采样下一层特征进行剪裁，拼接到右侧的输入特征中增加特征层，剪裁拼接所得到的特征图，其表达式为：

21、feature map＝j(u，c(v))

22、式中，u是左侧降采样路径的特征图，v是右侧反卷积的特征图，c(v)表示对v进行剪裁操作，j表示拼接操作，将剪裁后的v与u进行拼接。

23、进一步的，步骤3)所述结构相似性指数ssim测量系统，是通过亮度、对比度和结构三种对比模块来评判两张图片的相似度；

24、所述嵌入ssim测量系统，是在u-net模型每层反卷积层中嵌入该ssim测量系统作为生成缺陷灰度图时的损失函数，将缺陷图像输入到训练好的新模型中，生成钢铁表面初步缺陷分割灰度图；

25、所述亮度对比度模块对于离散信号，以平均灰度作为亮度测量的估计，其表达式为：

26、

27、式中，ux为原图的平均灰度，xi为当前像素点，n是图像所在区域像素点的总数；

28、亮度对比函数l(x,y)是关于ux，uy的函数，其表达式为：

29、

30、式中，ux为原图的平均灰度，uy为对比图像中的平均灰度，c1为常数，设置数c1是为了避免接近0时造成系统的不稳定；

31、所述对比度对比模块对于离散信号x-ux，使用标准差做对比度估量值，其表达式为：

32、

33、式中，σx对比度估量值，xi为当前像素点，ux为亮度对比模块中的平均灰度；

34、对比度对比函数c(x,y)是关于σx，σy的函数，其表达式为：

35、

36、式中，σx为原图的对比估量，σy为对比图的对比估量值，常数c2＝(k2l)2，l为图像灰度级数，对于8-bit灰度图像，l＝255，且k＜＜1，对比c(x,y)函数即可求出两幅图片的对比度差异；

37、所述结构对比模块中，结构对比函数s(x,y)表达式为：

38、

39、式中，c3＝c2/2，σxy为两个像素点对比估量相互作用影响值，其表达式如下：

40、

41、最后把三个函数组合起来，得到结构相似性指数(ssim)函数：

42、ssim(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ

43、式中，α，β，γ>0，用来调节三个模块的重要性，在钢铁表面缺陷检测任务中，三个模块的重要程度一致，在ssim-unet中α，β，γ均设置为1；

44、ssim测量系统根据亮度、对比度和结构对比模块对两幅图像进行比较，因此与均方误差相比，它是一种更好的视觉相似性度量，可以得到更优化的模型效果，其表达式化简后如下：

45、

46、式中，由c(x,y)与s(x,y)相乘化简得到，化简过程如下：

47、

48、

49、嵌入结构相似性指数量系统到优化的u-net模型中，是在u-net每层反卷积层中嵌入该ssim测量系统作为生成缺陷灰度图时的损失函数，提出一种新的模型ssim-unet，将缺陷图像输入到训练好的新模型中，生成钢铁表面初步缺陷分割灰度图。

50、进一步的，步骤4)所述噪声消除和图像凸显处理，具体步骤如下：

51、4.1)先采用3*3的高斯核通过高斯滤波对步骤3)生成的钢铁表面初步缺陷分割灰度图片去除的高斯噪声，高斯函数表达式为：

52、

53、式中，σ2是图片x和y方向上的方差，a是为了不使得钢铁表面缺陷分割图像偏亮或者偏暗，采用的归一化系数，通过高斯函数生成的3*3的高斯密度分布矩阵为：

54、

55、4.2)采用中值滤波对高斯滤波处理后的输出的图像进行椒盐噪声的去除，中值滤波函数表达式为：

56、g＝median[f(x-1,y-1)+f(x-1,y)+…+f(x,y+1)+f(x+1,y+1)]

57、式中，f(x,y)为图像邻近的像素点，median为求中值函数，其表达式为：

58、

59、式中，i,j表示像素矩阵x中第i行第j列的像素点。

60、本发明方法在训练ssim-unet网络时不需要大量的钢铁表面缺陷异常数据，并且不需要对训练图片进行标注即可以对轧钢表面缺陷形状进行分割，修改过的网络模型可以更加适应轧钢表面的不同尺寸大小，同时，引入更加合适的损失函数来优化模型，提高了检测精度，对比同类型的检测技术，本发明方法更加符合钢铁表面缺陷检测的工业场景，降低了检测的人力投入，提高了检测速度。