一种基于深度学习的磁瓦缺陷检测及分割方法

1.本发明属于深度学习领域和缺陷分割领域，具体涉及一种基于深度学习的磁瓦缺陷检测及分割方法。


背景技术：

2.表面缺陷检测是机器视觉的一项非常重要的研究内容，也是计算机视觉在工业落地的重要场景，磁瓦表面的缺陷检测是表面缺陷检测的具体应用场景。目前其缺陷检测仍旧存在采用人工检测的方式，这对工人的经验和体力具有一定的要求。近年来，非常多的采用深度学习的方式进行表面缺陷检测的方式不断被报道，主要可以分为有监督的和无监督的方法。有监督的方法指的是利用人的经验和知识对数据集进行标记(图像级分类、矩形框、像素级分类等)，无监督的方法指的是对网络训练时只使用无缺陷的图像，在进行缺陷检测的时候发现不一致的则定义为缺陷。
3.根据实际场景中对网络的要求，可将缺陷检测分为三类：(1)是否存在缺陷(2) 缺陷在哪里(3)缺陷有多少，这三类的要求依次增高，解决缺陷有多少的问题实际上也涵盖了缺陷在哪里的问题。对于磁瓦表面缺陷，主要可划分为气孔、裂纹、断裂、磨损和异面五类，这五类缺陷的差异较大，例如气孔常表现为5
×
5像素点之内的圆点，裂纹缺陷表现为图中细且长的线段，而异面缺陷大可占据到四分之三张图。从其形状上看可将这五类缺陷重新划为点、线、面三种缺陷，现有的方法针对磁瓦缺陷这种情形，并不能很好的兼顾是否存在缺陷以及缺陷有多少的问题。本方法针对复杂的磁瓦表面缺陷，设计了一个基于深度学习的磁瓦表面缺陷检测算法，实现磁瓦缺陷检测的智能化。


技术实现要素：

4.本发明的目的在于针对现有方法的不足，提出一种基于深度学习的磁瓦缺陷检测及分割方法，同时解决是否存在缺陷以及缺陷有多少的问题，实现磁瓦缺陷检测的自动化、智能化。
5.为实现上述目的，本发明的技术方案是：一种混合监督的磁瓦缺陷分割方法，包括如下步骤：
6.(1)将由人工标注好的缺陷数据和无缺陷数据按照一定比例划为训练集和测试集，对本发明提出的一种新的神经网络进行训练，得到磁瓦缺陷检测的分割及分类网络。
7.(2)通过采集设备获取磁瓦表面图像，调整图像为固定大小。将图像输入网络，网络判断该图像是否存在缺陷以及输出缺陷分割结果。
8.上述方法，进一步地，步骤(1)中提到的新神经网络结构分为三个部分，分别是特征提取网络、缺陷分割网络以及缺陷分类网络。
9.在本发明一实施例中，神经网络的训练过程为：首先，将训练集通过特征提取网络提取特征，输出特征金字塔，再通过缺陷分割网络作为解码器将特征图还原为原图大小，得到缺陷分割结果；再而，将特征提取网络的输出的特征金字塔以及缺陷分割网络输出的缺
陷分割结果输入缺陷分类网络，缺陷分类网络输出缺陷分类结果，最后根据公式l
total
＝λ*γ*l
seg
+(1-λ)*δ*l
cls
进行loss的计算，并进行反向传播，反复训练模型，最终得到磁瓦缺陷检测的分割和分类器。
10.在本发明一实施例中，特征提取网络由三层卷积层和三层池化层组成。
11.在本发明一实施例中，缺陷分割网络包含三个上采样层和三个卷积层。
12.在本发明一实施例中，缺陷分类网络由三层池化层、四层卷积层和一个全连接层组成。
13.其中，每个卷积层都由2维卷积层、特征归一化层以及relu激活层组成。由于本发明实施例中训练时采取batchsize为1，不能使用常规的 batchnormalization，特征归一化层的计算公式如下所示：
14.μ＝1/n∑i∑jx
ij
ꢀꢀ
(1)
[0015][0016][0017]
相较于现有技术，本发明具有以下有益效果：
[0018]
1.现有算法往往需要大量的缺陷数据进行训练，而在实际中缺陷数据相较于无缺陷数据很难获取，且对于数据的像素级标记成本很高。本发明所提出的检测算法采用混合监督的训练方式，只需少量带有像素级标记的缺陷数据，就可实现在缺陷分类的同时标记出缺陷的大小。
[0019]
2.现有算法在应对形状变化较大的缺陷进行分割时效果不佳，本发明所提出的方法可以兼顾点、线、面三种形态的缺陷，达到良好的分割效果。
[0020]
3.本发明结合了缺陷分割和缺陷分类的方式，对磁瓦图像先分割后检测，不仅对比传统的缺陷分类可检测出缺陷的大小，且充分利用分割的结果提升分类的准确度。
附图说明
[0021]
图1为本发明的流程框架示意图。
[0022]
图2为本发明提出的网络结构示意图。
[0023]
图3为本发明提出的网络结构细节。
[0024]
图4为磁瓦五种缺陷及其标记图。
[0025]
图5为本发明在使用不同数量的像素级缺陷标记训练的对比表。
[0026]
图6为检测缺陷的结果图。
[0027]
图7为各算法检测结果示意表。
具体实施方式
[0028]
下面通过具体实施方式对本发明所述方法做进一步说明。有必要指出，以下实施例只用于对本发明作进一步说明，不能理解为对本发明保护范围的限制，所属领域技术人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，仍属于发明保护的范围。
[0029]
实施例1：
[0030]
请参阅图1-2，本发明提供了一种基于深度学习的磁瓦缺陷分类及分割方法，其步骤如下：
[0031]
步骤s1、将预先准备好的不带有缺陷和带有缺陷的数据集按照7：3的比例划分为训练集和测试集，其中训练集中的缺陷数据又可以分为两类，一类只提供图像分类的标注，一类提供像素级的标注。训练时总loss定义为：
[0032]
l
total
＝λ*γ*l
seg
+(1-λ)*δ*l
cls
ꢀꢀ
(4)
[0033]
其中，γ和δ分别为分割损失和分类损失的系数，γ根据输入的不同取不同的值，
[0034]
参数λ控制分割子网络和分类子网络的训练先后顺序，鉴于分割子网络在训练前期不能很好的提供给分类子网络一个较为准确的分割信息，所以训练时先对分割子网络训练，逐渐转为对分类子网络训练，λ的取值公式为：
[0035]
λ＝1-n/n
total
ꢀꢀ
(6)
[0036]
公式(6)中，n为训练时的迭代轮次，n
total
为训练总迭代轮次。
[0037]
公式(4)中l
seg
和l
cls
均采用bce损失，为增强对缺陷边缘的分割结果，以提升后续特征融合后的分类效果，分割的损失采取了带权重的损失，具体来说，我们对分割的标记图赋予权重，越靠近边缘的权重越大，而越靠近中心的权重越小，计算公式如下所示：
[0038][0039]
公式(7)中，表示初始时缺陷像素的权重，一般设置为1，dis
(pixel)
表示该像素点到最近的边缘的距离，dis
(pixelmax)
表示离边缘最远的像素点到边缘的距离，α和β为两个系数，一般取2和2。
[0040]
训练采用随机梯度下降算法，batchsize设置为1，训练轮次设置为50，训练结束后选择在测试集上表现最好的轮次作为最后的网络，得到磁瓦缺陷分割和分类网络。
[0041]
步骤s2、通过采集设备采集磁瓦图像，将图像转换为400
×
400大小，输入网络。磁瓦图像首先被送入特征提取网络，为解决上述提到的磁瓦缺陷形状大小不一的问题，特征提取网络采用了特征金字塔的形式，输出结果为3层特征图， 3层特征图大小分别为原图尺寸大小1/2、原图尺寸大小1/4，原图尺寸大小1/8。此外，在特征提取网络的每一层卷积，都采用大卷积核、小步长以及边缘填充以保障卷积后特征图尺寸不变，特征图尺寸只在每层卷积层后的池化层下采样到输入尺寸的1/2。
[0042]
缺陷分割网络输入为特征提取网络的输出。特征图经过一层卷积层后送入上采样层，尺寸变为原来的2倍，再与上层的特征图进行叠加操作，再送入卷积层，其余各层以此类推，最终输出与原图尺寸大小的缺陷分割图。
[0043]
分类网络的输入为特征提取网络输出的最后一层特征图以及缺陷分割网络的输出。特征提取网络输出的最后一层特征图首先经过一层卷积层后与缺陷分割网络的输出的掩膜叠加，继续经过三个卷积层和三个池化层，最后进入一个全连接层输出该图像是否存
在缺陷的概率。
[0044]
为了说明本发明的提出的先对缺陷进行分割再利用分类有效性，图4展示了在训练时带有像素级标记的缺陷图不同数量对最后分类结果的影响。我们采用平均精度(ap)、漏检个数(fn)以及误检个数(fp)对网络进行评价。其中漏检个数定义为缺陷图像被识别为无缺陷图像的个数，误检个数定义为无缺陷图像被识别为缺陷图像的个数，相应地缺陷图像识别为缺陷即为tp，无缺陷图像识别为无缺陷即为tn，召回率recall＝tp/(tp+fn),准确率precision＝ tp/(tp+fp),则平均精度则为准确率在recall值为recall＝{0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1}时的平均值，即：
[0045]
。