一种改进U2-Net的瓷砖表面缺陷分割方法

本发明涉及一种改进u2-net的瓷砖表面缺陷分割方法，属于显著性目标分割。

背景技术：

1、显著性目标分割又叫显著性目标检测，主要目标为区分图像中最明显的区域。通过提取出图像中的目标区域来进行分析。目前在场景物体分割、人体前景分割、人脸人体parsing、三维重建技术等在智能安防、无人驾驶、安防监控等领域应用广泛。

2、传统的显著性目标检测算法整体上主要都是基于低级视觉特征的，包括中心偏差、对比度先验和背景先验等。achanata等人分别对亮度和颜色两种低级特征处理，使用高斯差分函数来进行频域滤波，从而来计算当前像素与其周围不同大小的域中像素的对比度，以此确定图像像素的显著值。klein等人是利用信息论中的k-l散度去衡量图像的特征空间的中心位置于其周围特征的差异。这些算法都是从考虑局部像素对比的方面，它在检测目标的边缘信息时能有很好的表现，但是对目标整体很难实现检测。而基于全局对比的检测算法则是计算像素区域相对于图像里所有像素的对比，这样能够将显著目标的具体位置检测出来。如wei等人将背景连接度的概念提出，在他们的方法中用来获取有效范围并且计算图像显著性的就是全局对比度。在高等人的方法中，先获得超像素分割后的图像，然后在cielab颜色空间中计算纹理细节和图像的全局对比度，借助了多核增强学习融合这两个特征得到显著图，并且用使用滤波器的后处理方法优化得到的预测图。perazzi等人首先将图像分解成不同的块，这些块与块之间的图片关系是紧凑的，具有视觉平滑性，然后给这些块的唯一特殊性和空间分布情况计算评估，根据评估度量结果生成图像的显著性图。此外还有研究人员通过构建图模型来进行图像像素的显著值计算。yang等人据此提出了基于流型排序的sod算法。他们的做法是首先采用超像素分割图片，然后选取合适的背景种子点，其他节点和种子点之间可以计算相似度，不同大小的排序的到初始显著图，再将它作为前景种子点，再次计算相似度再排序得到结果显著图。但是这种算法最后是否能很好地检测出显著图和种子点的选取十分相关。yuan等人提出了一个显著性反转校正过程，去除边界附近的前景超像素，防止显著反转，从而提高基于边界先验的显著性预测的准确性和鲁棒性。shan等人利用背景权重图为流形排序提供种子，并且利用一个三阶光滑性框架来提高流形排序的性能。在wu等人针对先前存在的方法在检测一些背景对比度低的图片时可能遗漏目标区域的问题，提出了一种新的传播模型，该模型考虑到了利用变形平滑约束。该模型局部正则化图像的节点和它周围的点，然后使用变形的平滑约束阻止可能出现错误的结果传播下去。

3、总之，基于传统的目标检测算法大多提取的特征比较简单，并且对图片显著值的训练过程也不是很复杂，目前在许多场景下也有着比较好的性能。然而在大量的数据集和实际场景图像中，需要检测的环境和图片情况变得越来越复杂，检测性能和检测速率的要求在增高，基于传统的方法逐渐难以满足这些要求。

技术实现思路

1、为了克服现有技术中存在的缺陷，本发明旨在提供一种改进u2-net的瓷砖表面缺陷分割方法。

2、本发明解决上述技术问题所提供的技术方案是：一种改进u2-net的瓷砖表面缺陷分割方法，包括以下步骤：

3、步骤s1、获取瓷砖表面缺陷检测数据集，并将其分为训练集与测试集；

4、步骤s2、构建基于u2-net的瓷砖表面缺陷分割网络模型；

5、所述瓷砖表面缺陷分割网络模型为六层u型结构，包括6级编码器、5级解码器、2级多尺度特征融合模块及显著图融合模块；

6、其中前4个编码器及对应的4个解码器由特征提取结构dcrsu构成，每个dcrsu的层数随着encoder和decoder的层数的增加而减少，即前4个编码器使用的分别是dcrsu-7、dcrsu-6、dcrsu-5、dcrsu-4，前4个解码器同理如此；

7、第5个编码器及对应的解码器采用的就是rsu-4f；

8、第6个编码器引入sknet作为最深一层的编码器；

9、分别在第5个解码器和第4个解码器的输入引入2个改进注意力门模块，将第6个编码器与第5个编码器输出的特征进行融合输入第5个解码器，将第4个编码器与第5个解码器输出的特征进行融合输入第4个解码器；然后使用3×3卷积和sigmoid函数从第6个编码器、第5个解码器、第4个解码器、第3个解码器、第2个解码器和第1个解码器生成6个输出显著概率图；然后将输出的显著图的逻辑图向上采样至于输入图像大小一致，并通过级联操作相融合；最后通过1×1卷积层和sigmoid函数，以生成最终的显著性概率映射图；

10、步骤s3、通过训练集对瓷砖表面缺陷分割网络模型进行不断迭代训练，直到网络最终收敛，得到训练好的瓷砖表面缺陷分割网络模型；

11、步骤s4、将待处理的图片输入到训练好的瓷砖表面缺陷分割网络模型中，得到分割的目标。

12、进一步的技术方案是，所述步骤s10中训练集与测试集按4：1进行划分。

13、进一步的技术方案是，所述dcrsu由输入卷积层、编码器、解码器和残差结构4部分组成；

14、输入卷积层用于提取局部特征和转换通道；

15、编码阶段，最后一个编码器采用卷积+批量归一化+relu激活函数结构，倒数第2层采用深度可分离卷积+批量归一化+relu激活函数结构；其余编码器利用残差结构将深度可分离卷积提取的特征和经注意力机制模块处理的输入特征相加后再输入下一个特征提取层进行特征提取,使得每级输出特征可以在聚焦于具有更多有效特征信息通道，加强每一级有效特征的提取能力并获取多尺度特征信息；

16、残差结构将输入层和中间层进行融合，对两个不同尺度的特征进行一个拼接；

17、解码阶段，解码器模块将经过拼接的特征图，经过一个3×3卷积一个批量归一化层和relu激活函数通过上采样逐步修复分割对象的细节和空间维度；经最后一个解码器输出的特征图，与经输入卷积层的特征图相加融合得到经dcrsu模块处理后的最终特征图。

18、进一步的技术方案是，所述rsu-4f将下采样和上采样换成了膨胀卷积，输入特征cxhxw首先通过2个由卷积+批量归一化层+relu组成的模块，然后经过膨胀卷积依次为1、2、4、8，整个过程中特征图大小不变。

19、进一步的技术方案是，sknet作为最深一层的编码器，提取多尺度特征操作是将原特征图分别通过一个3×3的分组/深度卷积和3×3的空洞卷积生成两个特征图：和然后将这两个特征图进行相加，生成u；

20、生成的u通过全局平均池化生成1×1×c的特征图，该特征图通过全连接层生成d×1的向量z，对向量z分别经2个fc层重新变回长度c，对2个向量在通道维度上求softmax，得到各自的权重向量，并将权重与阶段一的2个输出进行相乘得到新的特征图，对两个新的特征图进行求和得到最终输出，送入下一个解码器。

21、进一步的技术方案是，所述改进注意力门模块的两个输入分别是编码器的当前层xl和解码器的下一层g，输入特征为cxhxw，他们首先经过逐元素的相加，经过relu激活函数，得到cxhxw的特征图，然后通过1×1的卷积将通道数降为1，然后sigmoid激活函数进行归一化得到注意力系数，然后再经过一个1×1模块将尺寸还原回来，得到cxhxw的系数，最后使用得到的注意力系数对两个输入特征图进行相乘，然后进行拼接，将最后得到的特征图送入下一个解码器模块。

22、进一步的技术方案是，所述步骤s3中训练模型时，设定批量大小为16，使用adamw优化器进行优化；首先使用1×10-3的学习率进行初始训练，然后使用1×10-5的学习率微调模型。

23、进一步的技术方案是，所述步骤s3中的损失公式为：

24、

25、式中：lfuse代表的是最终的预测概率图的损失，l代表二值交叉熵损失，w代表每个损失的权重。

26、本发明具有以下有益效果：本发明的u2-net网络结构深且复杂，通过rsu和跳跃连接能够提取图片不同尺寸的级内和级间信息，但在连接中容易出现非缺陷区域等无效特征的保留和缺陷边缘等信息的丢失，仍存在一定的漏分割情况，为进一步提升网络分割性能，本发明主要从提高有效特征的提取能力和减少信息丢失两方面对网络进行改进；

27、针对当前显著性目标检测解码阶段因为跳跃连接导致非缺陷区域等无效特征的保留和缺陷边缘等信息的丢失的问题，本发明能够充分利用图像的上下文信息从而减少信息丢失，提升显著性主体的分割效果；

28、针对显著性目标检测在瓷砖表面缺陷场景下目标与背景对比度较低、检测精度较低的问题，本发明能够充分利用主干网络对有效特征的提取能力，使图片中缺陷目标的分割效果更好。