基于多尺度显著信息和双向特征融合的表面缺陷检测方法与流程

本发明涉及一种表面缺陷检测方法，具体为基于多尺度显著信息和双向特征融合的表面缺陷检测方法，属于卷积神经网络、表面缺陷检测。

背景技术：

1、表面缺陷对产品的美观度、舒适度和使用性能等都会带来不良影响，因此表面缺陷检测方法对产品质量控制起着至关重要的作用，是生产中不可或缺的一环。这类方法目前已经应用在金属、钢轨、织物、路面、铝板带等领域。表面缺陷种类繁多，通常表现低对比度、背景干扰强、尺度变化大等特点，因此，如何在复杂多变的干扰因素下实现自动化的缺陷检测是一个巨大挑战。

2、近年来，得益于卷积神经网络（cnn）强大的特征提取能力，基于深度学习的表面缺陷检测方法的核心是以cnn作为骨干网络提取特征，然后对特征进行相关操作生成最终的预测图来实现检测。在cnn提取的多层特征中，浅层特征含有位置细节信息，深层特征具有抽象语义信息，融合两种特征有利于缺陷的检测与定位，最常用的融合方法是逐步将深层特征通过线性上采样与相邻浅层特征融合，最终生成与输入图片尺寸一致的预测结果。但是这种单向融合方式较为单一，不能充分利用浅层特征中的信息，往往会忽略一些弱缺陷，造成检测精度的损失。而另一种单向融合方式是将提取的每层特征都上采样到原图像尺寸，拼接上采样后的结果，使用一个卷积层降低通道来获得最终的预测结果，然而这种方式上采样尺度过大，产生大量冗余信息，导致细节信息的弱化，信息不能充分利用，不利于缺陷的轮廓以及边缘的精准检测。因此，这两种单向融合方式均不利于对缺陷的整体感知。

技术实现思路

1、本发明的目的是克服上述不足，而提供一种基于多尺度显著信息和双向特征融合的表面缺陷检测方法，一方面融合多尺度显著信息来突出缺陷信息，增强缺陷特征，同时提出一种双向特征融合方式实现深层与浅层特征的双向融合，充分利用深层与浅层信息，实现缺陷的整体感知。

2、本发明采取的技术方案为：

3、基于多尺度显著信息和双向特征融合的表面缺陷检测方法，包括步骤如下：

4、s1.将数据集划分为普通训练集和测试集，抽取普通训练集中部分正常样本作对照集，普通训练集中其余正常样本和缺陷样本组成新的训练集，预处理对照集和新的训练集；

5、s2.将对照集中的所有样本输入到特征提取网络中提取n层特征，每一层的所有特征构成一个特征记忆库，共生成n个特征记忆库，对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集 m ci ，i=1,2,3…n；

6、s3. 训练阶段，将新的训练集的样本输入到特征提取网络中提取n层特征 f i，i=1,2,3…n，将每层特征 f i输入到多尺度显著性信息模块中提取显著性信息，先采用最近邻算法在核心子集 m c i中寻找与 f i中每个空间位置所在的特征最相似的特征并计算保存二者的距离，再将计算的距离经过sigmoid函数归一化到[0,1]之间，并进行reshape操作得到多尺度显著性信息图 s i ，i=1,2,3…n；

7、s4.将n个多尺度显著性信息图与对应相同尺度的特征 f i拼接，并通过信息融合模块得到n个融合后的特征  fi ’，将  fi ’输入到双向特征融合模块中，生成n个融合特征 k i，i=1,2,3…n；

8、s5.将融合特征 k 1- k n 分别通过1×1卷积降低通道，并上采样到输入训练集样本尺寸获得n个通道为1的特征图；将融合特征 k 2 – k n 上采样到最大特征图尺寸，分别得到尺寸均为 t1（ k 1尺寸）的特征 k 2 ’- k n ’，拼接n个尺寸为 t1的特征图 k 1 、 k 2 ’- k n ’，上采样拼接后的结果到输入训练集样本尺寸，并使用1×1卷积降低通道得到训练阶段输出结果；

9、s6.将训练阶段输出结果与标签图片逐像素计算bce损失，将n个通道为1的特征图与标签图片逐像素计算bce损失，加和计算总损失，训练网络执行深度监督，更新网络并保存最后的参数；

10、s7.测试阶段，将测试样本输入到特征提取网络中提取n层特征，将n层特征输入到多尺度显著性信息模块中得到多尺度显著性信息图，将n个多尺度显著性信息图与对应相同尺度的特征 f i拼接，并通过信息融合模块得到n个融合后的特征 fi ’，将 fi ’输入到双向特征融合模块中，生成n个融合特征 k 1- k n；将融合特征 k 2 – k n上采样到最大特征图尺寸，分别得到尺寸均为 t1的特征 k 2 ’- k n ’，拼接n个尺寸为 t1的特征图 k 1、 k 2 ’- k n ’，上采样拼接后的结果到输入测试样本尺寸并使用1×1卷积降低通道得到输出结果，使用sigmoid将输出归一化到[0,1]得到预测图，直到测试集遍历完成。

11、上述方法中，由于特征提取网络提取共5层特征，对应5个尺寸，因此n取5。

12、上述步骤s2所述的对每个记忆库使用贪心核心集下采样算法来生成各自的核心子集，算法流程为：将每个核心子集中的特征数量设置为对应记忆库中总特征数量的1%，各层特征对应的核心子集记为 m ci，每个核心子集中的特征数量记为 ci（取整，i取1,2,3,4,…n），对于任一记忆库 mi，取其内任意一条特征 ei0，将其添加到核心子集 m ci中，以 ei0为簇中心然后计算记忆库中所有特征与 ei0的欧式距离，得到一个距离向量，记为 di0，找到与 ei0距离最远的特征 ei1，然后将 ei1添加到核心子集 m ci中，同时以 ei1为簇中心，计算记忆库中所有特征与 ei1的欧式距离，记为 di1，比较 di0与 di1，取每个索引值（索引值表示对应特征在记忆库 mi中所在的位置）下的距离最小值，新生成的距离向量记为 dimin；取 dimin中的距离最大值所在的索引值，并在记忆库 mi取出该索引值对应的特征向量 ei2，将 ei2加入到核心子集 m ci中，将其做为新的簇中心，计算记忆库中所有特征与 ei2的距离，记为 di2，比较 di1与 dimin中相同索引值下的值并取最小值更新 dimin，以此类推，不断计算最小值更新 dimin，直到核心子集中特征数量达到 ci结束。

13、上述步骤s2、s3和s7中所述的特征提取网络均为resnet50结构，步骤s2特征提取网络不参与训练，在训练之前对其进行参数冻结。

14、上述步骤s3，在多尺度显著性信息模块中，本发明采用k最近邻（knn）搜索算法在核心子集 m ci中搜索与 fi中每个空间位置的特征最相似的特征，即：搜索欧式距离l2最小的特征，l2距离定义如下：

15、，

16、其中 x表示n维向量， y表示n维向量， dist表示 x与 y的l2距离。

17、步骤s4中信息融合模块为将输入特征首先通过一个3×3卷积进行信息融合得到特征，之后在通道维度上对特征使用全局平局池化操作得到特征向量vi，特征向量vi中每个值表征了各通道内的全局特征，将特征向量vi通过第一个全连接层 fc1，在 fc1减少通道数，通道数变为原来的1/2，再使用非线性激活函数relu提高泛化性，之后通过 fc2将通道数恢复到 fi的通道数，最后使用sigmoid将结果中的数值归一化为[0,1]之间得到特征向量vi ’，将得到的特征向量vi ’与上述融合得到特征执行像素级相乘得到特征 fi ’。

18、步骤s4中双向特征融合模块为对输入的特征 fi ’（尺寸为 ti），将每个特征均映射到n个不同的尺寸 ti（i=1,2,3…n）上，将映射后具有相同尺寸的特征进行拼接，拼接后的结果通道数相同，然后通过一个3×3卷积进行深层与浅层特征的双向融合，同时通道数下降，最终会生成n个不同尺寸的融合特征，记为 k i 。优选将每个特征均映射到五个尺寸 ti（i=1,2,3…5）， 对于尺寸最大的特征 f1 ’（尺寸为 t1），将其映射到五个尺寸 ti（i=1,2,3…5），映射公式如下：

19、；

20、对于特征 f2 ’（尺寸为 t2），其映射到五个尺寸 ti（i=1,2,3…5），映射公式如下：

21、,；

22、对于特征 f3 ’（尺寸为 t3），其映射到五个尺寸 ti（i=1,2,3…5）的映射公式如下：

23、,；

24、对于特征 f4 ’（尺寸为 t4），其映射到五个尺寸 ti（i=1,2,3…5）的映射公式如下：

25、,；

26、对于特征 f5 ’（尺寸为 t5），其映射到五个尺寸 ti（i=1,2,3…5）其映射公式如下：

27、；

28、其中，表示映射后的输出特征，共计输出25个特征，σ表示relu激活函数， bn表示批归一化操作， down表示核大小与步长相等的卷积，up表示核大小与步长相等的转置卷积，conv表示卷积核为3，步长为1的卷积。

29、步骤s6中，使用的交叉熵损失bce公式定义如下：

30、，

31、其中， w表示输入样本的宽， h表示输入样本的高； yi,j表示样本（ i, j）位置的像素标签，取值为0或1，1表示缺陷像素，0表示正常像素； pi,j表示样本（ i, j）位置像素的预测值，表示该位置的像素预测为缺陷的概率，一个样本计算的总损失定义如下：

32、，

33、其中 i表示在深度监督中计算损失时所用的特征图的数量，在这里 i优选为6，包含由特征 k i上采样到原图像尺寸的5个输出特征图以及训练阶段的输出结果分别与gt计算的损失。

34、本发明的有益效果是：

35、（1）本发明通过融合多尺度显著信息来突出缺陷信息，并在显著性信息引导下赋予缺陷响应程度更高的特征更大的权重，突出缺陷信息，进一步增强缺陷特征。

36、（2）本发明所用的双向特征融合方式，其有效性在于该方式可以学习缺陷特征在不同层次上的多个表征，丰富各层特征所具有的上下文信息（抽象语义信息以及位置细节信息），扩大感受野，通过融合相同尺寸的表征来实现深层与浅层特征的双向融合，从而充分利用上下文信息，实现缺陷的整体感知，克服单向特征融合方式中不能充分利用浅层特征中的信息，造成对弱缺陷检测效果差以及跨度较大的上采样导致缺陷细节信息弱化的缺点。

37、（3）本发明方法能够更好地融合浅层和深层两种特征，更有利于缺陷的检测与定位。