一种基于特征融合的深度神经网络表面缺陷检测方法与流程

本发明涉及表面缺陷检测领域，尤指一种基于特征融合的深度神经网络的表面缺陷检测方法。

背景技术：

随着深度学习技术的快速发展,基于图像的深度学习识别技术在人脸和车牌识别等领域得到了应用，体现了其优越性。同时，在表面缺陷的自动化检测研究中，研究者们对基于图像的深度学习表面缺陷检测进行了大量深入地研究。有研究者基于太阳能缺陷在不同光谱上的特征不同，设计了一个具有三分支的卷积网络模型来判别太阳能的缺陷类型，各分支网络结构相同；也有研究者采用深度卷积神经网络实现对图像中桥梁裂缝的检测，检测时采用滑动窗口扫描整个图像，并通过对每个窗口图像的分类，来实现对桥梁裂缝的检测，但他们的模型主要用于缺陷分类识别,没有对缺陷进行定位检测。为此，有研究人员通过将路面裂缝图像分成若干的小图像块，先利用卷积神经网络对图像块进行分类识别，再采用改进的窗口滑动算法对裂缝进行检测，但该方法存在着计算量较大的缺陷。也是研究者采用特征金字塔和层次提升网络进行路面裂缝的检测，其利用特征金字塔方式将上下文信息汇集到低层特征以进行裂缝的检测，并利用特征金字塔各层特征进行监督训练和特征融合，实现对路面裂缝的检测，但该模型检测的裂缝精细度不够，精准率有待进一步提升。还有研究者利用金字塔特征融合和注意力机制实现对表面缺陷的检测，其首先对vgg16网络提取的表面缺陷最高层特征利用不同数量和不同类型的卷积进行特征再次提取，然后利用全局上下文注意力模块进行相邻特征的融合，并将各层特征上采样后拼接融合得到表面缺陷检测结果，该表面缺陷检测模型在表面缺陷检测的性能上仍有较大提升空间。

在表面缺陷检测过程中，由于采集的图像尺寸和表面缺陷结构(包括表面缺陷的颜色、形状和大小等)的差异，给表面缺陷的检测带来了困难。为了解决检测目标尺度变化的问题，有研究者提出了如采用空间金字塔spp结构和采用空洞卷积的空间金字塔aspp结构，但spp结构的池化操作以损失局部信息为代价，aspp的空洞卷积操作易出现棋盘伪影效应。同时，光照变化和光照不均也会对检测产生较大影响。

技术实现要素：

为解决上述问题，本发明主要目的在于，提供一种自动准确地进行表面缺陷检测手段，以提高表面缺陷检测的效率。本发明主要是将深度学习技术应用于表面缺陷检测,提出了一个基于特征深度融合的表面缺陷检测网络。

本发明的该网络是基于编码器-解码器网络框架，其可采用resnet50作为特征提取模块，用以提取表面缺陷的特征；为使resnet50各卷积层的特征具有全局信息，设计了编码特征融合模块实现对各卷积层特征的信息融合。

另外，本发明的方案在解码阶段，采用了两级解码器结构，各级解码器结构相同，以实现高低层特征的深度融合。最后，通过卷积进行各级解码器输出的融合，实现表面缺陷的检测，提高表面缺陷检测的准确性。

具体来说，本发明的一种基于特征融合的深度神经网络的表面缺陷检测方法，采用编码器-解码器网络框架，为提高表面缺陷检测的准确性，并充分利用编码器各卷积层得到的特征，采用编码特征融合模块融合特征提取模块各卷积层特征，使各层特征都包含全局信息。

较佳的是，在解码器解码阶段，采用两级解码器结构，对特征进行深度融合。各级解码器具有相同结构，前一级解码器的最上层的特征融合解码模块输出反馈输入到后一级解码器各层的特征融合解码模块，以提升表面缺陷检测的性能。而所述用于提取特征的特征提取模块较佳是基于resnet50构成，其包括1个输入卷积层，4个残差卷积层；其将输入图像尺寸统一为352×352×3，该输入卷积层采用7×7×64卷积，步长为2；4个残差卷积层都采用1×1，3×3，1×1的卷积核结构，各层输出的通道数分别为256、512、1024和2048；由此，每经过一个卷积层，输出特征图尺寸就变为输入特征图的1/2。

进一步的，在所述特征提取模块获得各卷积层特征之后通过编码特征融合模块实现特征融合，使各层特征都包含全局信息，以提高表面缺陷检测的准确性。其具体工作过程为：编码特征融合模块由若干特征交叉融合模块构成，其与特征提取模块各卷积层直接相连，其输入是所述特征提取模块各卷积层的输出特征图。由于所述特征提取模块各卷积层输出的特征图尺寸不同，为实现融合，先利用3×3步长为2的卷积操作对低层特征图进行下采样，使其特征图与高层特征图尺寸相同；然后对下采样后的低层特征图进行两种处理：一种是先进行平均池化操作，再进行1×1步长为1的卷积操作；另一种是只进行1×1步长为1的卷积操作。将第一种处理方式得到的特征图先与进行了1×1步长为1的卷积操作的高层特征图相乘，再与第二种处理方式得到的特征图相加。如果特征交叉融合模块输入不包含编码器输出的最高层特征图，则再与特征提取模块输出的最高层特征图相加，完成特征的深度融合。由特征交叉融合模块得到的各层特征图，包含全局信息，有利于表面缺陷的检测。

进一步的：在本发明的目标的检测定位步骤中，是由所述解码器逐层恢复图像中目标的细节，且所述解码器采用了两级解码器结构，以实现目标特征的深度融合，并将两级解码器输出特征图融合作为最终检测结果，以实现表面缺陷的准确定位，提高输出质量。

其中较佳的：两级级联特征解码模块包含若干特征融合解码模块。特征融合解码模块先将输入的两个特征图(输入特征图来自编码特征融合模块或下层特征融合解码模块)相加，再进行1×1步长为1卷积操作，然后其结果分别进行最大池化和全连接操作及平均池化和全连接操作，并将两部分特征图相加后进行sigmod变换，最后与1×1步长为1卷积操作后的特征图相乘，得到特征融合解码模块的输出特征图。

进一步的：两级解码器具有相同的结构，第1级解码器最上层的特征融合解码模块的输出与该级其他各层的特征融合解码模块输出相加后在送入到第2级解码器，而最上层特征融合解码模块的输出直接送到第2级解码器。

进一步的：为提高边缘检测的准确性，在各级解码器的最上层特征融合解码模块后添加了边缘求精模块。该模块采用了残差结构，输入特征图经过两个3×3步长为1的卷积模块后再与该输入特征图相加，得到输出特征图。其中第1个卷积模块后进行了batchnormalization和relu操作，第2个卷积模块只进行3×3卷积操作。两个边缘求精模块输出拼接后再利用3×3卷积进行融合得到最终检测结果。

进一步的：为了保证所述的表面缺陷检测模型在检测时的有效性，在模型训练时，采用了以下方法：(1)特征提取模块采用预训练好的resnet50网络模型；(2)学习率采用先增大再减小的变化策略；(3)采用mini-batch的方式进行训练，选择sgd优化函数；(4)损失函数由加权二值交叉熵损失函数和加权交并比损失函数两部分组成。

本发明有益效果在于，借助上述技术方案，本发明具有以下两方面的优点:

(1)利用编码特征融合模块，对特征提取模块得到的各层特征图进行深度融合，使各层特征包含目标的更多全局信息，有利于表面缺陷的检测；

(2)采用两级级联解码模块进行表面缺陷特征的融合，使表面缺陷定位更准确。

附图说明

图1为本发明的基于特征融合的表面缺陷检测网络结构示意图；

图2为本发明的特征交叉融合模块结构图；

图3为本发明的特征融合解码模块结构图；

图4为本发明的边缘求精模块结构图。

其中：

11特征提取模块12编码特征融合模块

13两级级联解码模块

cff特征交叉融合模块

ffd特征融合解码模块

br边缘求精模块

conv1×11×1卷积操作

conv3×33×3卷积操作。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。

为实现对表面缺陷的检测，本发明提出的基于特征融合的深度神经网络表面缺陷检测模型，采用了编码器-解码器框架，该模型由三部分组成:基于resnet50的特征提取模块、编码特征融合模块和两级级联的解码模块。

本发明的主要构思如下：

(1)提出了一种基于特征融合的深度神经网络表面缺陷检测模型；

(2)设计了一个基于特征交叉融合的特征提取模块，以更好地提取表面缺陷特征；

(3)在解码阶段，采用两级解码结构，对提取特征进行深度融合，以提升表面缺陷检测的性能。

以下实施例用于说明本发明，但不用来限制本发明的范围。

在一具体实施例中，如图1所示，为本发明的基于特征融合的深度神经网络表面缺陷检测模型结构示意图。其由三部分组成：基于resnet50的特征提取模块11、编码特征融合模块12和两级级联特征解码模块13。各部分举例说明如下：

1、特征提取模块11

发明的基于特征融合的表面缺陷检测网络模型的特征提取模块是基于resnet50构成，其包括1个输入卷积层，4个残差卷积层。将输入图像尺寸统一为352×352×3，该输入卷积层采用7×7×64卷积，步长为2；4个残差卷积层都采用了1×1，3×3，1×1的卷积结构，输出通道数分别为256、512、1024和2048，且每经过一个残差卷积层，输出特征图尺寸就变为输入特征图的1/2。

2、编码特征融合模块12

请参见图2，本发明的特征交叉融合模块。由于特征提取模块各卷积层得到的特征图全局信息不足，为增加特征图中的全局信息，提高表面缺陷检测的精准度，本发明的技术方案是以特征提取模块各卷积层得到的特征图为输入，进行特征的交叉融合，使各卷积层包含更多的全局信息。

如图2所示，本发明的特征交叉融合模块与编码器各卷积层输出直接相连，其输入是所述编码器各卷积层的输出特征图。由于所述特征提取模块各卷积层输出的特征图尺寸不同，为实现特征融合，先利用3×3步长为2的卷积操作对低层特征图进行下采样，使其特征图与高层特征图尺寸相同；然后对下采样后的低层特征图进行两种处理：一种是先进行平均池化操作，再进行1×1步长为1的卷积操作；另一种是只进行1×1步长为1的卷积操作。将第一种处理方式得到的特征图先与进行了1×1步长为1的卷积操作的高层特征图相乘，再与第二种处理方式得到的特征图相加。如果特征交叉融合模块输入不包含编码器输出的最高层特征图，则再与编码器输出的最高层特征图相加，完成特征的深度融合。由编码特征融合模块得到的各层特征图，包含全局信息，更有利于表面缺陷的检测。

为便于解码阶段各特征图的融合，在特征交叉融合模块输出的特征图之后，利用1×1步长为1卷积操作将各特征图通道数统一，其通道数的典型值为256。

3、两级级联特征解码模块13

为实现对目标的准确定位，目前较为常见的方法是通过解码器逐层恢复图像中目标的细节，即通过将高层特征逐层进行上采样后与对应的低层特征融合，实现目标细节的逐渐恢复。但是仅采用简单的高低层特征融合，目标细节恢复的程度有限。

本发明的该具体实施例中，为了实现表面缺陷的准确定位，提高输出质量，采用了两级级联解码器结构，以实现表面缺陷特征的深度融合，并将两级解码器输出特征图融合作为最终检测结果。

请参见图3。图3所示为两级级联特征解码模块中的特征融合解码模块。首先，该模块将输入的两个特征图(输入特征图来自编码特征融合模块或下层特征融合解码模块)相加，再进行1×1步长为1卷积操作，然后其结果分别进行最大池化和全连接操作及平均池化和全连接操作，并将两部分特征图相加后进行sigmod变换，最后与1×1步长为1卷积操作后的特征图相乘，得到特征融合解码模块的输出特征图。

为使表面缺陷检测结果更加准确，本发明采用了两级级联解码结构。两级解码器具有相同的结构，第1级解码器最上层的特征融合解码模块的输出与该级其他各层的特征融合解码模块输出相加后在送入到第2级解码器，而最上层特征融合解码模块的输出直接送到第2级解码器。

请参见图4。为提高边缘检测的准确性，在各级解码器的最上层特征融合解码模块后添加了边缘求精模块。该模块采用了残差结构，输入特征图经过两个3×3步长为1的卷积模块后再与该输入特征图相加，得到输出特征图。其中第1个卷积模块后进行了bn和relu操作，第2个卷积模块只进行3×3卷积操作。两个边缘求精模块输出拼接后再利用3×3卷积进行融合得到最终检测结果。

为了保证所述的表面缺陷检测模型在检测时的有效性，在模型训练时，采用了以下方法：

(1)特征提取模块采用预训练好的resnet50网络模型；

(2)学习率采用先增大再减小的变化策略，最大学习率典型值设置为0.05；

(3)采用mini-batch的方式进行训练，batch_size典型值取8，选择sgd优化函数，momentum典型值为0.9；

(4)损失函数由加权二值交叉熵损失函数和加权交并比损失函数两部分组成。

综上，本发明的基于特征融合的深度神经网络表面缺陷检测模型的特点表现在以下两方面：(1)利用编码特征融合模块，对特征提取模块得到的各层特征图进行深度融合，使各层特征包含目标的更多全局信息，以利于表面缺陷的检测；(2)采用特征融合解码模块和两级级联解码结构进行解码特征融合，使表面缺陷定位更准确。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。