一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块

本发明属于焊缝缺陷检测相关技术领域，更具体地，涉及一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块及方法。

背景技术：

焊缝缺陷的类型较多，形状尺寸差别也很大，在卷积神经网络模型中对其进行特征提取时很难学习到能够同时应对不同缺陷类型的特征信息。针对目标尺寸差别较大的情况，需要神经网络模型所提取的信息能够具备不同感受野和多尺度特征来源。此外在工业应用中，需要考虑模型的复杂度，应尽量对模型进行轻量化改进，从而提升生产效率。

专利(申请号202011206236.2)公开了一种射线底片中小缺陷检测方法，该发明为焊缝缺陷设计了一种多尺度特征金字塔网络，通过融合不同层次的特征图提升了模型对小目标缺陷的检测能力。然而多尺度特征金字塔无法针对不同感受野的信息进行再次学习提取，限制了所获得特征图的多尺度信息价值，并且该方法在提取多尺度特征时，未考虑模型的轻量化，使得模型的复杂度较大。

因此，如何使模型所提取的信息具备不同感受野和多尺度特征来源，同时对模型进行轻量化改进，成为本领域的技术难题。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块及方法，由此解决如何使模块所提取的焊缝缺陷信息具备不同感受野和多尺度特征来源，同时对模块进行轻量化改进的技术问题。

为实现上述目的，按照本发明的一个方面，提供以下技术方案：

一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块，包括并联的多条支路和第一叠加层，其中，

每条支路包含相连接的轻量化空洞卷积和空间池化金字塔，所述轻量化空洞卷积用于从焊缝缺陷特征图中提取不同感受野的焊缝缺陷特征生成第一特征图，所述空间池化金字塔用于通过不同大小的池化层作用增强所述第一特征图对于不同尺度焊缝缺陷特征的表达能力后生成第二特征图；不同支路的轻量化空洞卷积的扩张率不同；

所述第一叠加层用于对所有支路输出的第二特征图进行叠加，生成最终的特征图。

优选地，所述轻量化空洞卷积为将ghost卷积中原有的分组卷积采用分组空洞卷积替代后得到的改进后的ghost卷积。

进一步优选地，所述轻量化空洞卷积包括依次连接的：

1×1卷积核，用于对输入的焊缝特征图降维生成第一固有特征图；

第一bn层、第一relu层，用于对所述第一固有特征图进行归一化、激活处理后输出第二固有特征图；

分组空洞卷积层，用于对所述第二固有特征图按照分组空洞卷积层通道数相同的数量分层，在各通道对所述第二固有特征图进行分组空洞卷积操作以提取焊缝缺陷特征形成第一新特征图；其中所述各通道与所述第二固有特征图的各层一一对应，所述分组空洞卷积操作中每个通道仅对其对应的第二固有特征图的层进行空洞卷积操作；

第二bn层、第二relu层，用于对所述第一新特征图进行归一化、激活处理后输出第二新特征图；

第二叠加层，用于将所述第二新特征图与所述第二固有特征图在通道方向上叠加产生所述第一特征图。

优选地，所述分组空洞卷积层的分组数为所述第二固有特征图的维度和所述第一新特征图的维度的最小公倍数。

优选地，所述空间池化金字塔包括并联的多个不同大小的池化层和第三叠加层，

所述池化层用于对所述第一特征图进行池化操作以提取不同尺度的焊缝缺陷特征，然后输出第三特征图，所述第三叠加层用于将并联的所有池化层输出的第三特征图与所述第一特征图进行叠加，生成所述第二特征图。

按照本发明的另一方面，还提供了以下技术方案：

一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取方法，包括：

将焊缝缺陷特征图分别输入并联的多条支路，在每条支路中，由轻量化空洞卷积从焊缝缺陷特征图中提取不同感受野的焊缝缺陷特征生成第一特征图，然后由空间池化金字塔通过不同大小的池化层作用增强所述第一特征图对于不同尺度焊缝缺陷特征的表达能力后生成第二特征图；对所有支路输出的第二特征图进行叠加，生成最终的特征图；其中不同支路的轻量化空洞卷积的扩张率不同。

优选地，上述方法中，将ghost卷积中原有的分组卷积采用分组空洞卷积替代后得到的改进后的ghost卷积，将所述改进后的ghost卷积作为轻量化空洞卷积。

进一步优选地，上述方法中，由轻量化空洞卷积生成第一特征图的方法如下：

(s1)通过1×1卷积核对输入的焊缝特征图降维生成第一固有特征图，第一固有特征图经过归一化、激活处理后生成第二固有特征图，

(s2)通过分组空洞卷积层对所述第二固有特征图按照分组空洞卷积层通道数相同的数量分层，在各通道对所述第二固有特征图进行分组空洞卷积操作以提取焊缝缺陷特征形成第一新特征图；其中所述各通道与所述第二固有特征图的各层一一对应，所述分组空洞卷积操作中每个通道仅对其对应的第二固有特征图的层进行空洞卷积操作；

(s3)对所述第一新特征图进行归一化、激活处理后输出第二新特征图；

(s4)将所述第二新特征图与所述第二固有特征图在通道方向上叠加产生所述第一特征图。

优选地，上述方法中，由空间池化金字塔生成第二特征图的方法如下：

对所述第一特征图进行池化操作以提取不同尺度的焊缝缺陷特征，然后输出第三特征图，将并联的所有池化层输出的第三特征图与所述第一特征图进行叠加，生成所述第二特征图。

优选地，步骤(s2)中，所述分组空洞卷积层操作的方法为：

o(m)＝k(m)⊙i(m)

其中，下标m表示第二固有特征图的对应层和空洞卷积核所在的第m个通道，o为输出的特征图，i为输入该通道的第二固有特征图的对应层，k为分组空洞卷积，⊙代表卷积操作，每个通道的空洞卷积核只对对应的第二固有特征图的层进行卷积操作以提取焊缝缺陷特征，所有通道卷积操作生成的特征图共同构成所述第一新特征图。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明提供的基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块及方法，模块并联的每条支路中均包含一个扩张率不同的轻量化空洞卷积和一个空间池化金字塔，将焊缝缺陷特征图分别输入各支路，通过轻量化空洞卷积从焊缝缺陷特征图中提取不同感受野的焊缝缺陷特征，通过空间池化金字塔不同大小的池化层作用在轻量化空洞卷积的基础上进一步增强特征图中对于不同尺度焊缝缺陷特征的表达能力，最后将所有支路输出的特征图叠加得到最终的特征图。

由不同扩张率的轻量化空洞卷积提取不同感受野的焊缝缺陷特征，由于扩张率越大，感受野越大，继而焊缝缺陷特征尺度越大，因此实现多尺度焊缝缺陷特征的提取；由不同大小的池化层对特征图进行池化操作，能够提取不同尺度的特征，以实现焊缝缺陷多尺度特征提取，由此在轻量化空洞卷积的基础上进一步增强特征图中对于不同尺度焊缝缺陷特征的表达能力；本发明能够增强神经网络模型对于焊缝缺陷尺寸变化较大的鲁棒性，能够方便快捷地嵌入到各类模型中。

2、本发明采用ghost卷积方式与分组空洞卷积相结合作为轻量化空洞卷积，将ghost卷积中原有的分组卷积采用分组空洞卷积替代，第二固有特征图进入分组空洞卷积层按照通道数分层后在各通道对应进行空洞卷积操作，以此将固有特征图化整为零、各通道同时计算，提高计算效率，实现轻量化的空洞卷积与特征提取操作，实现对模块的轻量化改进。

3、本发明中，第二固有特征图的维度和第一新特征图的维度的最小公倍数为分组空洞卷积层最大组数，由于组数越大，通道数越多继而轻量化程度最高，因此本发明选取该最小公倍数作为分组空洞卷积层的分组数，实现轻量化程度高的焊缝缺陷多尺度特征提取模块。

附图说明

图1是本发明较佳实施例中一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块的结构示意图；

图2是本发明较佳实施例中轻量化空洞卷积的结构示意图；

图3是本发明较佳实施例中空间池化金字塔的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明中，bn层的英文全称是batchnormalization层，也叫归一化层；relu层的英文名称是rectifiedlinearunit层，也叫激活层。

如图1所示，本发明提供一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块，该模块包括并联的多条支路和第一叠加层。

每条支路包含相连接的轻量化空洞卷积和空间池化金字塔，轻量化空洞卷积用于从焊缝缺陷特征图中提取不同感受野的焊缝缺陷特征生成第一特征图，空间池化金字塔用于通过不同大小的池化层作用增强第一特征图对于不同尺度焊缝缺陷特征的表达能力后生成第二特征图；不同支路的轻量化空洞卷积的扩张率不同。

第一叠加层用于对所有支路输出的第二特征图进行叠加，生成最终的特征图。

作为一种可选的实施方式，轻量化空洞卷积为将ghost卷积中原有的分组卷积采用分组空洞卷积替代后得到的改进后的ghost卷积。

轻量化空洞卷积包括依次连接的1×1卷积核、第一bn层、第一relu层、分组空洞卷积层、第二bn层、第二relu层和第二叠加层。其中，

1×1卷积核，用于对输入的焊缝特征图降维生成第一固有特征图。

第一bn层、第一relu层，用于对第一固有特征图进行归一化、激活处理后输出第二固有特征图。

分组空洞卷积层，用于对第二固有特征图按照分组空洞卷积层通道数相同的数量分层，在各通道对第二固有特征图进行分组空洞卷积操作以提取焊缝缺陷特征形成第一新特征图；其中各通道与第二固有特征图的各层一一对应，分组空洞卷积操作中每个通道仅对其对应的第二固有特征图的层进行空洞卷积操作；分组空洞卷积层的分组数优选为第二固有特征图的维度和第一新特征图的维度的最小公倍数。

分组空洞卷积操作的方法为：

o(m)＝k(m)⊙i(m)

其中，下标m表示第二固有特征图的对应层和空洞卷积核所在的第m个通道，o为输出的特征图，i为输入该通道的第二固有特征图的对应层，k为分组空洞卷积，⊙代表卷积操作，每个通道的空洞卷积核只对对应的第二固有特征图的层进行卷积操作以提取焊缝缺陷特征，所有通道卷积操作生成的特征图共同构成第一新特征图。

第二bn层、第二relu层，用于对第一新特征图进行归一化、激活处理后输出第二新特征图。

第二叠加层，用于将第二新特征图与第二固有特征图在通道方向上叠加产生第一特征图。

作为一种可选的实施方式，空间池化金字塔包括并联的多个不同大小的池化层和第三叠加层，池化层用于对第一特征图进行池化操作以提取不同尺度的焊缝缺陷特征，然后输出第三特征图，第三叠加层用于将并联的所有池化层输出的第三特征图与第一特征图进行叠加，生成第二特征图。

以下结合附图和实例对本发明提供的一种基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块和方法进行进一步详细的说明。

如图1所示，本实施例中按照上述方案给出三条并联的支路构成的基于轻量化空洞卷积的焊缝缺陷多尺度特征提取模块，每条支路包含一个扩张率不同的轻量化空洞卷积和一个多尺度空间金字塔，当输入该模块的焊缝缺陷特征图尺寸为h×w×c时，上述模块的输出尺寸为h×w×3c，其中h为焊缝缺陷特征图的长，w为焊缝缺陷特征图的宽，c为通道数。

如图2所示，三条支路上轻量化空洞卷积的扩张率依次为1、3和5。输入大小为h×w×c的焊缝缺陷特征图首先被1×1卷积核降维生成维度为h×w×c/8的固有特征图，随后在固有特征图的基础上利用分组空洞卷积进行特征提取生成新特征图，其维度大小也为h×w×c/8，随后固有特征图与新特征图在通道上叠加产生最终由轻量化空洞卷积所提取的焊缝缺陷特征，输出特征维度大小为h×w×c/4。

如图3所示，多尺度空间池化金字塔由多个不同大小的池化层并联构成，最终每个池化层所得到的焊缝缺陷特征在通道上进行叠加。在每个空间池化金字塔中，包含5×5，9×9和13×13三个池化层。经过轻量化空洞卷积模块后的焊缝特征维度为h×w×c/4，经过多尺度空间金字塔后输出维度为h×w×c。

分组空洞卷积的原理可形式化为：

o(m)＝k(m)⊙i(m)

其中，i为输入的焊缝缺陷特征，k为分组空洞卷积，o为输出特征，⊙代表卷积操作，下标m代表了特征和卷积核所在的通道，分组空洞卷积将输入特征与空洞卷积核各自在通道方向上进行了相同数量的分组，每个通道的空洞卷积核只对相应通道的输入焊缝缺陷特征进行卷积操作。

本发明提供的特征提取模块由多条支路并联而成，每条支路包含一个扩张率不同的轻量化空洞卷积和一个多尺度空间池化金字塔。轻量化空洞卷积用于提取不同感受野的焊缝缺陷特征。多尺度空间池化金字塔在轻量化空洞卷积的基础上，通过不同大小的池化层作用进一步增强特征对于不同尺度的表达能力。本发明能够增强神经网络模型对于焊缝缺陷尺寸变化较大的鲁棒性，能够方便快捷地嵌入到各类模型中。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。