一种多模态数据复杂缺陷特征检测方法

1.本发明涉及计算机视觉技术领域，具体涉及一种多模态数据复杂缺陷特征检测方法。


背景技术：

2.随着基于深度学习的计算机视觉的快速发展，基于深度学习的目标检测方法在工业界工业缺陷检测中的应用也越来越深入和广泛。目前，在工业界大部分场景下的可视化缺陷都已经提出了充分的解决方案。同时，针对一些在多种传感器下都可以采集到多模态数据的复杂缺陷，一般利用计算机对不同数据进行处理融合，然后进行缺陷检测。这种图像融合方法具备冗余和互补的特性，能够克服原图像在分辨率、物理属性、信息量等方面的局限性，还可以抑制噪音，增强图像信息的聚集程度。最终，可以大规模提升在工业场景下针对具备多模态数据的复杂缺陷检测精度。
3.然而，现有的图像数据融合方法一方面计算过程复杂，难以应用于流水线状态下工业检测，另一方面融合效果差，无法在后续过程中检测复杂缺陷特征。因此，急需一种针对复杂缺陷的多模态数据融合检测方法。


技术实现要素：

4.(一)解决的技术问题
5.本发明提供了一种基于多模态数据引导学习与自适应融合机制的复杂缺陷特征检测方法，以解决现有技术中无法针对多模态缺陷数据进行准确高效检测的问题。
6.(二)技术方案
7.为实现上述目的，本发明提供如下技术方案：一种多模态数据复杂缺陷特征检测方法，具体包括以下步骤：
8.步骤s1：构建特征提取网络；
9.步骤s2：将多模态训练数据输入特征提取网络，进行多模态特征并行学习；
10.步骤s3：构建多模态特征交叉引导网络，在平行的多模态数据提取网络之间建立局部连接，形成了多模态特征交叉引导机制；
11.步骤s4：多模态权重自适应融合；
12.步骤s5：利用分类及回归子网络实现缺陷检测。
13.进一步的，所述步骤s1具体包括：利用卷积神经网络构建多个并行的特征提取网络，分别对应多种模态的数据提取，每个并行的特征提取网络都包含了六层，分别由不同的卷积层、池化层、密集块结构和膨胀瓶颈层结构构成。
14.进一步的，所述步骤s2具体包括：将工业缺陷多模态数据集分为训练集和测试集，将训练集首先输入到并行的所述特征提取网络中进行特征提取。
15.进一步的，所述步骤s3具体包括：与所述特征提取网络的第一、第三、第五阶段利用1
×
1卷积层建立了局部连接，相同阶段的特征先进行合并，然后再经过1
×
1卷积层，最后
卷积层和3
×
3卷积层。
32.第5、6层结构相同，都包含了两个膨胀瓶颈层结构以及一个平行设置1
×
1卷积层的膨胀瓶颈层结构，具体结构如图2所示。
33.构建对应的多模态工业缺陷数据集，并分为训练集和测试集。
34.然后基于上述特征提取网络结合数据集进行训练。
35.同时，我们基于以上建立的多个基于卷积神经网络的特征提取网络进行多模态特征交叉引导，具体地，这种多模态特征交叉引导结构如图3所示，纵向箭头表示特征提取网络中的全局特征学习流动，这是一个自顶向下的路径。在该过程中，浅层会显现出一个大致的轮廓特征，随着网络的加深，细节信息会逐渐丢失，深层卷积层输出语义信息。横向箭头表示在平行的多个特征提取网络的第1、第3、第5阶段通过1
×
1卷积层建立了局部连接，这些阶段的特征进行合并然后经过1
×
1卷积层叠加到每个平行的特征提取网络上，实现了多模态特征交叉引导，实现了不同模态数据在平行特征提取网络之间的流动，提高了训练效率。
36.然后进行多模态特征融合，为了解决多模态特征融合不平衡的问题，我们首先针对多模态特征引入了可学习的权重。具体地，如图4所示，将每个特征提取网络输出的特征图c
×w×
h进行全局平均池化，然后得到一个1
×1×
c大小的特征图，再经过两个全连接神经网络，得到特征图的权重矩阵ωi。然后，利用得到的权重，通过加权的方式进行多通道多模态数据特征的融合。为此，我们提出了一种权重自适应多模态融合方法：
[0037][0038]
针对学习权重引用relu函数来确保ωi≥0，ε＝0.0001是一个避免数值不稳定性的值，ii表示待融合的多模态特征信息，0表示融合后的整体特征信息。同样的，每个归一化权重的值也落在0到1之间。
[0039]
进一步地，在特征融合后得到的特征信息被送入分类和回归子网络进行缺陷目标包围框预测。分类子网络预测每个包围框和对象类别在每个空间位置出现对象的概率。这个子网络是一个小的全卷积网络连接每个特征金字塔级别；该子网的参数在所有层级上共享。回归子网络和分类子网络平行，我们将另一个全卷积网络附加到每个金字塔级别，以便每个包围框的偏移量回归到ground truth附近。其中，ground truth表示人工标注的缺陷检测数据。
[0040]
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0041]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。


技术特征：
1.一种多模态数据复杂缺陷特征检测方法，其特征在于，具体包括以下步骤：步骤s1：构建特征提取网络；步骤s2：将多模态训练数据输入特征提取网络，进行多模态特征并行学习；步骤s3：构建多模态特征交叉引导网络，在平行的多模态数据提取网络之间建立局部连接，形成了多模态特征交叉引导机制；步骤s4：多模态权重自适应融合；步骤s5：利用分类及回归子网络实现缺陷检测。2.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤s1具体包括：利用卷积神经网络构建多个并行的特征提取网络，分别对应多种模态的数据提取，每个并行的特征提取网络都包含了六层，分别由不同的卷积层、池化层、密集块结构和膨胀瓶颈层结构构成。3.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤s2具体包括：将工业缺陷多模态数据集分为训练集和测试集，将训练集首先输入到并行的所述特征提取网络中进行特征提取。4.根据权利要求2所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤s3具体包括：与所述特征提取网络的第一、第三、第五阶段利用1
×
1卷积层建立了局部连接，相同阶段的特征先进行合并，然后再经过1
×
1卷积层，最后将合并特征在整体叠加到每个平行特征提取网络上，实现了多模态特征的交叉引导，建立了不同模态数据在特征提取中的特征流动机制。5.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤s4具体包括：在每个平行特征提取网络特征通道之间建立相互依赖关系，通过学习的方法自动获取每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制当前任务用处不大的特征。6.根据权利要求1所述的一种多模态数据复杂缺陷特征检测方法，其特征在于，所述步骤s5具体包括：利用两个全卷积网络以及特征金字塔结构分布构建分类和回归子网络，将融合后的特征信息送入两个子网络进行缺陷的分类和定位。

技术总结
本发明公开了一种多模态数据复杂缺陷特征检测方法，包括多模态数据特征提取、多模态特征交叉引导学习以及多模态特征融合以及缺陷分类回归，首先构建多模态二维数据特征提取网络，并将缺陷数据集送入网络进行训练；在训练中利用多模态特征交叉引导网络实现了交叉引导学习；然后利用权重自适应方法进行特征融合；最后利用分类及回归子网络实现缺陷检测任务，本发明可以高效地实现多模态数据在复杂缺陷特征检测过程中的融合，能够更加有效地提升工业环境下复杂缺陷的检测能力，保证了工业制造过程中的生产效率。造过程中的生产效率。造过程中的生产效率。


技术研发人员：汪俊 吴宇祥 李大伟 张沅
受保护的技术使用者：南京航空航天大学
技术研发日：2022.03.16
技术公布日：2022/6/10