一种基于多任务孪生网络的工业图像缺陷检测方法及系统与流程

本发明涉及图像检测技术领域，特别涉及一种基于多任务孪生网络的工业图像缺陷检测方法及系统。

背景技术：

随着计算机视觉技术的快速发展与人工智能技术的广泛应用，机器视觉技术越来越多地应用于工业场景，在生产的各个环节中均有广泛的运用。而缺陷检测计算机视觉在工业领域近年来需求剧增的场景之一，该任务主要体现在计算机视觉可以快速、自动地通过图像传感器采集到的数据对产品外观图像进行检测，返回产品是否存在缺陷以及缺陷相关信息。缺陷检测过程中，产品二分类的准确率指标至关重要，直接影响检测结果的漏检与过检率。因此二分类准确率高的工业产品数据缺陷识别检测方案在产品缺陷检测领域具有很高的实用价值。

现有的机器视觉工业图像数据二分类缺陷检测方案已经可以满足很多场景，甚至很多情况下多分类准确率已经高到可以实用，但现有的目前还存在以下缺陷：

第一，现有的图像缺陷检测方案大多采用待测图像作为输入，此类方案难以保证检测方案的数据迁移能力。这个问题表现在当模型使用现有数据集进行训练后，由于模型泛化能力不足，面对需要检测新类型图像数据的场景时会产生异常，导致缺陷被误检或漏检，这是由于单一使用待测图像作为输入的模型无法将图像背景与前景进行明确区分所导致的。而共同运用待检测图像与对应模板图像信息的孪生网络可以很大程度上缓解单一输入模型的泛化性不足的问题。

第二，目前存在的利用孪生网络进行缺陷检测的技术没有从网络特征层面深入挖掘模型的潜能，在模型训练过程中孪生网络的前、背景差异的先验信息没有加以充分利用，在模型泛化能力这一指标上还有提升的空间。

因此，有必要基于孪生网络提出一种新的工业图像缺陷检测方法，将待检测产品与对应模板图像共同作为网络输入，在模型训练过程中充分运用孪生网络的前、背景差异的的先验信息，以提升模型的泛化能力及网络训练的性能，为二分类检测任务提供更好的支撑。

技术实现要素：

本发明的目的在于提供一种基于多任务孪生网络的工业图像缺陷检测方法及系统，已解决上述现有技术中模型泛化性不足、孪生网络缺陷检测技术深入不够的缺陷。

鉴于此，本发明具体方案如下：

一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：

s1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；

s2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；

s3.将图像数据表示特征送入fpn模块生成fpn特征；

s4.将fpn特征送入检测网络，训练二分类缺陷工业图像陷检测网络；

s5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。

进一步地，本发明所述工业图像缺陷检测方法中，构建分割网络结构对得到的fpn特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。

进一步地，本发明所述工业图像缺陷检测方法中，所述步骤s5为：

s51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；

s52.加载训练好模型的权重；

s53.加载待检测的图像与对应的模板图像；

s54.将图像输入网络得到缺陷二分类检测结果。

进一步地，本发明所述工业图像缺陷检测方法中：

所述步骤s2为：

s21.拆分骨干网络d2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受两组相同尺寸的图像输入，共享参数，并在输出d2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；

s22.使用s21中设计的孪生网络结构提取差异信息特征，从骨干网络深层特征提取层中提出d4、d8、d16、d32的特征。

所述步骤s3为：

s31.将d32特征经过1×1卷积转换成固定通道数量cnum的特征fpn_d32；

s32.将fpn_d32最近邻上采样得到的特征与d16经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d16；

s33.将fpn_d16最近邻上采样得到的特征与d8经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d8；

s34.将fpn_d8最近邻上采样得到的特征与d4经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d4；

s35.将fpn_d32特征经过步长为2的最大值池化操作得到fpn_d64特征。

所述监督调整fpn特征过程为：

s100.将fpn_d4-fpn_d64五组fpn特征使用2层卷积压缩通道数为1，使用sigmoid函数激活：

s200.将待检测图像的分割标注分别变换到原图d4-d64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；损失函数使用二分类交叉熵bce：

所述步骤s4为：

s41.在fpn_d4–fpn_d64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；

s42.训练时五组分割网络的损失权重为ws1-ws5，检测网络的损失权重为wd，整个网络的训练损失函数为：

其中：lsi与ld为分割与检测网络的损失函数。

进一步地，本发明所述工业图像缺陷检测方法中，所述步骤s1中所述预处理过程为将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数。

本发明另一个目的在于，提出一种基于多任务孪生网络的工业图像缺陷检测系统，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：

骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；

fpn特征提取模块，用于基于多尺度特征提取fpn特征；

检测网络模块，用于以fpn特征为输入，训练二分类缺陷工业图像陷检测网络。

进一步地，所述工业图像缺陷检测系统还包括分割网络监督模块，用于对得到的fpn特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。

相对于现有技术，本发明的有益效果为：

1.本发明提出部分拆分骨干网络提取孪生输入图像基础特征，并重点分析差异特征的二分类缺陷检测框架。该检测框架能更有效地利用输入待检测图像与模板图像的信息，针对性地分析缺陷产生的区域，可以有效地使网络重点关注缺陷部分，提高了模型对新数据的泛化能力；

2.本发明使用分割网络结构监督检测网络所使用特征的模型训练方案，由于我们可以充分利用输入孪生图像之间的差异先验知识，确定缺陷部分应该是被“点亮”的区域，可以在各个尺度上对fpn特征进行网络中间结果的监督调整，有利于网络对缺陷区域的关注能力，提升了模型二分类检测能力；

3.本发明提出的方法适用于各种骨干网络、监督网络、检测网络结构，面对不同的数据形式和算力要求等实际情况，可以灵活调整。

4.本发明提出的框架训练出的模型具备更好的检测性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明工业图像缺陷检测方法设计概要流程图。

图2为本发明工业图像缺陷检测方法步骤细节流程图。

图3位本发明采用分割网络监督模块对fpn特征缺陷信息分割标注的流程图。

具体实施方式

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

如图2-3所示，本发明提供一种基于多任务孪生网络的工业图像缺陷检测系统，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：

骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；

fpn特征提取模块，用于基于多尺度特征提取fpn特征；

分割网络监督模块，用于对得到的fpn特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络；

检测网络模块，用于以fpn特征为输入，训练二分类缺陷工业图像陷检测网络。

如图1-2所示，基于多任务孪生网络的工业图像缺陷检测方法，包括如下步骤：

1.获取待检测图像与对应的模板图像，将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数；

2.孪生网络差异信息的数据表示特征提取，具体包括以下步骤：

1)拆分骨干网络d2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受2组相同尺寸的图像输入，共享参数，并在输出d2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；

2)使用步骤1)中设计的孪生网络结构提取差异信息特征，主要从骨干网络深层特征提取层中提出d4、d8、d16、d32的特征，该骨干网络可以使用现有各种特征提取结构；

3.进行fpn特征提取，具体包括以下步骤：

1)将d32特征经过1×1卷积转换成固定通道数量cnum的特征fpn_d32；

2)将fpn_d32最近邻上采样得到的特征与d16经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d16；

3)将fpn_d16最近邻上采样得到的特征与d8经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d8；

4)将fpn_d8最近邻上采样得到的特征与d4经过1×1卷积转换成固定通道数量cnum的特征求和得到fpn_d4；

5)将fpn_d32特征经过步长为2的最大值池化操作得到fpn_d64特征。

4.使用分割网络结构监督调整fpn特征，具体包括以下步骤：

1)将fpn特征fpn_d4-fpn_d64五组特征使用2层卷积压缩通道数为1，使用sigmoid函数激活，具体公式：

2)将待检测图像的分割标注分别变换到原图d4-d64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；

损失函数使用二分类交叉熵：

5.使用fpn特征训练检测网络，具体包括以下步骤：

1)在fpn_d4–fpn_d64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；

2)训练时五组分割网络的损失权重为ws1-ws5，检测网络的损失权重为wd，整个网络的训练损失函数为：

其中lsi与ld为分割与检测网络的损失函数；

该检测网络可以但不限于现有的检测网络结构，其核心在于在调整过后的fpn特征上进行检测网络的训练这一流程。

6.使用训练好的检测网络进行缺陷检测，具体包括以下步骤：

1)裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；

2)加载训练好模型的权重；

3)加载待检测的图像与对应的模板图像；

4)将图像输入网络得到缺陷二分类检测结果。

以下是以工业半导体器件检测图像为例结合具体的网络结构的具体实施例：

步骤1，获取工业半导体器件的待检测图像与对应的模板图像，并对图像数据进行处理，截取模板图像的过程中需要根据差异梯度进行位置校准，使得模板与待检测图像的偏差在0.5像素以内；

步骤2，构建孪生网络结构，以resnet50骨干网络为例，将layer1层之前的特征拆分为孪生网络结构，二者接受不同的输入，共享相同的参数，输出两组同尺寸的特征，随后将两组特征相减，继续余下深层resnet50网络特征提取流程；完成网络构建后将数据输入网络，得到resnet50的d4(通道数256)，d8(通道数512)，d16(通道数1024)和d32(通道数2048)特征；

步骤3，将d4，d8，d16和d32特征送入fpn模块，取fpn通道数cnum为256，计算得到fpn_d4-fpn_d64五组特征，通道数均为256；

步骤4，使用分割网络结构辅助训练，调整fpn特征提取。对五组fpn特征分别使用两层步长为1的1×1卷积，将特征数降至1；将分割网络标注转换为区分前景、背景的bool型矩阵，将该矩阵变换到d4-d64五个尺度上，作为五组fpn特征变换的目标矩阵，用于监督训练的真实标签；

在训练过程中，五组输出特征均采用平均bce损失函数，损失权重均取0.1：

步骤5，将fpn_d4-fpn_d64五组特征送入到检测网络中用于检测网络训练使用，此处以fpnfasterrcnn网络为例，网络在各个尺度的特征上提取检测框并预测得分，使用缺陷标注信息进行监督学习，损失函数包括类别bce损失lcls与检测框回归l1损失lbox，总损失权重为0.5。

因此训练过程中的损失函数为：

步骤6，使用训练好的网络对测试图像进行检测，此时构建测试网络需要删除分割网络模块，仅保留fpn特征向检测网络传输的网络结构；加载训练好的模型权重，并向网络送入待检测的孪生图像对，得到缺陷二分类检测结果。

在实施例中我们使用现有的数据分成了四组迁移数据测试的测试集，本发明与基线实验的结果(ap)如表1所示：

表1：发明与基线对比测试实验的结果(ap)

从表1的结果中可以观察到，本发明提出的缺陷检测框架在各个数据集上的数据迁移性能均优于基线算法，说明本发明提出的方法具有更强的数据迁移能力。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。