基于深度对比学习的缺陷检测方法及装置与流程

本发明涉及计算机领域，具体而言，涉及一种基于深度对比学习的缺陷检测方法及装置。

背景技术：

1、相关技术中，基于深度学习算法或基于传统算法的缺陷检测方法，都是基于缺陷特征的识别，无法真正理解缺陷和产品结构之间的区别，漏检和过检情况无法避免且较为严重。具体的，（1）现有的基于深度学习的算法采用大量带有缺陷的图片数据进行训练，使深度神经网络学习到缺陷的深层和浅层特征，进而实现缺陷检测，但是其对于和产品结构较为相似的缺陷易造成漏检，对于和缺陷特征较为相似产品结构易造成过检。（2）基于传统算法的缺陷检测方法一般是基于规则的方法，复杂情况下检测效果差，难以落地应用。

2、针对相关技术中存在的上述问题，暂未发现高效且准确的解决方案。

技术实现思路

1、本发明提供了一种基于深度对比学习的缺陷检测方法及装置，以解决相关技术中存在的上述技术问题。

2、根据本发明的一个实施例，提供了一种基于深度对比学习的缺陷检测方法，包括：采用缺陷样本数据有监督训练缺陷检测网络，得到第一缺陷检测模型，其中，所述第一缺陷检测模型包括：第一检测头、第一骨干网络、以及第一特征融合网络；采用工件结构数据无监督训练特征提炼网络，得到第二缺陷检测模型，其中，所述第二缺陷检测模型包括：第二检测头、第二骨干网络、以及第二特征融合网络；采用所述第一缺陷检测模型和所述第二缺陷检测模型融合生成第三缺陷检测模型，采用所述缺陷样本数据训练所述第三缺陷检测模型，得到目标缺陷检测模型；采集目标工件的工件图片，采用所述目标缺陷检测模型对所述工件图片进行缺陷检测。

3、可选地，采用所述第一缺陷检测模型和所述第二缺陷检测模型融合生成第三缺陷检测模型包括：提取所述第一缺陷检测模型中的第一特征处理网络，以及提取所述第二缺陷检测模型的第二特征处理网络，并冻结所述第一特征处理网络和所述第二特征处理网络的网络参数，其中，所述第一特征处理网络由所述第一骨干网络和第一特征融合网络串联组成，所述第二特征处理网络由所述第二骨干网络和第二特征融合网络串联组成；将所述第一特征处理网络和所述第二特征处理网络并行连接后，通过特征拼接层连接至第三检测头，得到第三缺陷检测模型，其中，所述特征拼接层用于对所述第一特征处理网络和所述第二特征处理网络输出的特征按通道维度进行拼接后输入到所述第三检测头中。

4、可选地，采用工件结构数据无监督训练特征提炼网络，得到第二缺陷检测模型，包括：获取待测工件的无缺陷图片集合，将所述无缺陷图片集合配置为工件结构数据；生成所述工件结构数据中无缺陷图片的残缺图片，并采用所述残缺图片和所述无缺陷图片集合中的原图创建自监督标注数据集；采用所述自监督标注数据集自监督训练所述特征提炼网络，得到第二缺陷检测模型。

5、可选地，生成所述工件结构数据中无缺陷图片的残缺图片，并采用所述残缺图片和所述无缺陷图片集合中的原图创建自监督标注数据集包括：针对所述工件结构数据中的每张目标无缺陷图片，在随机部位或者在指定部位扣除所述目标无缺陷图片的子图像块，得到残缺图片；以所述残缺图片对应的目标无缺陷图片为标签数据，创建所述残缺图片的自监督标注数据，得到自监督标注数据集。

6、可选地，采用所述自监督标注数据集自监督训练所述特征提炼网络，得到第二缺陷检测模型，包括：以所述残缺图为输入数据、标签数据为输出数据训练所述特征提炼网络，所述，其中，所述自监督标注数据集包括多组自监督标注数据，每组自监督标注数据包括残缺图片和对应的标签数据；计算所述特征提炼网络的损失函数的损失值，基于所述损失值采用反向传播算法对所述特征提炼网络进行参数优化，得到第二缺陷检测模型。

7、可选地，采用所述缺陷样本数据训练所述第三缺陷检测模型，得到目标缺陷检测模型，包括：提取所述缺陷样本数据中的缺陷图片和缺陷标签；以所述缺陷图片为所述第三缺陷检测模型的输入数据、所述缺陷标签为输出数据有监督训练所述第三缺陷检测模型的第三检测头，得到目标缺陷检测模型。

8、可选地，采用所述目标缺陷检测模型对所述工件图片进行缺陷检测包括：采用第一特征处理网络提取所述工件图片的第一特征，采用第二特征处理网络提取所述工件图片的第二特征，其中，所述第一特征用于表征所述目标工件的缺陷信息，所述第二特征用于表征所述目标工件的工件结构信息，所述目标缺陷检测模型包括所述第一特征处理网络、所述第二特征处理网络、特征拼接层、以及第三检测头；采用所述特征拼接层将所述第一特征和所述第二特征拼接为融合特征；将所述融合特征输入至所述第三检测头，输出所述工件图片的缺陷检测结果。

9、根据本发明的另一个实施例，提供了一种基于深度对比学习的缺陷检测装置，包括：第一训练模块，用于采用缺陷样本数据有监督训练缺陷检测网络，得到第一缺陷检测模型，其中，所述第一缺陷检测模型包括：第一检测头、第一骨干网络、以及第一特征融合网络；第二训练模块，用于采用工件结构数据无监督训练特征提炼网络，得到第二缺陷检测模型，其中，所述第二缺陷检测模型包括：第二检测头、第二骨干网络、以及第二特征融合网络；第三训练模块，用于采用所述第一缺陷检测模型和所述第二缺陷检测模型融合生成第三缺陷检测模型，采用所述缺陷样本数据训练所述第三缺陷检测模型，得到目标缺陷检测模型；检测模块，用于采集目标工件的工件图片，采用所述目标缺陷检测模型对所述工件图片进行缺陷检测。

10、可选地，所述第三训练模块包括：提取单元，用于提取所述第一缺陷检测模型中的第一特征处理网络，以及提取所述第二缺陷检测模型的第二特征处理网络，并冻结所述第一特征处理网络和所述第二特征处理网络的网络参数，其中，所述第一特征处理网络由所述第一骨干网络和第一特征融合网络串联组成，所述第二特征处理网络由所述第二骨干网络和第二特征融合网络串联组成；拼接单元，用于将所述第一特征处理网络和所述第二特征处理网络并行连接后，通过特征拼接层连接至第三检测头，得到第三缺陷检测模型，其中，所述特征拼接层用于对所述第一特征处理网络和所述第二特征处理网络输出的特征按通道维度进行拼接后输入到所述第三检测头中。

11、可选地，所述第二训练模块包括：配置单元，用于获取待测工件的无缺陷图片集合，将所述无缺陷图片集合配置为工件结构数据；创建单元，用于生成所述工件结构数据中无缺陷图片的残缺图片，并采用所述残缺图片和所述无缺陷图片集合中的原图创建自监督标注数据集；训练单元，用于采用所述自监督标注数据集自监督训练所述特征提炼网络，得到第二缺陷检测模型。

12、可选地，所述创建单元包括：扣除子单元，用于针对所述工件结构数据中的每张目标无缺陷图片，在随机部位或者在指定部位扣除所述目标无缺陷图片的子图像块，得到残缺图片；创建子单元，用于以所述残缺图片对应的目标无缺陷图片为标签数据，创建所述残缺图片的自监督标注数据，得到自监督标注数据集。

13、可选地，所述训练单元包括：训练子单元，用于以所述残缺图为输入数据、标签数据为输出数据训练所述特征提炼网络，所述，其中，所述自监督标注数据集包括多组自监督标注数据，每组自监督标注数据包括残缺图片和对应的标签数据；优化子单元，用于计算所述特征提炼网络的损失函数的损失值，基于所述损失值采用反向传播算法对所述特征提炼网络进行参数优化，得到第二缺陷检测模型。

14、可选地，所述第三训练模块包括：提取单元，用于提取所述缺陷样本数据中的缺陷图片和缺陷标签；训练单元，用于以所述缺陷图片为所述第三缺陷检测模型的输入数据、所述缺陷标签为输出数据有监督训练所述第三缺陷检测模型的第三检测头，得到目标缺陷检测模型。

15、可选地，所述检测模块包括：提取单元，用于采用第一特征处理网络提取所述工件图片的第一特征，采用第二特征处理网络提取所述工件图片的第二特征，其中，所述第一特征用于表征所述目标工件的缺陷信息，所述第二特征用于表征所述目标工件的工件结构信息，所述目标缺陷检测模型包括所述第一特征处理网络、所述第二特征处理网络、特征拼接层、以及第三检测头；拼接单元，用于采用所述特征拼接层将所述第一特征和所述第二特征拼接为融合特征；检测单元，用于将所述融合特征输入至所述第三检测头，输出所述工件图片的缺陷检测结果。

16、根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项装置实施例中的步骤。

17、通过本发明实施例，采用缺陷样本数据有监督训练缺陷检测网络，得到第一缺陷检测模型，其中，第一缺陷检测模型包括：第一检测头、第一骨干网络、以及第一特征融合网络，采用工件结构数据无监督训练特征提炼网络，得到第二缺陷检测模型，其中，第二缺陷检测模型包括：第二检测头、第二骨干网络、以及第二特征融合网络，采用第一缺陷检测模型和第二缺陷检测模型融合生成第三缺陷检测模型，采用缺陷样本数据训练第三缺陷检测模型，得到目标缺陷检测模型，采集目标工件的工件图片，采用目标缺陷检测模型对工件图片进行缺陷检测，通过多样本多模型的对比学习，增强模型对缺陷识别的判别约束，实现了一种能够真正理解工件结构和缺陷特征之间区别的深度学习检测方法，防止结构特征造成的漏检和过检，降低了漏检和过检的概率，解决了相关技术中缺陷检测方法误检率高的技术问题，降低了工件缺陷的误检率。