缺陷检测模型的训练方法及缺陷检测方法与流程

本技术属于图像处理，尤其涉及一种缺陷检测模型的训练方法及缺陷检测方法。

背景技术：

1、表面贴装技术(surface mounted technology，smt)是电子组装行业里最流行的一种技术和工艺，smt具有高密度组装、高质量连接等优点。基于smt技术组装的贴片不可避免地会有表面缺陷产生，贴片表面缺陷种类较多，这些表面缺陷出现的概率较低，然而一旦出现会影响最终产品的性能，甚至产品不能使用。

2、目前，常用的smt贴片表面缺陷检测方法有两类，一类是人工目视检测法，即利用人眼去检查贴片表面的多种缺陷，这种方法依赖每个人对检测对象的熟悉程度，容易出现误检且效率低下；另一类为自动光学检测(aoi)，aoi通常使用传统的计算机视觉技术，如图像处理和特征提取等，通常需要手动设计特征提取器来提取特征，对于贴片表面的多种缺陷需要设计多种特征提取器，且对新的检测任务适应性差。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种缺陷检测模型的训练方法及缺陷检测方法，可以提高smt贴片的表面缺陷的检测精度、检测效率，对应的缺陷检测模型泛化能力强。

2、第一方面，本技术提供了一种缺陷检测模型的训练方法，所述缺陷检测模型用于检测smt贴片的表面缺陷，所述方法包括：

3、获取smt贴片表面缺陷样本集，所述smt贴片表面缺陷样本集包括多张表面样本图像；

4、基于所述表面样本图像的缺陷类别，对所述smt贴片表面缺陷样本集进行分类，得到多个缺陷样本子集；

5、分别对每个所述缺陷样本子集进行数据增强；

6、根据数据增强后的所述多个缺陷样本子集训练并更新卷积神经网络，得到所述缺陷检测模型。

7、根据本技术的缺陷检测模型的训练方法，通过表面样本图像的缺陷类别，对smt贴片表面缺陷样本集进行分类，得到多个缺陷样本子集，分别对每个缺陷样本子集进行数据增强，可以得到种类丰富、数量多的缺陷样本，根据不同缺陷类别对应的多个缺陷样本子集对卷积神经网络进行训练更新，得到的缺陷检测模型检测精度高、检测效率高且泛化能力强。

8、根据本技术的一个实施例，所述分别对每个所述缺陷样本子集进行数据增强，包括：

9、对所述缺陷样本子集进行基于图像特征的第一数据增强操作，并对所述缺陷样本子集进行基于缺陷类别的第二数据增强操作。

10、根据本技术的一个实施例，所述对所述缺陷样本子集进行基于缺陷类别的第二数据增强操作，包括：

11、在确定所述缺陷样本子集的缺陷类别为破损、脏污、缺件、偏位、侧立、立碑、压件和反白中的一个的情况下，随机切除所述表面样本图像的第一区域的像素并在所述第一区域中填充与所述缺陷样本子集的缺陷类别相同的所述表面样本图像的区域像素。

12、根据本技术的一个实施例，所述对所述缺陷样本子集进行基于缺陷类别的第二数据增强操作，包括：

13、在确定所述缺陷样本子集的缺陷类别为破损、脏污、缺件、偏位、连锡、侧立、立碑和压件中的一个的情况下，调整所述表面样本图像的颜色对比度。

14、根据本技术的一个实施例，所述第一数据增强操作包括图像翻转、图像旋转、图像缩放、图像形变以及图像像素随机擦除中的至少一个。

15、根据本技术的一个实施例，所述根据数据增强后的所述多个缺陷样本子集训练并更新卷积神经网络，包括：

16、将数据增强后的所述多个缺陷样本子集输入至所述卷积神经网络进行图像级特征提取；

17、基于所述缺陷样本子集的缺陷标签和所述卷积神经网络预测的缺陷信息，计算目标损失函数，所述目标损失函数基于交叉熵损失函数和动态缩放交叉熵损失函数加权求和得到；

18、基于所述目标损失函数更新所述卷积神经网络。

19、第二方面，本技术提供了一种缺陷检测方法，该方法包括：

20、获取待检测的smt贴片表面图像；

21、将所述smt贴片表面图像输入至缺陷检测模块，获得所述缺陷检测模型输出的表面缺陷检测结果；

22、其中，所述缺陷检测模块基于上述第一方面所述的缺陷检测模型的训练方法训练得到。

23、根据本技术的缺陷检测方法，通过缺陷检测模型对smt贴片进行表面缺陷检测，缺陷检测模型是根据不同缺陷类别对应的多个缺陷样本子集对卷积神经网络进行训练得到的，缺陷样本子集经过数据增强处理，缺陷样本种类丰富、数量多，缺陷检测模型检测精度高、检测效率高且泛化能力强，且基于卷积神经网络的强特征提取优势，不需要手动设计特征提取器，整个过程基于图像处理实现，操作简单。

24、第三方面，本技术提供了一种缺陷检测模型的训练装置，所述缺陷检测模型用于检测smt贴片的表面缺陷，所述装置包括：

25、第一获取模块，用于获取smt贴片表面缺陷样本集，所述smt贴片表面缺陷样本集包括多张表面样本图像；

26、第一处理模块，用于基于所述表面样本图像的缺陷类别，对所述smt贴片表面缺陷样本集进行分类，得到多个缺陷样本子集；

27、第二处理模块，用于分别对每个所述缺陷样本子集进行数据增强；

28、第三处理模块，用于根据数据增强后的所述多个缺陷样本子集训练并更新卷积神经网络，得到所述缺陷检测模型。

29、根据本技术的缺陷检测模型的训练装置，通过表面样本图像的缺陷类别，对smt贴片表面缺陷样本集进行分类，得到多个缺陷样本子集，分别对每个缺陷样本子集进行数据增强，可以得到种类丰富、数量多的缺陷样本，根据不同缺陷类别对应的多个缺陷样本子集对卷积神经网络进行训练更新，得到的缺陷检测模型检测精度高、检测效率高且泛化能力强。

30、第四方面，本技术提供了一种缺陷检测装置，该装置包括：

31、第二获取模块，用于获取待检测的smt贴片表面图像；

32、第四处理模块，用于将所述smt贴片表面图像输入至缺陷检测模块，获得所述缺陷检测模型输出的表面缺陷检测结果；

33、其中，所述缺陷检测模块基于上述第一方面所述的缺陷检测模型的训练方法训练得到。

34、根据本技术的缺陷检测装置，通过缺陷检测模型对smt贴片进行表面缺陷检测，缺陷检测模型是根据不同缺陷类别对应的多个缺陷样本子集对卷积神经网络进行训练得到的，缺陷样本子集经过数据增强处理，缺陷样本种类丰富、数量多，缺陷检测模型检测精度高、检测效率高且泛化能力强，且基于卷积神经网络的强特征提取优势，不需要手动设计特征提取器，整个过程基于图像处理实现，操作简单。

35、第五方面，本技术提供了一种自动化光学检测系统，该系统包括：

36、光学图像装置；

37、自动控制装置，所述自动控制装置和所述光学图像装置连接，所述自动控制装置用于控制所述光学图像装置采集待检测的smt贴片表面图像；

38、数据处理装置，所述数据处理装置和所述光学图像装置连接，所述数据处理装置写入缺陷检测模块，所述缺陷检测模块用于对所述smt贴片表面图像进行缺陷检测，所述缺陷检测模块基于上述第一方面所述的缺陷检测模型的训练方法训练得到。

39、根据本技术的自动化光学检测系统，通过缺陷检测模型对smt贴片进行表面缺陷检测，缺陷检测模型是根据不同缺陷类别对应的多个缺陷样本子集对卷积神经网络进行训练得到的，缺陷样本子集经过数据增强处理，缺陷样本种类丰富、数量多，缺陷检测模型检测精度高、检测效率高且泛化能力强，且基于卷积神经网络的强特征提取优势，不需要手动设计特征提取器，整个过程基于图像处理实现，操作简单。

40、第六方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的缺陷检测模型的训练方法或者上述第二方面所述的缺陷检测方法。

41、第七方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的缺陷检测模型的训练方法或者上述第二方面所述的缺陷检测方法。

42、第八方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的缺陷检测模型的训练方法或者上述第二方面所述的缺陷检测方法。

43、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。