一种小样本产品表面缺陷识别方法及系统

本发明属于神经网络缺陷识别相关，更具体地，涉及一种小样本产品表面缺陷识别方法及系统。

背景技术：

1、表面缺陷是生产过程质量管控中面临的重要问题，其存在一方面影响着产品的出厂质量造成不必要的经济损失，另一方面也会影响产品服役过程的性能，严重的还会造成重大事故，危害国家和人民财产安全。因此，发展智能化、自动化的表面缺陷识别技术具有十分重要的研究价值和应用前景。

2、传统的表面缺陷大多采用人工检测为主，检测速度缓慢、稳定性较差，且成本昂贵，难以大面积推广普及。近年来，随着人工智能、工业大数据等技术的飞速发展，以及自动化技术的普通，基于机器视觉的表面缺陷识别逐渐成为当前学术界和工业界关注的技术热点。尤其是以卷积神经网络为代表的深度学习方法，因其良好的缺陷识别效果以及较低的先验知识门槛，成为表面缺陷识别领域的重点发展趋势之一。

3、相较于传统的机器视觉方法，如支持向量机、随机森林等，卷积神经网络采用端到端的特征提取方式，可以实现表面缺陷图像特征的自动化提取，避免了传统方法特征提取过程对专家先验知识的依赖。然而，这种端到端的特征自动提取依赖大量的训练样本，而在实际生产中，由于缺陷发生属于小样本事件，因此，可用于训练的样本数量相对较少，属于典型的小样本问题。一旦样本数量较少，则模型可以学习到的信息有限，极易陷入过拟合问题，即在测试过程的结果与训练过程差异巨大，严重影响了缺陷识别的正常进行，影响产品最终的出厂质量。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种小样本产品表面缺陷识别方法及系统，其利用图像金字塔实现提取小样本缺陷图像的空间多尺度特征，并利用多个自注意力机制深度学习模型实现特征的抽象化表达，利用加权融合的方式将最终的识别结果进行融合，从而避免单一尺度下小样本信息不足所导致的模型过拟合问题，提升小样本缺陷图像的识别效果，确保产品表面缺陷检测的正常进行。

2、为实现上述目的，按照本发明的一个方面，提供了一种小样本产品表面缺陷识别方法，所述方法主要包括以下步骤：

3、(1)基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，以用于提取缺陷图形在多层级下的特征图；

4、(2)针对每个层级单独构建基于自注意力机制深度学习的缺陷识别模型，并采用基于imagenet预训练的权重作为模型初始化参数；

5、(3)将提取到的缺陷空间多尺度特征图分别输入到其对应的缺陷识别模型，并利用focal loss作为损失函数，根据对应的缺陷类别标记进行训练；

6、(4)将待测产品的缺陷图像输入到空间多尺度特征提取器，进而将提取到的缺陷空间多尺度特征图输入到对应的缺陷识别模型中，并将每个缺陷识别模型输出的结果进行加权融合，以得到缺陷图像对应的缺陷类别。

7、进一步地，构建空间多尺度特征提取器时，采用图像金字塔的形式将一张原始的缺陷图像映射为多幅不同空间尺度下的特征图像，从而反映缺陷图像在空间尺度下不同层级的特征信息。

8、进一步地，缺陷识别模型用于识别对应层级特征图所对应缺陷类别，每个缺陷识别模型具有独立且相同的模型结构。

9、进一步地，所述缺陷识别模型包括嵌入层、编码器和分类器，其中嵌入层采用one-hot形式进行位置信息编码。

10、进一步地，编码器采用多头注意力机制模块叠加而成，其初始参数为基于imagenet预训练的权重。

11、进一步地，分类器采用两层全连接层神经网络，并采用softmax作为激活函数，以计算不同缺陷类别对应的概率。

12、进一步地，损失函数为：

13、lft＝-(1-t)βlog(t)

14、其中，pt为第t个模型的输出结果，表示其对应每种缺陷类别的概率，n表示模型的数量，y为最终的识别结果。

15、进一步地，采用加权融合的方式输出最终缺陷识别结果，对应的计算公式为：

16、

17、其中，pt为第t个模型的输出结果，n表示模型的数量，y为最终的识别结果。

18、进一步地，通过adam优化方法对每个缺陷识别模型单独训练，以优化模型参数。

19、按照本发明的另一个方面，提供了一种小样本产品表面缺陷识别系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器自行所述计算机程序时执行如上所述的小样本产品表面缺陷识别方法。

20、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的小样本产品表面缺陷识别方法及系统主要具有以下有益效果：

21、1.本发明通过图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，实现了缺陷图像的空间多尺度特征提取，避免了单一尺度下，小样本缺陷图像特征信息不足的问题，有效缓解了小样本导致的深度学习模型缺陷识别过拟合问题。

22、2.在缺陷识别模型中采用了自注意力机制模型，并利用focal loss损失函数对缺陷区域的感知能力，从而在有限样本条件下，提升了模型的缺陷识别效果。

23、3.采用了加权融合的方式将各层级的输出结果结合相应权重进行融合，一方面避免了传统特征融合方式多个模型同时训练带来的高昂训练成本，另一方面，可以有效提升模型的识别效果，避免了单一尺度下模型的误判。

技术特征：

1.一种小样本产品表面缺陷识别方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的小样本产品表面缺陷识别方法，其特征在于：构建空间多尺度特征提取器时，采用图像金字塔的形式将一张原始的缺陷图像映射为多幅不同空间尺度下的特征图像，从而反映缺陷图像在空间尺度下不同层级的特征信息。

3.如权利要求1所述的小样本产品表面缺陷识别方法，其特征在于：缺陷识别模型用于识别对应层级特征图所对应缺陷类别，每个缺陷识别模型具有独立且相同的模型结构。

4.如权利要求3所述的小样本产品表面缺陷识别方法，其特征在于：所述缺陷识别模型包括嵌入层、编码器和分类器，其中嵌入层采用one-hot形式进行位置信息编码。

5.如权利要求4所述的小样本产品表面缺陷识别方法，其特征在于：编码器采用多头注意力机制模块叠加而成，其初始参数为基于imagenet预训练的权重。

6.如权利要求4所述的小样本产品表面缺陷识别方法，其特征在于：分类器采用两层全连接层神经网络，并采用softmax作为激活函数，以计算不同缺陷类别对应的概率。

7.如权利要求1-6任一项所述的小样本产品表面缺陷识别方法，其特征在于：损失函数为：

8.如权利要求1-6任一项所述的小样本产品表面缺陷识别方法，其特征在于：采用加权融合的方式输出最终缺陷识别结果，对应的计算公式为：

9.如权利要求1-6任一项所述的小样本产品表面缺陷识别方法，其特征在于：通过adam优化方法对每个缺陷识别模型单独训练，以优化模型参数。

10.一种小样本产品表面缺陷识别系统，其特征在于：所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器自行所述计算机程序时执行权利要求1-9任一项所述的小样本产品表面缺陷识别方法。

技术总结
本发明属于神经网络缺陷识别相关技术领域，其公开了一种小样本产品表面缺陷识别方法及系统，包括以下步骤：(1)基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器；(2)针对每个层级单独构建基于自注意力机制深度学习的缺陷识别模型；(3)将提取到的缺陷空间多尺度特征图分别输入到对应的缺陷识别模型，根据对应的缺陷类别标记进行训练；(4)将待测产品的缺陷图像输入到空间多尺度特征提取器，进而将提取到的缺陷空间多尺度特征图输入到对应的缺陷识别模型中，并将每个缺陷识别模型输出的结果进行加权融合，以得到缺陷图像对应的缺陷类别。本发明缓解了小样本导致的深度学习模型缺陷识别过拟合问题。

技术研发人员：高艺平,李新宇,高亮
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/1/12