一种面向尺度变化大的金属表面缺陷特征表征方法

本发明属于金属表面缺陷检测领域中的一种视觉特征建模方法，具体涉及一种面向缺陷尺度变化大的金属表面缺陷特征表征方法。

背景技术：

1、表面质量控制是工业制造过程中的重要组成部分。在金属工件制造过程中，不可避免地会出现一些表面缺陷，例如划痕、压伤等，这将极大地影响金属产品的表面质量。因此，在生产结束时，往往通过实施定期质量监控，以保证关键金属零部件表面质量。然而，表面缺陷检测往往是由人工专家完成的，存在着检测结果不可靠和检测效率低等缺点。

2、随着智能制造技术的发展，基于机器视觉的表面缺陷检测越来越受到重视。这种方法通过视觉感知和图像处理，能够自动、高效、准确地识别并定位缺陷，有效地避免了人工检测存在的缺点。

3、虽然这些基于深度学习的视觉检测方法极大地促进了金属表面缺陷检测的发展，但多尺度缺陷检测仍然是一个严峻的挑战。具体来讲，在生产制造过程中，缺陷可能以任意尺度大小出现在给定的图像中。此外，由于不同传感器捕捉的真实视野范围可能存在差异，对于同一尺度的缺陷，可能在不同传感器下对应着不同尺度的视觉成像。对于神经网络，给定一张/多张成像图，例如图1，要求检测模型能准确地识别并定位出任何尺度的缺陷。然而，现有的方法难以有效地适应这种尺度的变化，检测精度亟待提升。

4、综上所述，提出一种高效、快速的跨尺度缺陷表征建模方法，以缓解现有检测方法难以适应缺陷尺度的变化的问题是至关重要的。

技术实现思路

1、为了解决背景技术中存在的问题，提出一种面向缺陷尺度变化大的特征表征网络，主要由两个模块组成：基于分层卷积的缺陷特征提取模块以及缺陷多尺度信息嵌入策略，以有效适应缺陷图像中存在着的尺度变化大的问题。通过对提出的两个模块进行简单堆叠，搭建了针对缺陷尺度变化大的特征提取网络，作为基础特征能有效地与现有的单阶段或者两阶段检测算法(例如faster rcnn)结合，通过提高检测模型的多尺度表征能力以提高缺陷检测精度。

2、为了实现上述目的，本发明采用的技术方案是包括以下步骤：

3、一、一种面向尺度变化大的金属表面缺陷特征表征方法

4、包括以下步骤：

5、步骤1)获取金属表面缺陷的图像数据集；

6、步骤2)基于改进的残差网络构建金属表面缺陷检测模型，具体为：

7、2.1)构建分层表征的缺陷卷积特征提取模块，在通道维度上借助级联的方式实现局部缺陷特征到全局缺陷特征的提取；

8、金属表面存在大小不一致的缺陷，这种缺陷尺度的变化将大大影响模型的检测精度。因此，对缺陷尺度信息的特征建模将有效缓解这个问题。该种金属表面的不同尺度的缺陷示意见附图1；

9、2.2)构建基于分层卷积的多尺度缺陷信息嵌入策略，将多尺度缺陷信息嵌入策略与步骤2.1)的缺陷卷积特征提取模块进行融合，得到分层多尺度卷积模块；

10、该策略有效利用了分层卷积的多分支结构特性，对于不同分支的输出特征，通过改变其缺陷输入特征感受野的方式来实现缺陷输出特征感受野的多样化。

11、2.3)将分层多尺度卷积模块进行简单堆叠，得到分层多尺度特征提取骨干网络hmsnet，通过hmsnet实现输入缺陷图片到输出多尺度缺陷特征的转换，将分层多尺度特征提取骨干网络嵌入缺陷检测任务中，得到改进后的金属缺陷检测模型；

12、分层多尺度特征提取骨干网络的输出作为后续缺陷检测的输入特征；

13、步骤3)利用金属表面缺陷检测模型对待检测金属的多尺度缺陷进行检测，输出检测结果。

14、所述步骤2.1)中：

15、对于常用的规则卷积，其通道i的输出yi可由一个全局的卷积核ki和输入x计算得到：

16、yi＝ki*x

17、*代表卷积操作。

18、从上述计算可以看出，规则卷积每个通道的输出都通过一个同等大小(例如3×3)的卷积核与所有维度的输入进行关联。本发明与上述规则卷积计算方式不同，分层卷积模块将每个维度的输出与部分维度的输入进行关联，通过级联的方式实现从局部特征到全局特征的提取。

19、缺陷卷积特征提取模块包括多个阶段，每个阶段包括一个轻量规则卷积模块和融合操作，缺陷卷积特征提取模块的特征提取过程具体为：

20、2.1.1)首先将输入通道等分为g0组：

21、

22、对于每组输入特征利用第一个轻量规则卷积模块中的一组轻量规则卷积核将输入特征映射至输出空间，得到

23、其中，g0表示属于的索引；

24、2.1.2)以相邻的多个输出空间特征为一组，将步骤2.1.1)的输出空间特征分为g1组，使用拼接的方式将每组的特征进行通道上的连接，输出多个拼接结果，拼接的计算方法如下：

25、

26、其中，g1表示属于[1,g1]的索引，g0＞g1；f和conv分别表示通道拼接算子和规则卷积算子；

27、将所有的拼接结果进行合并，得到第一阶段的输出特征y1，表示如下：

28、

29、其中，上标为阶段索引，下标为每个阶段的分组索引

30、对于第一阶段的特征表征，利用一系列轻量化的卷积与拼接算子将g0组的输入特征x转换为分组为g1的输出特征y1

31、2.1.3)重复步骤2.1.2)，直至分组数的数量降为1，停止迭代，输出最终特征yl；从而完成多个阶段的迭代，每个阶段的输入为上一阶段的多组输出。

32、对于第二阶段，第二阶段的输入为第一阶段的多组输出，重复第一阶段的分层特征提取，得到分组数为g2的输出特征。

33、即可实现从分组数为g0的输入特征x到分组数为1的输出特征yl，对于不同阶段的分组数，应当满足以下式子：

34、g0＞g1＞g1＞…＞gl＝1

35、通过一系列级联的分层卷积设计，实现了通道上局部缺陷信息到全局缺陷信息的提取，该分层卷积的设计原理如图2所示。

36、所述步骤2.2)具体为：

37、在步骤2.1.1)计算轻量规则卷积模块某一分组的输出特征时，将上一分组的输出特征与当前分组的输入特征相加；即通过一个快速连接，将上一分组的输出特征(经过3×3卷积)叠加至下一分组的输入，在不额外增加卷积核的基础上，借助输入特征的多尺度融合，实现输出特征的多尺度信息提取。

38、步骤2.2)借助分层表征的拓扑结构，构建一种无参化的多尺度缺陷信息嵌入策略，无需引入额外的卷积核即可实现不同分支感受野的多样化，大大提高了骨干网络对多尺度缺陷表征的能力；

39、基于步骤2.2)的多尺度缺陷信息嵌入策略，将步骤2.1)第一阶段的输出特征y1修改为：

40、

41、

42、我们去除最后分组的卷积核以减小模型参数量，同时使得模型的感受野更加适合小缺陷的检测。通过迭代l轮，可以实现输入缺陷的多尺度特征提取与融合。多尺度嵌入的快速连接与残差网络的快速连接对比如图3所示，其中，残差网络的快速连接如图3(a)所示，本文的快速连接如图3(b)所示。

43、所述步骤2.3)中，参考残差网络对规则卷积的堆叠和参数配置方式，将步骤2.2)的分层多尺度卷积模块进行相同方式的堆叠，得到最终的分层多尺度特征提取骨干网络hmsnet。

44、二、一种计算机存储介质

45、所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述面向尺度变化大的金属表面缺陷特征表征方法。

46、三、一种处理器

47、所述处理器用于运行程序，其中，所述程序运行时执行上述面向尺度变化大的金属表面缺陷特征表征方法。

48、本发明在残差模型的基础上，设计了基于分层卷积的缺陷特征提取模块和缺陷多尺度嵌入模块。通过修改残差网络中的规则卷积的特征提取方式，以一系列轻量级的规则卷积代替原有的全通道的卷积，多个卷积以级联的方式进行特征提取，并通过不同分支的特征合并实现残差网络中输入特征到输出特征的映射；基于分层卷积多分支缺陷特征表征的基础上，提出了一种无参化的多尺度信息嵌入策略，该策略有效地借助快速连接方式，实现不同分支多感受野融合，提高了分层卷积模型的多尺度感知能力。通过简单堆叠多组分组多尺度卷积模块，搭建了用于多尺度缺陷感知的骨干网络，其输出特征作为检测模型的输入进行后续的缺陷检测。

49、本发明具有的有益效果是：

50、本发明方法通过利用深度网络自适应学习的特性，在保证检测模型的精度和速度平衡之外，有效地针对尺度变化的影响，搭建了用于多尺度感知的特征提取网络，大大减少了检测结果中的误检和漏检等问题，提高了多尺度缺陷定位与识别能力，尤其适用于工业产品质量监控中的金属表面缺陷检测领域。