一种自适应特征增强融合的PCB缺陷检测方法

本发明涉及深度学习和图像处理，尤其涉及一种自适应特征增强融合的pcb缺陷检测方法。

背景技术：

1、随着“中国制造2025”发展战略目标的提出，我国加快了工业制造行业生产设备的智能化改造，加大对印刷电路板(printed circuit board,pcb)行业的扶持和鼓励。pcb作为智能化、高密度、微型化电子产品的核心组件，其质量检测是保证电子制造业智能化快速发展的关键。然而，由于pcb生产工序繁杂，易导致pcb裸板出现缺孔、开路、短路等缺陷。

2、目前pcb缺陷检测存在三个较大难度：(1)pcb种类繁多，存在的缺陷类型和形状复杂多样。(2)pcb面积较大，缺陷目标较小，很难准确定位缺陷区域。(3)pcb背景颜色明显，缺陷特征提取过程中容易受到背景颜色干扰。由于上述问题的存在，导致很难对pcb存在的缺陷进行准确检测。目前应用广泛的深度学习方法，包括ssd、yolo系列、centernet等网络并不能较好的实现对pcb缺陷的准确检测。

3、现有技术缺点：(1)使用深度神经网络作为主干特征提取器，由于其结构是卷积层块的不断堆叠，导致模型参数量太大。(2)对于深层神经网络，更深的网络层能够提高网络特征提取能力，但是不可避免的会捕获到一些冗余信息，从而影响后续预测结果的准确性。(3)在进行深层次特征提取后，直接进行连续上采样操作，虽然可以减少模型计算量，但会丢失部分提取到的特征信息，对最终检测准确率产生影响。

技术实现思路

1、本发明的目的在于提供一种自适应特征增强融合的pcb缺陷检测方法，从而显著提升对被检目标的识别和定位精度。

2、本发明采用的技术方案是：

3、一种自适应特征增强融合的pcb缺陷检测方法，其包括以下步骤：

4、步骤s1：将获取的pcb图像输入到嵌入nam模块的特征提取器resnext-101，对缺陷区域进行pcb初始特征图提取；

5、步骤s2：将提取得到的pcb初始特征图输入到aff模块，aff模块通过不同尺度的卷积来捕获不同感受野下不同类型和大小的缺陷特征得到对应的多尺度信息特征图，再对得到的多尺度信息特征图进行通道归一化后得到剔除冗余信息且包含具有不同权重的缺陷特征的输出特征k；

6、步骤s3：对输出特征k进行三次自下而上的反卷积上采样得到高分辨率特征图；

7、步骤s4：对得到的高分辨率特征图依次进行3×3、1×1两次卷积操作，最终输出对pcb缺陷的定位和分类预测。

8、进一步地，步骤s1中所使用的实验数据集采用北京大学智能机器人开放实验室的印刷电路板缺陷数据集，通过裁剪、旋转等数据增强技术扩增到10668张缺陷图像，缺陷类型包括缺孔、鼠咬、开路、短路、毛刺、余铜六类，各类缺陷效果如图2所示。

9、在训练过程中对输入图像像素设置为512×512，首先采用9:1比例划分为训练集+验证集和测试集，再用9:1比例划分训练集和验证集，其中8641张作为训练集、960张作为验证集、1067张作为测试集。

10、进一步地，步骤s1中特征提取器resnext-101的每个残差结构的末端嵌入一个nam模块。

11、进一步地，nam模块包括通道注意力模块cam和空间注意力模块sam，nam模块的通道注意力模块cam利用批归一化bn中的比例因子反映各通道的重要程度；通道注意力模块cam首先对输入的特征进行批归一化操作得到每个通道的比例因子；然后根据比例因子对每个通道的特征信息进行高低权重分配，以关注目标特征；最后经过sigmoid激活函数输出特征；nam模块的空间注意力模块sam将批归一化bn用于空间维度，通过对像素进行归一化来衡量空间特征的重要性。

12、进一步地，nam模块的表达式如下：

13、

14、

15、

16、

17、qr＝sigmoid(w(y(pc)))(5)

18、qt＝sigmoid(w(y(ps)))(6)

19、式中，m表示特征输入批量总数，xi表示第i个批量的特征输入，μb表示批量特征均值，表示批量特征方差，yi表示第i个通道的比例因子，∈为防止分母为0的数，γ和β表示训练过程中待学习参数；wi表示第i个通道权值；pc表示通道注意力模块cam输入特征，ps表示空间注意力模块sam输入特征，qr表示通道注意力模块cam输出特征；qt表示空间注意力模块sam输出特征。

20、进一步地，aff模块利用1×1卷积、空洞率(rate＝1、3、7)的3×3卷积和全局池化对输入特征图进行强化特征提取。考虑到pcb缺陷类型复杂多样，大小不一，同时包含颜色背景信息干扰，通过采用固定感受野的卷积核进行特征提取容易忽略关注特征的完整度。因此，为保证对缺陷特征图信息提取的全面性和丰富度，先利用不同感受野下的多尺度卷积核进行特征捕获，使用1×1卷积和全局池化操作对特征图进行全局特征提取得到特征图a1、a3，并利用不同空洞率的3×3卷积通过扩大感受野对不同大小缺陷的特征进行提取得到特征图a2。选用不同空洞率的卷积能够保证获得较大感受野的同时，特征图分辨率不会丢失太多关于pcb图像边界的细节信息，保证特征信息提取的完整性。再将不同空洞率下的特征图a2进行特征融合得到特征图a3，以丰富该卷积核下的pcb缺陷特征信息。分别对a1、a3和a4使用1×1卷积进行降维处理得到权重wθ、wg，由于在特征提取过程中难免会得到冗余信息影响后续信息筛选和检测准确性，将wθ和wg进行矩阵相乘以聚合不同内容信息，并通过softmax函数归一化得到注意力特征再将与wg进行矩阵相乘，通过矩阵相乘对缺陷特征进行权重分配，剔除冗余信息，得到细致的输出特征k。通过实现跨通道的信息交互，在减少网络计算量的同时加强了各局部特征间的强相关性。

21、进一步地，步骤s2的具体步骤如下：

22、步骤s2-1：将得到的pcb初始特征图输入到aff模块，aff模块使用1×1卷积和全局池化操作对特征图进行全局特征提取得到特征图a1、a3，并利用不同空洞率(rate＝1、3、7)的3×3卷积通过扩大感受野对不同大小缺陷的特征进行提取得到特征图a2。选用不同空洞率的卷积能够保证获得较大感受野的同时，特征图分辨率不会丢失太多关于pcb图像边界的细节信息，保证特征信息提取的完整性。

23、步骤s2-2：将不同空洞率下的特征图a2进行特征融合得到特征图a3，以丰富该卷积核下的pcb缺陷特征信息。

24、步骤s2-3：分别对a1、a3和a4使用1×1卷积进行降维处理得到权重wθ、wg，用于后续跨通道聚合。

25、步骤s2-4：由于在特征提取过程中难免会得到冗余信息影响后续缺陷信息筛选和检测准确性，将wθ和进行矩阵相乘以聚合不同内容信息，并通过softmax函数归一化得到注意力特征再将与wg进行矩阵相乘，通过矩阵相乘对缺陷特征进行权重分配，剔除冗余信息，得到细致的输出特征k。通过实现跨通道的信息交互，在减少网络计算量的同时加强了各局部特征间的强相关性，对应的计算表达式如下：

26、wθ∈f(θ(a1)) (7)

27、

28、wg∈f(g(a3)) (9)

29、

30、式中，f()表示1×1卷积，k∈rh×w×c代表输出特征，h、w和c分别表示输出特征图的高、宽和通道数。

31、进一步地，步骤s2-1中不同空洞率rate的取值为1、3、7。

32、进一步地，步骤s6中利用卷积核为4×4、步长为2的操作对输出特征k进行三次自下而上的反卷积上采样。

33、本发明采用以上技术方案，使用resnext-101作为主干特征提取网络，基于聚合变换(aggregated transformations)和分组卷积，使用更少的参数获取更丰富信息。在resnext-101的残差块末端嵌入归一化注意力机制，通过抑制不显著特征，减少冗余信息的获取，提高网络的特征提取能力。提出一种自适应特征增强融合模块，通过不同尺度的卷积来捕获不同感受野下不同类型和大小的缺陷特征，并进行特征融合，再对得到的多尺度信息进行归一化，从而减少不同特征通道层之间的语义差距，进一步强化检测网络的特征表达能力，捕获更完整的深层语义信息。利用三次自下而上的反卷积上采样，得到高分辨率特征图，为减少连续上采样引起的混叠效应，再进行3×3、1×1两次卷积实现对缺陷的定位和分类预测。

34、本发明减小主干特征提取网络的参数量，提高模型的轻量化；减少冗余信息的获取，提高网络对目标的关注度，进一步提升网络对目标的特征提取能力；丰富全局特征信息，强化网络的特征表达能力。