一种基于密集预测的少量PCB缺陷样本检测方法及系统与流程

本发明涉及pcb板缺陷检测，尤其涉及一种基于密集预测的少量pcb缺陷样本检测方法及系统。

背景技术：

1、印刷电路板(pcb)的需求正随着电子行业的发展变得越来越大。在pcb生产制造工业中，可能会因为工艺及生产机器精度等造成pcb的缺陷瑕疵，影响产品使用，提高生产成本。随着深度学习的提出，pcb缺陷检测也变得自动化。通常，当深度学习网络具有足量训练样本时，可以达到很好的检测效果，对缺陷检测具有很大的帮助。

2、然而在实际生产过程中，大多数情况得到的缺陷样本很少，不足以训练深度学习网络。如果使用缺陷数据来微调已有语义分割模型，可能会出现欠拟合的问题，检测精度远远达不到生产要求，这给pcb缺陷检测任务带来了很大的困难。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了一种基于密集预测的少量pcb缺陷样本检测方法及系统，具有面对少量缺陷样本达到较高检测精度的优点，提高了小尺度缺陷的检测精度。

2、本发明提出的一种基于密集预测的少量pcb缺陷样本检测方法，将任一pcb图像输送到已训练完成的深度学习模型中，以输出pcb图像中的缺陷位置和缺陷类型；所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；

3、所述深度学习模型的训练过程具体如下：

4、s1：获取pcb缺陷图像样本集，将所述pcb缺陷图像样本集划分为不带有缺陷标签的查询集和带有缺陷标签的支持集；

5、s2：基于特征提取网络初步提取查询集中的查询pcb图像特征；

6、s3：基于特征增强网络对所述查询pcb图像特征进行特征增强，得到混合注意力缺陷特征图ea；

7、s4：基于多尺度特征融合网络初步提取支持集中的支持pcb图像特征；

8、s5：基于特征重加权网络对所述支持pcb图像特征进行重加权，得到重加权向量v；

9、s6：将混合注意力缺陷特征图ea和重加权向量v进行逐元素相乘获得重新加权的缺陷特征向量；

10、s7：将所述缺陷特征向量输送到检测头中以输出缺陷位置和缺陷类型。

11、进一步地，在步骤s2中，具体为：使用darknet-53作为特征提取网络对查询集中的pcb缺陷图像进行初步提取，获得通道数为c、高为h、宽为w的查询缺陷特征e，将查询缺陷特征e作为查询pcb图像特征。

12、进一步地，在步骤s3中，具体包括：

13、对步骤s2输出的所述查询缺陷特征e在通道上进行并行处理后拼接，得到聚合缺陷特征；

14、将聚合缺陷特征进行逐元素相加后通过sigmoid函数生成查询缺陷特征图pl，将所述查询缺陷特征图pl与所述查询缺陷特征e按元素相乘获得通道注意力缺陷特征图e′；

15、对通道注意力缺陷特征图e′在通道上进行并行处理后拼接，并将拼接后的特征图通过深度可分离卷积后进行sigmoid函数生成查询缺陷特征图ph；

16、将所述查询缺陷特征图ph与所述通道注意力缺陷特征图e′按元素相乘得到混合注意力缺陷特征图ea。

17、进一步地，在所述对步骤s2输出的所述查询缺陷特征e在通道上进行并行处理后拼接，得到聚合缺陷特征中，具体包括：

18、对步骤s2输出的所述查询缺陷特征e在不同通道上依次进行最大池化和一维卷积处理，得到第一缺陷特征；

19、对步骤s2输出的所述查询缺陷特征e在不同通道上依次进行平均池化和一维卷积处理，得到第二缺陷特征；

20、将第一缺陷特征和第二缺陷特征拼接得到聚合缺陷特征。

21、进一步地，所述通道注意力缺陷特征图e′的计算公式如下：

22、

23、e′＝mul(e；pl)

24、其中，s表示sigmoid，表示卷积核大小为l的一维卷积，avp表示平均池化，map表示最大池化，mul(；)表示按元素相乘，pl表示查询缺陷特征图，e表示查询缺陷特征，ph表示查询缺陷特征图。

25、进一步地，所述混合注意力缺陷特征图ea的计算公式如下：

26、

27、ea＝mul(ph；e′)

28、其中，表示卷积核大小为5的深度可分离卷积。

29、进一步地，在步骤s4中，具体包括：

30、使用5个块的vgg16网络作为多尺度特征融合网络对支持集中的pcb缺陷图像进行初步提取，输出每个块的支持缺陷特征；

31、将5个块输出的支持缺陷特征输入双向特征融合网络获取不同尺度的支持缺陷特征图；

32、将五个支持缺陷特征图使用卷积进行压缩后得到含有不同权重的缺陷特征压缩向量b1,b2,b3,b4,b5；

33、对缺陷特征压缩向量b1,b2,b3,b4,b5实行逐元素相加得到包含不同尺度的多尺度缺陷特征图，将所述多尺度缺陷特征图作为支持pcb图像特征。

34、进一步地，在步骤s5中，具体包括：所述多尺度缺陷特征图通过1×1深度卷积得到n个1×1×c的缺陷特征向量v，其中n是缺陷类别数，c是通道数。

35、一种基于密集预测的少量pcb缺陷样本检测系统，将任一pcb图像输送到已训练完成的深度学习模型中，以输出pcb图像中的缺陷位置和缺陷类型；

36、所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；

37、所述深度学习模型的训练过程具体如下：

38、s1：获取pcb缺陷图像样本集，将所述pcb缺陷图像样本集划分为不带有缺陷标签的查询集和带有缺陷标签的支持集；

39、s2：基于特征提取网络初步提取查询集中的查询pcb图像特征；

40、s3：基于特征增强网络对所述查询pcb图像特征进行特征增强，得到混合注意力缺陷特征图ea；

41、s4：基于多尺度特征融合网络初步提取支持集中的支持pcb图像特征；

42、s5：基于特征重加权网络对所述支持pcb图像特征进行重加权，得到重加权向量v；

43、s6：将混合注意力缺陷特征图ea和重加权向量v进行逐元素相乘获得重新加权的缺陷特征向量；

44、s7：将所述缺陷特征向量输送到检测头中以输出缺陷位置和缺陷类型。

45、一种计算机可读储存介质，所述计算机可读储存介质上存储有若干分类程序，所述若干分类程序用于被处理器调用并执行如上所述的少量pcb缺陷样本检测方法。

46、本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

47、本发明提供的一种基于密集预测的少量pcb缺陷样本检测方法及系统的优点在于：本发明结构中提供的一种基于密集预测的少量pcb缺陷样本检测方法及系统，使用特征增强网络来突出关注关键区域特征，提高了查询样本的特征提取能力；使用多尺度特征融合网络提取支持样本的多尺度特征并将其融合成高质量的特征图，提高了小尺度缺陷的检测精度；具有面对少量缺陷样本达到较高检测精度的优点，即便缺陷类只有几个(小于10)样本，也可以达到较好的检测效果。同时，即使pcb图像存在干扰信息也可以具有一定的鲁棒性，抵抗噪声干扰，准确检测缺陷类别及位置。