一种基于改进ResNet34网络的PCB板表面缺陷分类方法

一种基于改进resnet34网络的pcb板表面缺陷分类方法
技术领域
1.本发明涉及pcb板表面缺陷领域，具体涉及深度学习领域一种基于改进resnet34网络的pcb板表面缺陷分类方法。


背景技术：

2.印刷电路板(pcb)，是集成电路(ic)中较为基础的部件，自上个世纪50年代以来，集成复杂度由小规模发展到如今的特大规模，pcb在民用产品(如智能手机、便携电脑)或军用精密产品(如无人机)上的使用都极为广泛。随着制造技术越来越复杂，业界对pcb产品的工艺质量控制提出了更高的要求。然而由于生产过程天气等恶劣因素的不确定性和制作机器故障以及人为因素所造成的误差等影响，导致在过程中难免会出现同一批次质量不同的现象，如果不对这些因素进行最小限度的控制和最大程度的检测，所造成的损失是难以估量的，并且会对企业造成更大的影响。
3.目前，pcb板表面缺陷分类仍以人工分类为主，这种方式易受检测人员主观性影响大，检测费时费力，无法满足产品的工业自动化生产需求。另一方面，随着深度学习和数字图像处理技术不断的发展，基于这两种技术实现pcb板表面缺陷分类成为一种更好的选择。
4.本发明针对现有技术的不足，提出了一种基于改进resnet34网络的pcb板表面缺陷分类方法，首先建立pcb板表面缺陷数据集，将数据集按9：1分成训练集、测试集；然后对原有的resnet34网络进行改进，加入通道注意力机制和空间注意力机制，并将改进后的resnet34网络取名为resnetattention；对resnetattention网络进行迁移学习，加载pascal voc开源数据集上的部分训练权重；对进行迁移学习后的resnetattention网络使用训练集进行正式训练；训练完毕，使用测试集测试resnetattention网络分类性能指标，并与原resnet34网络进行对比。该方法提高了pcb缺陷分类准确率，解决了传统人工pcb缺陷检测工作效率低、劳动强度大的问题。
5.本发明所采用的技术方案是，一种基于改进resnet34网络的pcb板表面缺陷分类方法，具体按照以下步骤实施：
6.步骤1：建立pcb板表面缺陷数据集，将数据集按一定比例分成训练集、测试集；
7.步骤2：对原有的resnet34网络进行改进，加入通道注意力机制和空间注意力机制，并将改进后的resnet34网络取名为resnetattention；
8.步骤3：对resnetattention网络进行迁移学习，加载pascal voc开源数据集上的部分训练权重；
9.步骤4：对进行迁移学习后的resnetattention网络使用步骤1中的训练集进行正式训练，更新resnetattention网络的各层参数；
10.步骤5：训练完毕，使用步骤1中的测试集测试resnetattention网络分类性能指标，并与原resnet34网络进行对比。
11.至此，实现了基于改进resnet34网络的pcb板表面缺陷分类方法。
12.本发明的有益效果是：
13.1.在原有resnet34网络的第一个卷积层之后和最后一个全连接层之前，添加了通道注意力机制和空间注意力机制，相比原resnet34网络，对pcb板表面缺陷的分类准确率有所提高。
14.2.在网络正式训练之前进行迁移学习，预加载模型参数，相比不进行迁移学习直接训练，网络分类准确率显著提高，同时加快了模型的收敛速度。
附图说明
15.图1是本发明方法的步骤流程图；
16.图2是pcb板表面缺陷训练集样本数图；
17.图3是pcb板表面缺陷测试集样本数图；
18.图4是通道注意力机制示意图；
19.图5是空间注意力机制示意图；
20.图6是resnetattention网络训练损失曲线图；
21.图7是resnetattention网络训练准确率曲线图；
22.图8是训练完毕的resnetattention网络混淆矩阵图；
23.图9是resnetattention网络与原resnet34网络f1score对比曲线图；
具体实施方式
24.以下结合附图对本发明作进一步说明。
25.如图1所示，本发明的步骤是：
26.步骤1：建立pcb板表面缺陷数据集，将数据集按一定比例分成训练集、测试集
27.对pcb板表面缺陷图像进行缺陷分类，分为断路、短路、缺口、毛刺、针孔、露铜6类；在分类好的缺陷数据集基础上，对每类图像进行平移、旋转操作进行扩充，扩充后的数据集总数为2950，对扩充后的数据集按9：1的比例划分为训练集、测试集，训练集各pcb缺陷类别样本数如图2所示，测试集各pcb缺陷类别样本数如图3所示。
28.步骤2：对原有的resnet34网络进行改进，加入通道注意力机制和空间注意力机制，并将改进后的resnet34网络取名为resnetattention
29.为了提高网络分类准确率，在resnet34网络中引入注意力机制。注意力机制是机器学习模型嵌入的一种特殊结构，用以来自动学习和计算输入数据对输出数据的贡献大小。注意力机制运用于分类网络则表现为网络会自动重点学习输入图像的某部分特征，注意力机制分为通道注意力机制和空间注意力机制。通道注意力机制如图4所示，假设输入特征图x的大小为h
×w×
c，h、w、c分别表示输入特征图x的高、宽、通道数，通道注意力机制就可以表示为一个1
×1×
c的三维向量s，三维向量s中的每一个值代表输入特征图x对应通道的权重，经过通道注意力机制后的输出特征图y如下，输出特征图y的大小也为h
×w×
c：
30.yh×w×c＝xh×w×c*s1×1×cꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
31.空间注意力机制如图5如下：假设输入特征图x的大小为h
×w×
c，h、w、c分别表示输入特征图x的高、宽、通道数，空间注意力机制可以表示为一个h
×w×
1的三维向量g，三维向量g中的每一个值代表输入特征图x对应每一行特征的权重，经过空间注意力机制后输出特征图y如下，输出特征图y的大小也为h
×w×
c：
32.yh×w×c＝xh×w×c*gh×w×1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
33.本发明在原有的resnet34网络第一个卷积层之后和最后一个全连接层之前加入通道注意力机制和空间注意力机制，将此网络命名为resnetattention。resnetattention网络并不会改变原resnet34网络每一层的输出特征图大小。
34.步骤3：对resnetattention网络进行迁移学习，加载pascal voc开源数据集上的部分训练权重
35.迁移学习是指利用预训练的模型重新训练新的任务，对卷积神经网络而言就是加载预训练参数。pascal voc是一个开源数据集，里面包含有1000种类别的图像数据，并包含各个网络对这些图像数据训练完毕的权重系数，迁移学习过程就是使用未训练网络加载已训练完毕网络的权重系数。但是pascal voc数据集目标类别数目是1000，而resnetattention网络目标类别数目是6，所以resnetattention网络只能加载已训练完毕resnet34网络参数中部分层的参数，只有当resnetattention网络与resnet34网络对应层的参数大小相等时，resnetattention网络才能进行预加载。如下式(3)所示，表示resnetattention网络第i层的参数，大小为m
×n×
l，表示已训练完毕resnet34网络第i层的参数，大小为m1
×
n1
×
l1，如果两者大小完全相同，则进行加载，否则赋值为0。
[0036][0037]
步骤4：对进行迁移学习后的resnetattention网络使用步骤1中的训练集进行正式训练，更新resnetattention网络的各层参数
[0038]
对断路、短路、缺口、毛刺、针孔、露铜6类缺陷进行量化，分别标记为1、2、3、4、5、6，采用多分类交叉熵函数作为网络损失函数，根据网络预测值和真值的差值进行反向传播，对resnetattention网络的各层参数进行更新。将步骤1中的训练集重复放入resnetattention网络训练20次，resnetattention网络训练的损失曲线如图6所示，resnetattention网络训练的准确率曲线如图7所示。
[0039]
步骤5：训练完毕，使用步骤1中的测试集测试resnetattention网络分类性能指标，并与原resnet34网络进行对比
[0040]
对于多分类模型，主要通过混淆矩阵来评价模型分类性能的好坏。经过步骤4训练的resnetattention网络混淆矩阵如图8所示，横坐标表示测试集中各样本对应的预测类别，纵坐标表示测试集中各样本对应的真实类别。混淆矩阵中预测标签为正样本、真实标签也为正样本的类别简写为tp，预测标签为正样本、真实标签为负样本的类别简写为fp，预测标签为负样本、真实标签为正样本的类别简写为fn，预测标签为负样本、真实标签为正样本的类别简写为tn。对于多分类网络，常采用精确度(precision)、灵敏度(recall)、f1值(f1score)来评价分类模型性能的好坏。
[0041][0042][0043]
[0044]
对训练好的resnetattention网络计算各个缺陷类别的f1score值，并且以相同的方式对resnet34网络计算各个缺陷类别的f1score值，两者的对比曲线如图9所示，从图中可以明显地看出，相比原resnet34网络，增加了注意力机制并使用迁移学习预加载参数的resnetattention网络对各个缺陷类别的分类准确率有明显提升，对于断路、短路、缺口、毛刺缺陷，准确率提升了近1％；对于针孔缺陷，准确率提升了近7％；对于露铜缺陷，准确率提升了近6％。
[0045]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。