一种基于无监督学习的芯片缺陷检测方法及其评估方法

本发明涉及计算机视觉，具体而言是一种无监督缺陷检测方法及其评估方法。

背景技术：

1、随着集成电路制造技术的快速发展，传统封装已无法满足集成电路日益增长的需求，2.5d/3d集成与晶圆级封装等先进封装形式已是封装技术发展的主要方向，其特点是封装尺寸越来越小，金属布线宽度持续变窄。为了达到更高的芯片互连密度，互连线宽典型值由30-50μm下降至2-5μm，层间互连的凸点高度由150-600μm下降至20-40μm。随着互连线宽尺寸向微米量级发展，对金属布线的变形、裂纹、偏移等二维缺陷检测精度提出了更高的要求，任何因缺陷导致的短路、断路、虚接都会直接影响到整个芯片的质量。随着线宽尺寸降到微米级，二维缺陷的尺寸也向亚微米量级发展，同时随着连接芯片间凸点尺寸和间距的减小，因焊料变形导致的互连短路问题日益明显。为提高可靠性，对芯片缺陷检测的需求也更加迫切。然而，目前的pcb微小表面缺陷检测还存在样本量少，样本类型不平衡，缺陷具有多尺度等诸多问题。

技术实现思路

1、本发明为了克服现有技术的不足，提出一种基于无监督学习的芯片缺陷检测方法及其评估方法，以期能实现鉴别网络对不同芯片缺陷的识别与标注，从而能大幅提高芯片缺陷检测的效率和准确性。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于无监督学习的芯片缺陷检测方法的特点在于，包括如下步骤：

4、步骤1、训练数据的预处理：

5、获取有缺陷的pcb图像数据集其中，表示第t种缺陷类型的pcb图像，并将第t种缺陷类型记为et，从而由所有缺陷类型构成真实缺陷集合f＝{e1,e2,...,et,...et}；t表示图像数量；

6、获取无缺陷的pcb图像数据集i＝{i1,i2,...,it,...,it}；其中，it表示第t张无缺陷的pcb图像；

7、步骤2、搭建无监督缺陷检测网络，包括：模拟异常器φ，修复性子网θr，鉴别性子网θd，表面异常检测器ξ；

8、所述修复性子网θr和鉴别性子网θd均为编码器-解码器的结构；

9、所述修复性子网θr中的编码器由c1个卷积核为a1×a1的卷积层以及一个维度为b1×b1的最大池化层组成；

10、所述修复性子网θr中的解码器由c2个卷积核为a2×a2的卷积层以及一个维度为b2×b2的最大池化层组成；

11、所述鉴别性子网θd中的编码器由c3个卷积核为a3×a3的卷积层以及一个维度为b3×b3的最大池化层组成；

12、所述鉴别性子网θd中的解码器由c4个卷积核为a4×a4的卷积层以及一个维度为b4×b4的最大池化层组成；

13、所述编码器和解码器之间通过跳跃链接进行连接；

14、步骤3、无监督缺陷检测网络的训练：

15、步骤3.1、所述模拟异常器φ的处理：

16、步骤3.1.1、从真实缺陷集合f中随机选择若干种缺陷并叠加在第t张无缺陷pcb板图像it上，形成第t张包含若干种缺陷的图像mt；

17、步骤3.1.2、对mt进行二值化处理后，得到缺陷掩膜ma,t；

18、步骤3.1.3、利用式(1)生成第t张包含若干种缺陷的pcb图像ia,t：

19、

20、式(1)中，是ma,t的像素值取反操作；

21、步骤3.2、所述修复性子网θr重建无缺陷图像；

22、步骤3.2.1、所述修复性子网θr对ia,t进行重建处理，输出第t张重建后的无缺陷pcb图像ir,t；

23、步骤3.2.2、基于ir,t与it，构建修复性子网θr的均方误差损失lmse(it,ir,t)；

24、步骤3.2.3、基于ir,t与it，利用式(2)构建修复性子网θr的结构相似性损失函数lssim(it,ir,t)：

25、

26、式(2)中，μ和μr分别是it和ir,t的加权均值，σ是it的方差，σr是ir,t的方差，是it和ir,t的协方差；c1和c2表示两个常数；

27、步骤3.2.4、利用式(3)构建修复性子网θr的总损失函数lrec(ia,t,ir,t)：

28、lrec(it,ir,t)＝λlssim(it,ir,t)+lmse(it,ir,t)    (3)

29、式(3)中，λ是一个调节损失平衡的超参数；

30、步骤3.3、所述鉴别性子网θd的处理：

31、所述鉴别性子网θd包含两个输出通道m1和m2，将ir,t与ia,t相减后入到所述鉴别性子网θd中进行缺陷分割，从而由第一输出通道m1输出第t张分割图像第二输出通道m2输出第t个数据不确定度结果σt；

32、步骤3.4、所述表面异常检测器ξ利用均值滤波器对进行平滑处理后，利用式(4)得到第t个图像级异常评分ηt：

33、

34、式(4)中，fsf×sf表示维度为sf×sf的均值滤波器，*为卷积算子；

35、步骤3.5、当异常分数ηt超过像素级别阈值时，将ia,t中存在的异常位置信息进行二值化处理，得到异常掩码m0，并用于判断pcb缺陷所在的位置；

36、步骤3.6、利用式(5)构建分割损失函数lseg(ma,t,mt)：

37、lseg(ma,t,mt)＝-α(1-pt)γlog(pt)    (5)

38、其中，pt是模型的预测概率，α是每个类别的权重，γ是可调整的参数，用于控制低概率预测的影响；

39、步骤3.7、利用式(6)构建初期训练损失函数l1(it,ir,t,ma,t,mt)：

40、l1(it,ir,t,ma,t,mt)＝lrec(it,ir,t)+lseg(ma,t,mt)    (6)

41、步骤4、利用梯度下降法对所述无监督缺陷检测网络进行训练，并计算所述总损失函数l1(it,ir,t,ma,t,mt)以更新网络参数，直到初期训练损失函数l1(it,ir,t,ma,t,mt)收敛或达到最大训练次数为止，从而得到训练后的无监督缺陷检测模型，用于实现对pcb图像的缺陷检测。

42、本发明一种基于无监督学习的芯片缺陷检测的评估方法的特点在于，是按如下步骤对所述的训练后的无监督缺陷检测模型进行评估：

43、步骤5、计算不确定度结果σ；

44、步骤5.1、定义当前模型序号为j，并初始化j＝1，设置模型总个数为j；

45、以训练后的无监督缺陷检测模型作为第j个模型；并计算第j个模型对第t张分割图像的数据不确定度结果σt,j以及第j个模型对第t张分割图像预测的标签图像

46、步骤5.2、按照步骤4的过程对第j个模型进行训练，从而得到训练后的第j+1个模型；并计算第j+1个模对第t张的分割图像的数据不确定度结果σt,j+1以及预测的标签图像

47、步骤5.3、j+1赋值给j后，判断j>j是否成立，若成立，则保存训练后的j个模型及其对第t张的分割图像的数据不确定度结果{σt,1,σt,2,...,σt,j,...,σt,j}，并计算j个模型输出的标签图像的平均值否则，返回步骤5.2；

48、步骤5.4、利用式(7)计算鉴别性子络θd对第t张的分割图像的总不确定度结果σt；

49、

50、式(7)中，σt,a表示第t张的分割图像的模型不确定度，σd表示数据不确定度，并有：

51、

52、

53、步骤5.5、利用式(10)构建不确定度损失函数luc：

54、

55、步骤6、利用式(11)构建总损失函数lall(it,ir,t,ma,t,mt)：

56、lall(it,ir,t,ma,t,mt)＝lrec(it,ir,t)+lseg(ma,t,mt)+luc(ma,t,mt)    (11)

57、步骤7、利用梯度下降法对j个模型进行训练，并计算所述总损失函数lall(it,ir,t,ma,t,mt)以更新网络参数，直到总损失函数lall(it,ir,t,ma,t,mt)收敛或达到最大训练次数为止，从而得到pcb缺陷检测的评估模型，以实现对pcb缺陷检测的结果评估。

58、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

59、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述方法的步骤。

60、与已有技术相比，本发明的有益效果体现在：

61、1.本发明提出一种检测微小pcb缺陷的无监督学习方法，无需对图像进行人工标注整理，通过添加多尺度噪声模拟真实缺陷的产生，解决了pcb检测领域存在的样本量不足以及样本不均衡的问题；

62、2.本发明在pcb缺陷检测模型中引入不确定度作为检测结果的自动评价指标，对缺陷检测的结果进行可靠性定量描述；从而提高了模型的鲁棒性；

63、3.本发明改进了传统的修复子网络和鉴别子网络，并自主添加噪声模拟真实缺陷的产生，将两个网络进行级联，从而提高了检测精度和训练效率。

64、4、本发明相较于有监督学习方法，无需标注大量的芯片缺陷样本，仅需少量的无缺陷样本作为网络训练集即可实现多种类别的芯片缺陷检测。相比于现有的无监督芯片缺陷检测方法其检测精度也有较大的提升。