一种少样本环境下的半导体芯片缺陷分割方法

本发明涉及深度学习和语义分割，具体涉及一种少样本环境下的半导体芯片缺陷分割方法。

背景技术：

1、半导体芯片是电路芯片，将一定数量的半导体元器件封装在不同材料的载体中，如陶瓷、塑料、玻璃或金属，以实现特定功能。在制造和封装芯片的过程中，表面缺陷不可避免地出现，这些缺陷会降低或损害半导体元器件和集成电路的性能。因此，在半导体芯片封装制造的后续生产工序中，芯片表面的质量检测至关重要。

2、随着对半导体芯片的需求不断增加和质量标准的提高，传统的人工目视检测方法已经难以满足高速、高精度的检测需求，因为它们效率低、精度低、成本高、劳动强度大，而且标准不统一。因此，机器视觉技术逐渐成为半导体芯片缺陷检测的主要方法，因为它高效、精确、可靠、无接触且客观。传统的机器视觉检测方法基于人工设计的特征选择和模式识别算法的组合，但由于光照等因素影响，芯片表面图像常常存在问题，如缺陷与背景差异不明显、对比度低和噪声影响等。此外，由于缺陷种类繁多且缺乏足够的样本数量，传统机器视觉方法难以实现良好的检测结果。近年来，深度学习模型，特别是深度卷积神经网络，在光学检测领域发挥了关键作用。深度卷积神经网络能够自主学习芯片缺陷的特征，并进行缺陷类型的识别和定位。因此，目前亟待提出基于深度卷积神经网络的芯片缺陷检测方法。

技术实现思路

1、本发明的目的是为了解决现有技术中的上述缺陷，提供一种少样本环境下的半导体芯片缺陷分割方法。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种少样本环境下的半导体芯片缺陷分割方法，所述半导体芯片缺陷分割方法包括以下步骤：

4、s1、利用语义分割公开数据集构建同类的支持查询样本对，所述支持查询样本对包括支持集图像、支持集图像的支持掩膜、查询集图像以及查询集图像的查询掩膜，将支持查询样本对中的支持集图像、支持集图像的支持掩膜和查询集图像输入交互式分割网络，将查询集图像的查询掩膜用作监督和微调交互式分割网络；

5、s2、搭建交互式分割网络，所述交互式分割网络包括深度残差网络、前景语义重构模块、前景原型整合模块以及背景信息更新模块，其中，深度残差网络以支持查询样本对作为输入，生成支持图像和查询图像的中层融合特征、高层特征，同时生成查询粗预测分割掩膜，对支持图像的中层融合特征进行掩膜池化操作获得支持原型，对查询图像和支持图像的高层特征进行先验掩膜操作获得先验掩膜；所述前景语义重构模块将上述查询图像的中层融合特征作为输入，与前景语义重构模块中已知类及潜在类的拼接矩阵进行哈达玛积，引入对比损失函数更新拼接矩阵的权重参数，压缩查询图像中层融合特征的背景已知类及潜在类背景，提取出目标区域的查询原型；所述前景原型整合模块是将深度残差网络中获得的先验掩膜、支持原型、查询图像的中层融合特征和前景语义重构模块中获得的查询原型经过拼接卷积核操作获得前景原型；所述背景信息更新模块将上述查询粗分割掩膜、查询图像的中层融合特征、前景原型和背景信息更新模块中多层解码器生成的解码器掩膜经过反转、双线性插值及掩膜池化获得背景原型，将获得的背景原型与前景原型拼接并输出最终的分割预测结果；

6、s3、使用交互式分割网络分割半导体芯片缺陷数据集中的芯片缺陷。

7、进一步地，所述步骤s1中构建支持查询样本对的过程如下：

8、将语义分割公开数据集按类别平均分成4组，其中3组作为训练集，另外1组作为测试集，其中，训练集的训练样本对以及测试集的测试样本对都包含支持集图像和查询集图像，所述支持集图像由支持图像以及相应的支持掩膜组成，所述查询集图像由查询图像及其相应的查询掩膜组成，支持图像的支持掩膜作为先验知识，在训练过程中以查询图像的查询掩膜作为监督信息训练交互式分割网络的参数，在测试过程中查询图像的查询掩膜作为标准评估交互式分割网络的性能。

9、进一步地，所述步骤s2中搭建交互式分割网络的过程如下：

10、s2.1从训练集的单个支持查询样本对中取出大小均为h×w×3的支持图像is、查询图像iq以及对应的支持掩膜ms，将is、iq输送起到特征提取作用的预训练的深度残差网络后，输出获得图像特征，其中h为支持图像的高，w为支持图像的宽，3为支持图像的通道数，公式如下：

11、

12、其中，res()表示深度残差网络，深度残差网络采用resnet50，分别表示深度残差网络第m层的支持图像特征以及查询图像特征，h表示特征的高，w表示特征的宽，c表示特征的通道数，将深度残差网络第2层和第3层输出的支持图像特征以及查询图像特征进行拼接操作并通过一个步长为1的1×1conv(768,256)卷积核输出，分别获得支持图像的中层融合特征和查询图像的中层融合特征conv(input,output)表示卷积核，input表示输入通道数，output表示输出通道数。在训练过程中，模型应该适应任何看不见的类，因此，不能假设在训练期间学习了对应于未见类的特征。相反，应该专注于可能构成未见类共享对象部分的中间级特征，而中层融合特征富含图像的低级信息，如纹理，颜色等，适合采用训练。随后将深度残差网络第4层输出的支持图像特征fs4以及查询图像特征(经过先验掩膜操作获得先验掩膜cmask，先验掩膜操作具体实现细节参考论文z.t.tian,h.s.zhao,m.shu,z.c.yang,r.y.li,and j.y.jia,“prior guidedfeature enrichment network for few-shot segmentation”,ieee trans.patternanal.mach.intell.,vol.44,no.2,pp.1050–1065,feb.2022.先验知识有助于模型更好地识别查询集图像中的目标。由于先验生成过程是无需训练的，因此尽管在训练期间经常使用可见类的高级信息，但是生成的模型不会失去对未见过类的泛化能力。利用双线性内插将已知的支持掩膜ms的尺寸调整为h×w，利用掩膜池化操作提取支持图像的支持原型vs，指导后面查询图像前景区域的特征匹配操作，公式如下：

13、

14、

15、

16、

17、其中表示1×1卷积核，表示拼接操作，表示先验掩膜操作，“⊙”表示哈达玛积，为掩膜池化操作，将深度残差网络第4层输出的查询图像特征输入一个粗分类器生成查询粗预测分割掩膜公式如下：

18、

19、该粗分类器由一个残差块和一个分类头组成，残差块由两个3×3conv(256,256)卷积核组成，分类头由一个3×3conv(256,256)卷积核、一个relu激活函数和一个1×1conv(256,2)卷积核组成，relu激活函数定义如下：relu(z)＝max(0,z)，z是输入变量；利用查询图像的查询掩膜mq监督粗分类器的参数学习，使用的二元交叉熵辅助损失函数为：

20、

21、s2.2、前景语义重构模块将查询图像的中层融合特征与随机初始化的拼接矩阵wc作哈达玛积并剔除前景类，计算得到权重反向投影分数向量sb，衡量每个非前景类与查询图像中层融合特征之间的相关性，公式如下：

22、

23、其中为已知类集，c0,c1,…,ck分别为第0、…、第k个已知类别；为潜在类集，c0,c1,…,cl为第0、…、第l个潜在类别，cf为前景类，表示在已知类集或潜在类集的成员中不包括前景类cf，表示指示函数，该指示函数中，如果[·]内容为真，即为1，否则为0；拼接矩阵wc的大小(k+l)×d，k为已知类别数，l为潜在类别数，d为通道数，拼接矩阵wc的公式如下：

24、

25、其中wk为已知类权重矩阵，大小为k×d，wl为潜在类权重矩阵，大小为l×d，wk和wl矩阵随机初始化，表示拼接操作；

26、将深度残差网络输出的支持原型vs和已知类权重矩阵wk作哈达玛积得到前景类cf对应的预测值mpre，支持掩膜ms用作已知类权重矩阵wk的参数监督，已知类权重矩阵wk的参数学习通过使用已知类二元交叉熵损失函数lknown进行更新，公式如下：

27、mpre＝vs☉wk

28、lknown＝∑[mpre×log(ms)+(1-mpre)×log(1-ms)]

29、随后，将拼接矩阵wc和权重反向投影分数向量sb作哈达玛积⊙并进行列向求和，计算得到查询原型pq，公式如下：

30、

31、其中wc(i,:)表示拼接矩阵第i行的整个列维度，查询原型pq表示经过背景压缩后的原型；拼接矩阵wc的参数学习通过使用对比损失函数llaten进行更新，公式如下：

32、w＝wc×wct

33、

34、其中w表示互相关矩阵，wij表示互相关矩阵中第i行、第j列的索引位置对应的矩阵元素，对比损失函数llaten通过最大化互相关矩阵w的正交性约束使拼接矩阵wc中的已知类和潜在类趋向独立；

35、s2.3将查询图像的中层融合特征支持原型vs、先验掩膜cmask和s2.2中获得的查询原型pq依次经过拼接操作、一个1×1conv(512,256)卷积核和一个1×1conv(513,256)卷积核操作获得前景原型qfg，公式如下：

36、

37、其中为1×1conv卷积核；

38、s2.4背景信息更新模块将上述查询粗预测分割掩膜ycq进行反转操作获得查询背景粗预测分割掩膜公式如下：

39、

40、查询背景因尺度不一，为了准确提炼出背景信息，使用多层解码器生成的迭代计算第t层查询背景预测掩膜公式如下：

41、

42、其中表示多层解码器中的第t-1层输出的解码器掩膜，多层解码器共4层，每层均由2个1×1卷积核、5个3×3卷积核组成，多层解码器具体实现细节参考论文z.t.tian,h.s.zhao,m.shu,z.c.yang,r.y.li,and j.y.jia,“prior guided feature enrichmentnetwork for few-shot segmentation”,ieee trans.pattern anal.mach.intell.,vol.44,no.2,pp.1050-1065,feb.2022.随后将上述获得的和通过叠加池化操作生成背景原型pbg，叠加池化操作公式如下：

43、

44、其中pbg为背景原型，将，前景原型qfg和背景原型pbg输入到多层解码器并输出，公式如下：

45、

46、

47、其中和是qfg和pbg经过双线性插值获得的第t层的前景原型和背景原型，为多层解码器，表示多层解码器中的每层融合，由1个1×1卷积核构成，由一个3×3conv(256,256)卷积核、一个relu激活函数和一个1×1conv(256,2)卷积核组成，yfinal表示查询图像的预测分割结果。

48、进一步地，所述半导体芯片缺陷分割方法还包括交互式分割网络的训练，训练过程中采用损失函数loss包括最终的预测分割损失函数lfinal、多层解码器输出损失函数lmulti、辅助损失函数laux、类二元交叉熵损失函数lknown和对比损失函数llaten，公式如下：

49、loss＝αlfinal+βlmulti+γlaux+δ(lknown+llaten)

50、lfinal＝∑[yfinal×log(mq)+(1-yfinal)*log(1-mq)]

51、lmulti＝∑[yout×log(mq)+(1-yout)*log(1-mq)]

52、其中α为调节最终预测分割的调节参数，β为多层解码器每层输出损失的调节参数，γ为粗预测分割损失的调节参数，δ为压缩背景信息提取查询原型的调节参数。

53、进一步地，调节参数α、β、γ和δ分别设置成1.0、0.7、1.0、1.0。

54、进一步地，所述步骤s3使用交互式分割网络分割半导体芯片缺陷，过程如下：

55、s3.1、选择一类半导体芯片缺陷数据集；

56、s3.2、选择其中一张图像作为支持集图像is，支持集图像的掩码由人工标注，记为ms，剩余图像作为查询集图像；

57、s3.3、选择一张查询集图像iq，将is、ms和iq输入到交互式分割网络，输出查询集图像的缺陷分割结果；

58、s3.4、重复步骤s3.3，输出所有查询集图像的分割结果；

59、s3.5、重复步骤s3.1～s3.4共ni次，输出所有类别的半导体芯片缺陷图像分割结果，其中ni表示半导体芯片缺陷的类别数。

60、本发明相对于现有技术具有如下的优点及效果：

61、(1)本发明基于公开数据集pascal，通过在公开数据集上进行训练将训练集中学到的参数迁移到训练集中未出现的测试集中，省下了数据标注的人力和时间从成本，完成少样本环境下的知识迁移过程，能够有效地处理深度学习泛化性能退化的问题。

62、(2)本发明提出了一个前景语义重构模块，引入对比损失函数压缩查询图像中层融合特征的背景已知类及潜在类，从而重构出目标区域更明显的查询原型。

63、(3)本发明提出一个背景信息更新模块，利用前景原型提取获得的查询粗预测分割掩膜，生成图像的背景原型，再对背景迭代原型迭代优化，能够有效识别出图像的背景区域。

64、(4)本发明将前景原型、背景原型以及查询特征整合输入到解码器生成预测掩膜，能较好地分割出图像的目标区域。