从宽度扩展网路的DCNN结构及应用该DCNN结构的图像分类算法

从宽度扩展网路的dcnn结构及应用该dcnn结构的图像分类算法
技术领域
1.本发明属于实际半导体生产中产生的晶圆图领域，具体涉及混合缺陷模式晶圆图的识别分类算法。


背景技术：

2.半导体产业作为信息化时代的核心产业，成为引领新一轮科技革命和产业变革的关键力量。半导体产业是一个高投入、高风险、高技术的行业，产业技术更新周期短，且在一个电子产品泛滥的时代，电子产品的性能是占据主导地位的。由于芯片技术需要高投入以及不断的技术更迭，半导体企业支撑其发展也更加困难，同时面对半导体产品的高需求量，加剧了芯片短缺的问题。
3.晶圆作为制造半导体芯片的关键性材料，是半导体产品的基础。晶圆制作过程尤其复杂，极其容易造成晶圆缺陷。在晶圆测试阶段，通过对晶圆进行针测和标记，可以得到有一定空间图案的晶圆图，对晶圆图的空间图案进行分析，可以找出生产过程中导致晶圆产生缺陷的原因，从而提高生产良率。
4.机器学习的方法已经广泛应用于各个领域，尤其是卷积神经网络(cnn，convolutional neural network)结构的出现，在提高图像分类准确率方面提升了一个档次。面对cnn如此高的准确率，如何改进cnn模型提升准确率成为了新的热点问题。经过多位学者的研究发现，增加cnn网络结构的深度可以再次提升分类准确率，因此出现了许多深度卷积神经网络(dcnn，deep convolutional neural network)结构。但是，不断的加深dcnn结构会容易出现过拟合等问题，并不能改善网络的结构性能，且dcnn提取的特征有限。
5.对混合缺陷模式晶圆图的研究主要分为两大类，第一类方法是结合聚类方法对晶圆图进行滤波去噪，再结合传统分类方法对晶圆图分类。这类方法只是应用到少量的混合缺陷模式晶圆图上，对于大规模的混合缺陷模式晶圆图数据无法有效处理。第二类方法是利用深度学习的方法，通过加深卷积神经网络的结构对晶圆图原图进行分类。这类方法可以妥善解决大规模数据问题，但是不断的加深dcnn结构会容易出现过拟合等问题，并不能改善网络的结构性能，且dcnn提取的特征有限，混合缺陷模式晶圆图识别分类的准确率也难以进一步提高。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本发明的目的在于提供两种从宽度扩展网络的dcnn结构，从多条路径获取晶圆图特征，以实现对混合缺陷模式晶圆图数据集的高准确率识别分类。
7.为实现上述目的及其他相关目的，本发明提供了一种同尺度多路径dcnn结构，和一种多尺度多路径dcnn结构。
8.本发明采用的技术方案为：从宽度扩展网路的dcnn结构，采用具备若干支路网络
的dcnn结构，且最后的全连接层可以连接多个卷积层的参数。
9.进一步的，所述dcnn结构具备以下结构中的一种：1）同尺度多路径ssmp-dcnn结构：即支路路径网络参数设置与主路路径网络的参数一致，该结构扩展出其他路径，不增加网络层；2）多尺度多路径msmp-dcnn结构：即不同的路径上设置不同的网络参数，该结构扩展出其他路径，增加设置不同滤波参数的网络层，采用不同滤波尺寸获取不同尺度的特征。
10.进一步的，采用1）结构时，形成以下设置形式：以一条包含若干个卷积块的路径作为主路径，然后通过全连接层连接不同位置的卷积层作为旁路路径，最后连接到新的全连接层。
11.进一步的，具体的采用以下结构形式：a)采用间隔至少一个卷积块的方式连接到全连接层的方式；b)采用所有卷积层通过全连接层连接到新的全连接层的方式。
12.进一步的，采用2）结构时，包括若干路径，形成以下结构形式：c)路径采用卷积块递减的连接方式；d)路径采用卷积块等差逐一递减直至剩一层卷积层的连接方式。
13.一种图像分类算法，应用所述的dcnn结构进行处理。
14.本发明从增加dcnn模型宽度的角度出发，提出多路径dcnn (mp-dcnn，multi path
ꢀ‑ꢀ
dcnn) 模型，通过扩展网络的宽度，获取更丰富的网络特征，提升网络的分类性能。经过网络层不断细化特征，晶圆图的部分特征会存在丢失的情况，从不同的卷积层获取的晶圆图特征，存在相互补充的作用，使得最终的晶圆图特征更加完整。多路径dcnn是在原有的dcnn结构的基础上，增加支路网络，使最后的全连接层可以连接多个卷积层的参数，从而获得更多的图像信息，丰富网络学习的细节特征，提升dcnn网络的性能。
附图说明
15.为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明；应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。
16.图1为多路径dcnn结构构建方式。
17.图2为三种ssmp-dcnn结构。
18.图3为三种msmp-dcnn结构。
19.图4为单一缺陷模式晶圆图。
20.图5为混合缺陷模式晶圆图。
21.图6为ssmp-dcnn与可变卷积分类结果对比。
22.图7为msmp-dcnn模型和ssmp-dcnn模型分类结果对比。
23.图8为原图和六种mp-dcnn模型特征可视化。
具体实施方式
24.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
25.需要说明的是，以下实施例中所提供的方法仅以示意方式说明本发明的基本构想。
26.扩展网络宽度存在以下两种情况：一是支路路径网络参数设置与主路路径网络的参数一致，称之为同尺度多路径dcnn (ssmp-dcnn, same scale multi path
ꢀ‑ꢀ
dcnn)结构。该结构扩展出其他路径，但不增加网络层，可以减少网络层增加造成的训练时间加长。
27.二是在不同的路径上设置不同的网络参数，称之为多尺度多路径dcnn(msmp-dcnn, multi scale multi path
ꢀ‑ꢀ
dcnn)结构。该结构扩展出其他路径，增加设置不同滤波参数的网络层，采用不同滤波尺寸可以获取不同尺度的特征，使获取的特征能更完整的描述输入晶圆图图像。
28.如图1所示，本发明提出一种从扩展网络宽度的角度出发的多路径dcnn结构，一种为同尺度多路径dcnn结构，如图1(a)所示，一种是多尺度多路径dcnn结构，如图1(b)所示。
29.基于图1(a)的多路径网络结构的思想，设计了三种不同的ssmp-dcnn结构，如图2所示。图2的三种ssmp-dcnn结构以一条包含5个卷积块的路径作为主路径，然后通过全连接层连接不同位置的卷积层作为旁路路径，最后连接到新的全连接层(fc，full connected layer)，图2(a)为fc13-ssmp-dcnn从第一个卷积层和第三个卷积层连接到fc，图2(b)为fc24-ssmp-dcnn从第二个卷积层和第四个卷积层连接到fc，图2(c)为fc5-ssmp-dcnn，采用五条路径，将所有的卷积层通过全连接层连接到fc。图2(a)(b)采用间隔一个卷积块的方式进行连接，使得从不同卷积层获取的特征差异性更大，更容易获得互补的特征，图2(c)则直接获取主路径所有卷积层的特征。
30.图2中三种ssmp-dcnn结构主路径和所有的网络参数设置是一致的，区别在于旁路路径连接卷积层的位置不同。在主路径中包含了5个卷积块，池化层是降采样层，会使得特征图越来越小，因此设置滤波参数为3
×
3，可以学习更加细节的特征，同时防止出现特征图的大小变为1
×
1时，还存在需要降采样的情况。
31.基于图1(b)的多路径网络结构的思想，设计了三种不同的msmp-dcnn结构，如图3所示。
32.图3的三种msmp-dcnn结构以一条包含5个卷积块的路径作为主路径，旁路通过设置不同的网络层数和不同的参数，实现多尺度多路径结构。图3(a)为conv13-msmp-dcnn，除主路径外，一条旁路路径使用两个卷积块和一层卷积层，共三层卷积层，另一条旁路路径只使用1个卷积层。图3(b)为conv24-msmp-dcnn，一条旁路路径使用三个卷积块和一层卷积层，共四层卷积层，另一条旁路使用一个卷积块和一层卷积层，共两层卷积层。图3(a)(b)采用相差一个卷积块的方式进行连接，使得从不同卷积层获取的特征差异性更大，更容易获得互补的特征，图3(c)为conv5-msmp-dcnn，采用卷积块递减的方式，共5条路径，五个卷积块递减至剩一层卷积层。
33.图3中msmp-dcnn结构主路径和所有的网络参数设置与三种ssmp-dcnn结构的参数设置是一致的，而在旁路的参数设置中，设置了不同的滤波尺寸，具体参数设置见表1。
34.主路径中包含了5个卷积块，池化层是降采样层，会使得特征图越来越小，因此设置滤波参数为3
×
3，防止出现特征图的大小变为1
×
1时，还存在需要降采样的情况。随着路径的网络层数减少，滤波参数增大，分别是5
×
5、7
×
7、9
×
9、11
×
11，使用不同尺寸的参数，获取图像不同程度的特征，全面获取输入晶圆图图像的特征。
35.表1 三种msmp-dcnn的网络参数实验结果与分析一、实验数据和分类指标1、实验数据wang junliang等人从wm-811k中筛选出了29种混合缺陷模式晶圆图，针对分布不均匀的晶圆图类型进行了数据扩充，并提供作为公用晶圆图数据集mixwm38。mixwm38数据集包含38种类型的晶圆图数据，其中单一缺陷模式晶圆图有9种，如图4所示，混合缺陷模式晶圆图有29种，如图5所示(其中c、d、el、er、l、s分别为center、donut、edge-loc、edge-ring、loc、scratch类型的缩写)。该数据集的所有晶圆图大小为52
×
52。
36.2、分类指标分类测试实验中，分类的预测标签与实际标签存在四种关系tp、fp、tn、fn，见表4。常用的分类指标accuracy、precision、recall、f1score是依据这四种关系而建立的，分类指标的表达式如式(3-1)(3-2)(3-3)(3-4)所示。
37.表4 真实标签与预测标签的四种关系真实标签与预测标签的四种关系
ꢀꢀ
(3-1)
ꢀꢀꢀꢀꢀꢀ
(3-2)
ꢀꢀꢀꢀ
(3-3)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3-4)accuracy是总体准确率，表示所有预测标签与实际标签一致的样本数量在所有输入样本数量中的占比。precision是精确率，表示某一类样本中，预测标签与实际标签一致的样本数量在预测为该类样本中的占比。recall是召回率，表示某一类样本中，预测标签与实际标签一致的样本数量在这一类样本中的占比。f1score是precision和recall两个指标的综合。
38.二、同尺度多路径dcnn模型分类结果对比将混合缺陷模式晶圆图数据集mixwm38中80%的数据划分为训练集，20%的数据划分为测试集，然后采用图2所示的三种同尺度多路径dcnn(ssmp-dcnn)结构对训练集数据进行训练，训练好模型后，对测试集数据进行测试。为了证明ssmp-dcnn模型的有效性，本文从accuracy、precision、recall三个方面对比了可变卷积模型，其中a、p、r分别表示accuracy、precision、recall，avg为平均值，std表示各列数据的标准差。从三种ssmp-dcnn模型与可变卷积的对比中可以看出，在三种ssmp-dcnn模型在可变卷积表现较差的个别类型中分类准确率略有降低，但是大部分类型的分类效果有显著提升。从整体的分类accuracy、precision、recall指标来看，ssmp-dcnn模型分类效果较好，从标准差比较来看，ssmp-dcnn模型的accuracy、precision标准差较小，数据较稳定，可变卷积recall的标准差较低，但平均值低于三种ssmp-dcnn模型。将ssmp-dcnn模型的accuracy、precision、recall的平均值与可变卷积进行对比结果如图6所示。
39.三、多尺度多路径dcnn模型分类结果对比采用图3所示的三种多尺度多路径dcnn(msmp-dcnn)结构对训练集数据训练晶圆图分类模型，对晶圆图测试集数据进行测试。本小节从accuracy、precision、recall、f1score四个方面与ssmp-dcnn模型进行对比。
40.从msmp-dcnn模型的accuracy、precision、recall、f1score四个指标在个别类型的分类效果略有降低，大部分类型的分类效果都有提升；整体分类效果与ssmp-dcnn模型的各项指标相比存在优势；accuracy、precision、recall的标准差相对于ssmp-dcnn模型也较低，各类型分类效果较稳定。将ssmp-dcnn模型和msmp-dcnn模型的accuracy、precision、recall、f1score四个指标进行对比。
41.从图7中可以看出，三种不同的msmp-dcnn结构的总体准确率accuracy和各类型precision、recall、f1score的平均值都要高于三种ssmp-dcnn结构，由此可证明，多尺度dcnn结构较同尺度dcnn结构，可获得更有效的特征以及更优的分类性能。可知采用多尺度dcnn结构相比同尺度dcnn结构增加了网络层，导致网络训练时间也增加。但是conv13-msmp-dcnn网络增加的时间较短，分类效果有较大的提升，另外两种msmp-dcnn结构分类效果有增加，但训练时间也较长。
42.三种不同的msmp-dcnn结构之间相互对比效果与ssmp-dcnn的三种结构呈现了相似的情况，并不是采用的路径越多，分类效果越优，路径越多反而容易增加模型需要训练的参数，降低网络模型训练速度。同样是采用3条路径且每条路径相差一层卷积层的特征的conv13-msmp-dcnn结构获得了更优的性能。
43.四、tsne图
从上述模型之间分类准确率的对比来看，训练模型的优劣以及准确率的高低与全连接层获取的特征有很大的关系，t-sne(t-distributed stochastic neighbor embedding)是一种可以将高维数据降到二维或三维的降维技术，从而使高维数据可视化，便于观察和分析。对原图和六种mp-dcnn模型的全连接层导出的特征进行可视化，如图8所示，图8(a)为原图特征，图8(b)(c)(d)分别为三种ssmp-dcnn模型的特征，图8(e)(f)(g)分别为三种msmp-dcnn模型的特征。