一种基于生成对抗网络和计算全息的芯片缺陷检测方法

1.本发明涉及芯片缺陷检测技术领域，尤其涉及一种基于生成对抗网络和计算全息的芯片缺陷检测方法。


背景技术：

2.随着军工、航天等各种高精尖领域的快速发展，对高质量、高可靠的芯片需求更加迫切。由此出厂芯片的二次筛选显得格外重要。二次筛选中芯片电性能等测试是芯片质量保证的必要前提，同时芯片外观缺陷如芯片的打标、表面完整性、芯片引脚、芯片尺寸等的检测也对芯片的可靠性起着很大的影响。目前芯片的第三方筛选厂家在芯片的外观缺陷检测领域仍然采用传统的人工目测的方式，需要大量人力物力，检测成本高，检测精度低，漏检误检率高。针对人工检测的缺点，运用机器视觉检测的方法逐步推广，同时随着人工智能的发展，将深度学习的方式与机器视觉相融合促进检测方式更加智能化。
3.现有的基于深度学习的芯片缺陷检测技术，普遍采用监督学习的方式，需要大量人工标注设定标签来训练神经网络。同时，微型化芯片在实现精确的尺寸测量和外观检测时需要3d建模和成像，而当前成像技术并不完善。现有芯片缺陷检测技术存在成像困难、检测速度慢、检测准确率低及泛化能力弱的问题。
4.因此，本技术提出了基于生成对抗网络和计算全息的芯片缺陷检测方法来解决以上问题。


技术实现要素：

5.本发明实施例的目的在于提供基于生成对抗网络和计算全息的芯片缺陷检测方法，旨在解决背景技术中确定的现有技术存在的技术问题。
6.本发明实施例是这样实现的，一种基于生成对抗网络和计算全息的芯片缺陷检测方法，包括以下步骤：
7.采集无缺陷芯片的物光波振幅与相位信息，对所得数据进行处理得到条纹排序图集，然后经过灰度值编码形成灰度计算全息图集；
8.将所述灰度计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集，验证芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中是否对应；
9.当芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中为对应时，以灰度计算全息图集训练gan网络；
10.将待测芯片灰度计算全息图输入至训练好的gan网络，输出检测结果。
11.作为本发明进一步的方案：采集无缺陷芯片的物光波振幅与相位信息，对所得数据进行处理得到条纹排序图集，然后经过灰度值编码形成灰度计算全息图集的步骤，具体包括：
12.通过扫描仪采集芯片的物光波振幅与相位信息；
13.对所得数据进行抽样定理离散化，然后通过迭代傅里叶变换算法和补偿算法形成条纹排序图集；
14.对所述排序图集进行灰度值编码得到灰度计算全息图集。
15.作为本发明再进一步的方案：所述将所述灰度计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集的步骤，具体包括：
16.根据所述灰度计算全息图集，通过计算机绘图仪和精密照相机在底板光屏上制成尺寸符合要求的计算全息图集；
17.将所述计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集。
18.作为本发明再进一步的方案：所述以灰度计算全息图集训练gan网络的步骤，具体包括：
19.输入所述灰度计算全息图集的真实分布x作为训练集，gan网络的生成器生成合成计算全息图的重建分布
20.比较损失函数l与阈值ε的大小；
21.当所述l＞ε1时，舍弃所述合成计算全息图集的重建分布当所述l＜ε1时，将所述合成计算全息图集的重建分布合并至训练集中，以扩大训练集中的样本数量；
22.定义对抗损失函数：
[0023][0024]
其中，式中第一项为gan网络的分类器判别真实分布和重建分布的差值项，第二项为引进的梯度惩罚项，λ为参数，当所述对抗损失函数大于设定的阈值w时，gan网络训练结束，gan网络参数固定，模式分类识别固定。
[0025]
作为本发明再进一步的方案：所述将所述灰度计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集的步骤之后，还执行：
[0026]
验证芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中是否对应，当芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中为对应时，以灰度计算全息图训练gan网络。
[0027]
作为本发明再进一步的方案：所述将待测芯片灰度计算全息图输入至训练好的gan网络，输出检测结果的步骤，具体包括：
[0028]
输入待测芯片灰度计算全息图的真实分布x1，gan网络的生成器生成重建分布
[0029]
分类器比较重建分布与标准芯片样本分布y的关系；
[0030]
当损失函数l大于阈值ε2时，待测芯片存在缺陷并根据模式分类识别输出待测芯片表面缺陷类型，当损失函数l小于阈值ε2时，待测芯片的待测信息均在误差范围内，结束测试。
[0031]
与现有技术相比，本发明的有益效果是：不同于传统光学衍射再现过程，通过计算
全息技术代替了用光学设备实地记录，不但解决了微型化芯片3d建模和成像问题，而且降低光学过程中的环境因素影响和实际成本。同时使用gan网络结构学习模型分布变化的空间特征信息，使得芯片检测不需要人工标签，且具有较快的检测速度；同时，本发明使用gan生成合成图像，并将其与真实图像集叠加形成大量的训练数据集，提高芯片缺陷检测的准确性和泛化能力。
附图说明
[0032]
图1为一种基于生成对抗网络和计算全息的芯片缺陷检测方法的流程图。
[0033]
图2为gan网络训练的流程图。
[0034]
图3为gan网络测试的流程图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036]
以下结合具体实施例对本发明的具体实现进行详细描述。
[0037]
如图1所示，为本发明一个实施例提供的一种基于生成对抗网络和计算全息的芯片缺陷检测方法，包括以下步骤：
[0038]
s100，采集无缺陷芯片的物光波振幅与相位信息，对所得数据进行处理得到条纹排序图集，然后经过灰度值编码形成灰度计算全息图集。
[0039]
本实施例中，具体的来说，通过扫描仪采集芯片的物光波振幅与相位信息，然后对所得数据进行抽样定理离散化，然后通过迭代傅里叶变换算法和相关的补偿算法形成条纹排序图集，再对所述排序图集进行灰度值编码得到灰度计算全息图集。
[0040]
s200，将所述灰度计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集，验证芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中是否对应。
[0041]
本发明实施例中，验证是否对应的问题，目的在于判定灰度计算全息图颜色变化程度与发生变化的位置和芯片本身管脚异常或表面缺陷发生的形变与位置是否在合理误差范围内，以保证后续的模型训练等的准确性。
[0042]
本发明实施例中，该步骤的目的在于验证灰度计算全息图集的准确性，使得输入网络的训练图像集在允许的误差范围内，例如允许误差为
±
0.5％，否则错误的输入对于网络而言其将无法学习到准确的数学分布特征，那网络训练和待测阶段将毫无意义。由于所研究的芯片是微小型的，而重建全息投影图像调整尺寸大小即可更加方便准确的观察到待测信息。例如具体在于验证灰度计算全息图颜色深浅及其位置是否与重建全息投影图待测管脚长短及其管脚编号对应。
[0043]
有必要说明的是，此处对比灰度计算全息图集和重建全息投影图集验来确认准确性。此描述只是结果描述，其中重建全息图可调整大小，容易度量芯片的待测信息；而灰度计算全息图集作为gan网络的输入，需要训练集先验过程(即上述对应验证过程)来确保模型的可靠性。
[0044]
具体验证过程涉及了a.芯片物光波、b.计算全息图、c.灰度计算全息图、d计算全息图、e.重建全息投影，以及e到c的负反馈(验证过程)。其中a到e过程中存在计算损失、图形损失以及光路损失，本验证过程主要考虑由于总损失过大而导致输出结果不匹配的情况。但是实际应用时，毕竟重建全息投影图像集是根据灰度计算全息图集得到的，那么当灰度计算全息图集不准确时，得到的重建全息投影图像集也必然是不准确的，此处可以通过对比计算b、d以及对比c、e两次对比过程进行准确验证。也可以进行三次对比(a对应b、b对应d且c对应e)进行准确验证。
[0045]
s300，当芯片管脚和表面区域位置在重建全息投影图像与灰度计算全息图中为对应时，以灰度计算全息图集训练gan网络。
[0046]
s400，将待测芯片灰度计算全息图输入至训练好的gan网络，输出检测结果。
[0047]
本发明实施例不同于传统光学衍射再现过程，通过计算全息技术代替了用光学设备实地记录，不但解决了微型化芯片3d建模和成像问题，而且降低光学过程中的环境因素影响和实际成本。同时使用gan网络结构学习模型分布变化的空间特征信息，使得芯片检测不需要人工标签，且具有较快的检测速度。
[0048]
作为本发明一个优选的实施例，所述将所述灰度计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集的步骤，具体包括：
[0049]
s201，根据所述灰度计算全息图集，通过计算机绘图仪和精密照相机在底板光屏上制成尺寸符合要求的计算全息图集。
[0050]
s202，将所述计算全息图集加载在空间光调制器内并放置在符合设定要求的光路中，通过光衍射作用生成动态的重建全息投影图像集。
[0051]
本发明实施例中，计算全息图集包含了物体的三维特征信息，从灰度计算全息图集来看，颜色深度及发生变化的位置反映了芯片发生形变的程度和位置。但是其是在计算机中完成的，因此该成像系统的物面是虚拟的，所以需要使用计算机绘图仪和精密照相机在空间光调制器(slm)底板光屏上制成尺寸合适的计算全息图集，通过和参考光共轭的光衍射再现，得到重建三维图像，即与原物体特征相同的立体像。
[0052]
如图2所示，作为本发明另一个优选的实施例，所述以灰度计算全息图集训练gan网络的步骤，具体包括：
[0053]
s301，输入所述灰度计算全息图集的真实分布x作为训练集，gan网络的生成器生成合成计算全息图集的重建分布
[0054]
生成对抗网络gan包括两个网络且两者为互相博弈对抗的目标。第一个是分类器(d)，用来分辨是否是真实数据还是虚假数据；第二个是生成器(g)，生成类似于真实样本的随机样本。
[0055]
在gan网络训练阶段中，生成器g的目标是产生非常接近真实数据集的伪造数据来欺骗d，做法是输入灰度计算全息图集的真实分布x，经过gencoder(x)将其降维为潜在空间特征向量z，z经过gdecoder(z)加入训练数据潜在元素特征进行组合，生成一个重构分布，即分类器(d)会接收真数据和生成器(g)产生的假数据，它的任务是判断数据为真还是假。对于最后输出的结果，可以同时对两方的参数进行调优，训练两者达到一个纳什均衡的
状态。理想状态下真实分布x与重构分布无异，最终得到合适的生成对抗网络网络结构。此过程可以扩大训练数据集，提高芯片缺陷检测的泛化能力和准确性。此处，扩大的训练集描述为：
[0056][0057]
其中，α为系数，其取值范围为(0,1)。
[0058]
s302，比较损失函数l与阈值ε1的大小。
[0059]
本发明实施例中，损失函数l为真实分布x与重构分布的差异。
[0060]
具体的，首先定义重建损失函数l
rec
和分类器判断图像分布差异l
d
：
[0061][0062][0063]
l＝l
rec
+λ
d
l
d
；
[0064]
其中l
rec
描述了图像分布差异，l
d
描述了分类器判断图像分布差异，损失函数l描述了图像分布差异与分类器判断图像分布差异的特征和。设置阈值为ε1。
[0065]
s303，当所述l＞ε1时，舍弃所述合成计算全息图的重建分布当所述l＜ε1时，将所述合成计算全息图的重建分布合并至训练集中，以扩大训练集中的样本数量，此过程可以扩大训练数据集，提高芯片缺陷检测的泛化能力和准确性。
[0066]
s304，定义对抗损失函数：
[0067][0068]
其中，式中第一项为gan网络的分类器判别真实分布和重建分布的差值项，第二项为引进的梯度惩罚项，其依据wgan
‑
gp算法，为了避免梯度消失的问题，将其限制幅度设置为k，优化结果以范数描述并限制数值在1附近并引进相关参数，其达到了稳定模型梯度的效果，λ为权重参数，其核心是调整权参来限制重构分布梯度的l2范数在1附近，权重参数在不同模型中数值不同，由大量训练基础拟合所需要的误差范围内结果而决定。由于原始gan网络存在模型崩溃问题，即生成器g在学习数据分布的多元化信息容易陷进其中某一项分布并无限循环，从而忽略数据分布的多样性。引入wasserstein距离(w距离)的wgan模型解决多样性问题，同时，通过设置梯度惩罚项解决lipschitz限制问题。其解决了gan网络的模型崩溃问题与lipschitz限制问题，在训练过程中最小化第一项并调整λ参数得到合适的gan网络模型。并根据计算全息图颜色深浅及对应位置完成模式识别，其所包含的模式分类由芯片待测数据决定(例如m类芯片待测管脚1
‑
20，待测表面区域a
‑
d，共计24种模式)。
[0069]
s305，当所述对抗损失函数大于设定的阈值w时，gan网络训练结束，gan网络参数固定，模式分类识别固定。
[0070]
如图3所示，作为本发明另一个优选的实施例，所述将待测芯片灰度计算全息图输
入至训练好的gan网络，输出检测结果的步骤，具体包括：
[0071]
s401，输入待测芯片灰度计算全息图的真实分布x1，gan网络的生成器生成重建分布
[0072]
s402，分类器比较重建分布与标准芯片样本分布y的关系。
[0073]
损失函数l为标准芯片样本分布y与重构分布的差异，此处的标准芯片样本分布y，即在训练阶段，输入分布x为误差允许范围内芯片灰度计算全息图集的某一分布；测试阶段，标准芯片样本分布y是指待测信息完全符合标准的芯片灰度计算全息图分布。例如，m芯片管脚1允许范围为20
±
1mm，x可以为管脚1长度为19.5mm的芯片灰度计算全息图分布，而y为标准20mm的芯片灰度计算全息图分布。
[0074]
具体的，首先定义重建损失函数l
rec
和分类器判断图像分布差异l
d
：
[0075][0076][0077]
l＝l
rec
+λ
d
l
d
；
[0078]
其中l
rec
描述了图像分布差异，l
d
描述了分类器判断图像分布差异，损失函数l描述了图像分布差异与分类器判断图像分布差异的特征和。
[0079]
s403，当损失函数l大于阈值ε2时，待测芯片存在缺陷并根据模式分类识别输出待测芯片表面缺陷类型，当损失函数l小于阈值ε2时，待测芯片的待测信息均在误差范围内，结束测试。
[0080]
有必要说明的是，ε2和ε1所代表的意义均是阈值，两者的具体数值可以依靠已有的先验知识进行确定，其在现有gan网络训练等过程中均有公开，本实施例不对两者进行多余的叙述。
[0081]
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0082]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。