半导体芯片结构缺陷检测方法与流程

1.本发明属于半导体缺陷检测与图像处理技术领域，具体涉及一种半导体芯片结构缺陷检测方法。


背景技术：

2.随着大数据、物联网、云计算、自动驾驶技术的飞速发展，同时全球消费电子市场的需求也在不断提高，这对半导体的产能带来了极大的挑战。但是由于高端半导体芯片的工艺的复杂程度高，因此生产良率并不高。尽管目前市面上已经存在一些针对半导体表面缺陷的检测方案，但是还存在检测效率低，检测精度低等问题，并且针对缺陷的检测范围较窄，能覆盖的产品种类也有很大的局限性。因此，为了提高半导体芯片的生产效率和出货良率，更加高效的、高精度、通用的自动化检测方案就显得尤为重要。
3.目前，在芯片外观检测领域，主要可以分为两大方向：表面缺陷和结构缺陷。表面缺陷包括脏污、划伤、异物、水渍、氧化等类别；结构缺陷包括过蚀、毛刺、连脚、断筋、缺损等类别。而结构缺陷带来的严重性往往高于表面缺陷，连脚会使得芯片短路烧毁，断筋会导致芯片断路无法使用。因此针对结构缺陷检测技术的需求程度更加迫切，并且芯片结构的多样性也给结构缺陷检测技术的通用性带来了极大的挑战。
4.近些年，得益于图像采集技术和深度学习技术的飞速发展，使得缺陷检测技术在高精密的半导体行业也大有用武之地。但是目前针对半导体芯片的缺陷检测技术任然存在一些亟待解决的问题：第一，目前的半导体缺陷检测技术，检测范围主要停留在严重程度不高的表面缺陷检测上，对高危的结构缺陷覆盖甚少；第二，目前的半导体缺陷检测技术主要采用传统图像处理算法、或者深度学习算法、或者两者的结合。但是传统图像处理算法对调参的要求高，现场工人使用门槛高，建模复杂；深度学习技术则依赖于大量的缺陷标注数据，算法迭代周期久；第三，半导体芯片属于高精密检测场景，为了提高检测精度，采集的图像尺寸会比较大。传统图像处理算法的计算复杂度会平方级增长，深度学习算法受gpu显存的限制，通常会缩小图像大小，因而小缺陷的漏检率较高。


技术实现要素：

5.本发明的目的在于提供一种半导体芯片结构缺陷检测方法，具有高检测精度、低检测延时、高通用性等优点，可以解决半导体芯片缺陷检测技术中，传统图像处理算法检测效率低、检测范围窄以及深度学习技术漏检率高等问题，提高半导体出货良率。
6.为实现上述目的，本发明提供如下技术方案：一种半导体芯片结构缺陷检测方法，其特征在于：采集无缺陷的模板图，人工选择模板图上的第一个颗粒图，并设置横向和纵向的步长，根据步长实现颗粒自动阵列，获得模板图中所有的颗粒图；人工框选颗粒图中不同检
测区域的roi，并设置每个roi的前景提取灰度值和特征类型；对roi进行分区阵列，得到模板图上的所有分区，建立分区模板；所有分区均结合对应的前景提取灰度值，提取前景mask；对前景mask进行特征提取，提取的特征生成训练数据，训练机器学习分类器模型；采集待检测图像，通过分区模板和分类器模型进行结构缺陷检测。
7.进一步地，对roi进行分区阵列时，同样采用人工设置的所述横向和纵向步长自动阵列。
8.进一步地，采用二值化运算提取前景mask。
9.进一步地，所述对前景mask进行特征提取包括：遍历所有roi，获取当前roi的特征类型；遍历特征类型，根据特征计算公式，提取模板图上所有roi内的特征。
10.进一步地，所述分类器模型包括用户选择的分类器和检测模式。
11.进一步地，所述分类器包括线性回归、逻辑回归、决策树、k近邻算法、支持向量机、随机森林。
12.进一步地，所述检测模式包括ok/ng二分类检测、异常检测。
13.进一步地，所述对训练完成的分类器模型进行准确率评估：如果准确率大于等于设定值，则认为分类器模型达到上线要求，保存模型供后续检测使用；如果准确率小于设定值，则认为分类器模型不满足上线要求，需要调整特征或者切换分类器，并重新训练。
14.进一步地，所述结构缺陷检测流程如下：a.采集待检测图像；b.通过分区模板对待检测图像进行全图分区；c.对待检测图像进行特征提取，将提取的特征组成实例级向量；d.将实例级向量输入分类器模型，对待检测图像的所有实例进行推断；e.根据推断结果，对每个颗粒进行分类。
15.进一步地，对分区模板进行平移变换，完成待检测图片的全图分区。
16.与现有技术相比，本发明的有益效果如下：（1）本发明提出的分区模板，具有一次建模，永久使用的特性。采用了传统图像特征和机器学习分类器的方法，对算力的要求大幅降低，具有更高的执行效率。本发明提出分区建模的目的是为了获得模板图对应分区内前景mask的区域特征，区域特征的计算基本的都是cpu擅长的布尔运算和线性运算，而传统的图像处理方式会进行大量的滤波（卷积）操作和梯度计算，计算量庞大，且对cpu并不友好，需要擅长并行运算的gpu才可以保证较高的执行效率。图像特征的提取可以通过cpu并行计算，分类器的训练数据维度较低，无需使用昂贵的gpu，cpu完全能够胜任。相比于需要海量算力和数据的深度学习方法，本发明提出的方法在训练时间上压缩了约100倍，并且可以基于cpu实现毫秒级别的单个实例检测速度。并且，本发明所提出的方式，模拟了人眼对缺陷的判断逻辑（面积、对比度、形状等），从多个区域特征角度出发，将复杂高维的图像特征降维到一维线性特征，并联合机器学习分类器对线性特征进行分类，从而提高了半导体结构缺陷的检测的算法效率和准确率；（2）本发明的方法融合图像特征和机器学习分类器的优势，实现了一种较为通用的半导体芯片结构缺陷的检测方案。传统机器学习分类器应用于缺陷检测领域时，分类器的输入都是原始图像，而本发明将分类器的输入修改为机器学习模型擅长的线性特征，从
而实现传统图像特征和机器学习分类器的随机组合，免去了传统图像处理算法调参的繁琐以及使用门槛的限制，用户使用的灵活性和易用性都大大提高；（3）本发明针对半导体芯片缺陷检测提出的融合图像特征和机器学习分类器的缺陷检测方案，模拟了人眼对缺陷的判断逻辑（面积、对比度、形状等），从多个区域特征角度出发，将复杂高维的图像特征降维到一维线性特征，并联合机器学习分类器对线性特征进行分类，从而提高了半导体结构缺陷的检测的算法效率和准确率，解决了普通表面缺陷检测算法对结构缺陷的检出率低的问题。在实际落地应用时发现，本发明提出的方法在保证结构缺陷高检出率的情况下同时保持了较低的过杀率，并且对于表面缺陷也有一定的检出能力。
附图说明
17.图1为本发明分区建模和批量检测的总体流程图。
18.图2为本发明分区建模中的图像采集示意图。
19.图3为本发明分区建模中的图像采集示意图。
20.图4为本发明分区建模中的图像采集示意图。
21.图5为本发明分区建模中的图像采集示意图。
22.图6为本发明特征提取过程示意图。
23.图7为本发明中真实ng样本示意图。
24.图8 为本发明中生成ng样本示意图。
具体实施方式
25.下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.如图1所示，一种半导体芯片结构缺陷检测方法，主要包括分区建模和批量检测两块内容，具体步如下。
27.一、半自动化离线分区建模。
28.由于半导体颗粒批量生产的重复性，建立一个高质量的模板对后续的自动化检测流程具有极大的作用。由于半导体芯片结构形态的多样性，为了保证分区建模的高精确度，需要人工进行简单的操作。具体的建模流程如下：（1）为了得到高质量的模板，首先需要采集一张没有缺陷的模板图，如图2所示；（2）只需手动选择模板图上的第一个颗粒图，并设置横向和纵向的步长，便可根据步长实现颗粒自动阵列，获得所有的颗粒图，如图3所示；（3）由于每种半导体颗粒的结构形态不一致，为了保证可靠性和通用性，需要人工框选不同检测区域（引脚pin、基岛island等）的roi，并设置每个roi的前景提取灰度值和特征类型。每种结构只需要设置一次即可，后续的批量检测可重复利用。会采用步骤（2）中的横向和纵向步长采用阵列法将人工设置的roi进行分区阵列（如图4所示），得到模板图上的所有分区，建立分区模板；
（4）在获得模板图上的所有分区后，结合步骤（3）中设置的前景提取灰度值，采用二值化运算即可快速完成前景mask提取，如图5所示；（5）对步骤（4）中提取到的前景mask进行特征提取。
29.从图像处理的角度出发，每种图像特征都有其适用的范围，为了兼容不同结构芯片结构，我们提供了大量的特征类型供用户选择，包括但不限于面积area、矩形度rectangularity、凸度convexity、圆度circularity、紧密度compactness、周长contlength、最大对角长度max_diameter、方向性orientation、欧拉数euler_number、最大外接圆半径outer_radius等等。
30.具体的特征提取步骤如下。
31.a.遍历人工设置的roi，获取当前roi设置的特征类型。
32.遍历特征类型，根据特征计算公式，提取模板图上所有roi内的特征。以图6特征提取流程为例，大括号左边为步骤一分区建模提取到的引脚pin和基岛island的前景mask，大括号右边是用户当前两个roi设置的特征类型。
33.根据公式（1）
‑
（5），依次计算前景mask的特征：公式1中mask代表前景区域蒙版；grayi代表蒙版区域对应的像素值，前景为1，背景为0；area代表前景区域面积；公式2中ar代表mask最小外接矩形的面积；公式3中ch代表mask凸包的面积；公式4中ac代表mask最小外接圆的面积；公式5中nc代表mask中对象的个数，nh代表mask中孔洞的个数。
34.b.获取前景mask后，存储特征，供后续流程使用：（6）训练机器学习分类器模型：为用户提供线性回归、逻辑回归、决策树、k近邻算法、支持向量机、随机森林等分类器，并支持ok/ng二分类和异常检测两种模式的选择：a.利用步骤（5）中存储的特征，生成训练数据；b.根据用户设置的分类器和检测模式，训练分类器模型：分类器默认为支持向量机（svm）,目标函数为公式（6）。支持向量机算法会根据提供的数据，通过最大化分类间距的优化算法（等价于最小化目标函数）不断迭代寻找一个超平面公式（7），可以将数据分成两类：
公式（6）中，xi是图像特征，yi是真实标签，m代表样本数量，是一个极小的正数，通常取1e
‑
6；公式（7）中wt和b代表超平面的乘项系数和偏置项系数，通过公式（6）的优化算法求得；c.检测模式默认为异常检测，会自动训练用于异常检测的机器学习分类器。若用户将检测模式设置为ok/ng二分类，则结构缺陷生成算法会根据模板图片的ok样本，生成等量的ng样本（部分示例如图7和8所示），用于二分类机器学习分类器的训练。本方案中训练样本的特征维度一般较低，由用户设置的特征类型数量决定，并且手工设置的特征具有代表性，因此分类器的训练很快就可以收敛，通常为1
‑
2分钟。相对于通常需要几小时训练的深度学习分类器，本方法提出的方法灵活性更高；d.对训练完成的分类器进行准确率评估，如果准确率大于等于设定值（如99.9%），则认为分类器模型达到上线要求，保存模型供后续批量检测使用。如果准确率小于设定值（如99.9%），则认为分类器模型不满足上线要求，需要用户调整特征或者切换分类器，并重新训练。
35.二、利用分区模板和分类器模型进行批量检测。
36.具体的检测流程如下：（1）采集待检测图像；（2）快速分区。利用分区模板，进行一次平移变换，完成待检测图片的全图分区；（3）采用多线程并行计算的方式加速待检测图的特征提取，将提取的特征组成实例级向量；（4）将实例级向量输入分类器模型，对待检测图像的所有实例进行推断；（5）根据推理结果，对每个颗粒进行分类。如果分类器模型输出的得分大于0.5，则认为当前颗粒是ok样本，反之则为ng样本。
37.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。