基于阵列分布信息引导的晶圆晶粒检测方法与流程

本发明涉及基于阵列分布信息引导的晶圆晶粒检测方法，属于数字图像处理。

背景技术：

1、晶圆作为高精密电子产品，对生产质量把控十分严格，在晶圆生产的不同工艺流程之间会产生各种缺陷，需要及时对晶粒进行电气测试和外观检查。在晶圆缺陷检测之前需要对晶粒进行测试分选工作，不仅可以有效指导晶圆检测流程，提升检测的速度，节约检测成本，还可以帮助工程师跟踪生产，提升良品率。晶圆图像具有以下3个特点：1、晶圆呈现的结构十分复杂且表面形貌多样；2、晶粒阵列化密集排布；3、晶圆图像分辨率高但晶粒很小。这些特点严重影响晶粒检测，因此对晶圆图像中的晶粒进行检测具有挑战性且意义重大，对半导体检测行业具有较高的研究应用价值。

2、早期针对晶圆图像的晶粒检测，传统机器视觉方法一般提取晶圆表面几何特征来间接检测晶粒。“xu s, cheng z, gao y, et al. visual wafer dies counting usinggeometrical characteristics [j]. iet image processing, 2014, 8(5): 280-8.”使用ransac算法以及“chang h-t, pan r-j, peng h-w. number determination ofsuccessfully packaged dies per wafer based on machine vision [j]. machines,2015, 3(2): 72-92.”使用灰度投影法来获取晶切割线的行列信息，间接对晶粒进行检测计数。这类方法依赖于图片的灰度信息进行几何特征的提取，低比度区域难以有效提取特征，容易缺失晶粒。利用模板匹配直接对晶粒检测计数是另一种有效的技术，“chen f, yex, yin s, et al. automated vision positioning system for dicing semiconductorchips using improved template matching method [j]. the international journalof advanced manufacturing technology, 2019, 100(9-12): 2669-78.”使用金字塔分层搜索策略，提高晶粒特征图像的匹配速度，再使用多项式拟合获得亚像素的定位精度，为晶圆切割工艺提供了高效高精度的定位技术，“李鹤喜, 韩新乐, 杨铁牛. 基于频域互相关的led晶粒阵列快速视觉检测 [j]. 计量学报, 2018, 39(04): 476-80.”设计一种基于域互相关的快速模板匹配算法进行led晶粒的快速视觉检测。“yang j, xu y, rong h-j,et al. a method for wafer defect detection using spatial feature pointsguided affine iterative closest point algorithm [j]. ieee access, 2020, 8:79056-68.”设计基于空间特征点引导的仿射迭代最近算法(aicp-fp)对晶圆图像进行分割，实现晶粒的快速定位。传统视觉方法依赖于提取晶圆图像的灰度和边缘特征来进行晶粒检测，然而晶粒形貌复杂，晶圆图像成像效果不佳等问题，影响着晶粒图像细节的提取，导致此类方法在提取其他复杂晶圆时鲁棒性较差。

3、近年来深度学习具有强大的特征提取和非线性拟合能力，同时端到端的算法相比于传统方法复杂的算子组合具有更好的稳健性和拓展性，在检测等相关领域逐渐应用起来。随着vit在视觉领域的成功运用，自注意力机制相比于cnn结构更能关注图像的全局上下文信息，有助于神经网络对整体图像结构单元的理解和建模。近年来目标检测网络发展迅速，它可以直接定位出目标的位置并进行分类。凭借着算法不断发展以及硬件性能的提升，“ren s, he k, girshick r, et al. faster r-cnn: towards real-time objectdetection with region proposal networks [j]. advances in neural informationprocessing systems, 2015, 28.”和“redmon j, divvala s, girshick r, et al. youonly look once: unified, real-time object detection; proceedings of theproceedings of the ieee conference on computer vision and patternrecognition, f, 2016 [c].”系列网络都可以很好的对自然图像上的一般目标进行精确定位和识别。晶圆图像具有分辨率较高和目标密集排布且尺寸较小的特性，使用深度学习进行定位检测，卷积运算十分耗时且计算量大，同时晶粒检测属于小目标检测，下采样运算导致特征提取效果较差。这些问题会导致检测速度慢且精度不佳，因此这种目标检测算法在晶圆图像中表现不佳。

技术实现思路

1、为了提升密集目标场景下晶粒检测的速度和精度，本发明提供了基于阵列分布信息引导的晶圆晶粒检测方法。

2、首先，提出了基于四方向搜索匹配重索引算法的晶粒定位算法，能够最大程度的定位晶圆图像中的所有晶粒；其次针对晶粒相似目标分类困难的问题，通过使用设计的基于transformer组图孪生网络的晶粒图像分类算法，使用改进的resnet作为共享特征提取网络，来提取9张相邻晶粒的局部特征，利用多头自注意力机制增强结构性信息，提升分类精度。通过定位加分类的方法，提升定位检测精度，有效完成大规模晶圆的晶粒检测任务，具体技术方案如下：

3、步骤1：采集待检测晶圆图像，并进行预处理，对图像进行矫正，获得阵列结构特征参数；

4、步骤2：基于所述阵列结构特征参数对晶圆图像进行四方向搜索匹配，对晶粒进行目标定位；

5、步骤3：采用基于组图孪生卷积transformer的分类网络对定位后的晶粒进行目标分类，得到最终的检测结果。

6、可选的，所述步骤1包括：

7、步骤11：图像旋转校正；

8、采用傅里叶变换对阵列目标图像进行频域变换，得到频域特征图后计算图像偏转角度，对原图像进行旋转；

9、步骤12：计算阵列结构特征参数；

10、所述阵列结构特征参数包括：水平和垂直匹配步距、模板图像 a和 b、四方向搜索匹配区域尺寸 h× w。

11、可选的，所述步骤2包括：

12、步骤21：在晶圆图像的中心区域随机裁剪获得晶圆的局部图像，同时对整张晶圆图像进行分割获得晶圆掩码图像mask，对晶圆局部图处理提取图像信息后，获得四方向搜索匹配的准备参数；

13、步骤22：四方向搜索匹配；

14、首先选择初始的墨点晶粒模板作为初始的种子晶粒，搜索方向依次为：上，左，右，下；根据匹配步距 dx、 dy和所述四方向搜索匹配区域尺寸 h× w，确定四个方向的待匹配区域，然后判断搜索区域是否在晶圆mask区域内，若在晶圆内部则进入下一步的匹配环节中，若不在进入下一个方向的晶粒搜索循环；如果匹配成功，将该晶粒的作为新的种子晶粒重新进行搜索循环，当所有可能晶粒搜索重索引完成后，目标定位完成。

15、可选的，所述步骤3包括：

16、步骤31：以相邻的9张晶粒图像构成的九宫格图像为分类网络的输入，采用改进的resnet网络提取9张相邻晶粒的局部特征；

17、步骤32：通过transformer网络结构增强阵列目标图像序列的全局特征信息，最后将增强后的特征输出进行分类预测；

18、所述基于组图孪生卷积transformer的分类网络在resnet的基础上进行轻量化改进，首先将第一个卷积层的卷积核大小7改为3；其次删除layer1的最大池化层；最后放弃resnet的block 3之后的层以保证特征的空间分辨率。

19、可选的，所述步骤1采用面阵灰度相机采集晶圆图像。

20、可选的，所述晶粒的类型包括：背景、阴影墨点、部分阴影墨点、正常、墨点、破损、破损墨点。

21、可选的，所述基于组图孪生卷积transformer的分类网络的训练过程包括：

22、step1. 建立九宫格数据集，划分训练集和测试集，用于模型训练验证；

23、step2. 设计resnet特征提取模块，用于特征提取；

24、step3. 设计transformer增强模块，用于增强阵列信息结构；

25、step4. 将网络模块进行组合，然后训练验证。

26、可选的，所述训练集和测试集按照7:3的比例进行划分。

27、本发明的第二个目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一项所述的晶圆晶粒检测方法。

28、本发明有益效果是：

29、本发明首先设计四方向搜索匹配的晶粒重索引算法，并利用晶粒排布信息，对边缘复杂晶粒进行推理，完成晶圆上的所有晶粒进行定位和索引；然后将提取的晶粒图像进行编码后，输入到共享权重的cnn网络中提取单张图像局部特征，再利用多头自注意力机制的长距离上下文信息增强能力对图像相互之间的信息进行增强建模，最后将增强后的特征输出进行分类预测。

30、采用8英寸晶圆晶粒数据集进行实验，与其他目标定位方法和分类方法相比，有效提升目标定位速度，并可以定位复杂边缘的晶粒目标，同时设计的网络结构，可以对晶粒目标的结构性信息进行在语义上进行长距离建模，获得了更高的晶粒图像分类准确率，同时网络的参数量和计算量也有效降低，验证了网络的轻量高效性。

31、实验结果表明本发明方法可以解决阵列状密集排布的复杂形貌晶粒检测难题，未来可以拓展到相同场景下其他密集阵列目标的检测分类任务。