一种芯片外观缺陷自动检测方法、电子设备及存储介质

本发明属于模式识别，具体涉及一种芯片外观缺陷自动检测方法、电子设备及存储介质。

背景技术：

1、集成电路(ic)芯片是信息产业的核心器件，其意义非凡。然而，由于ic芯片制造工序与工艺精密且复杂，不可避免会产生各种缺陷，这些缺陷直接影响芯片的正常使用。为提高芯片的可靠性，需要在质量管控环节对芯片进行缺陷检测。芯片缺陷检测包括内部缺陷检测与外观缺陷检测，前者可通过x光进行检测，后者往往通过光学照相机予以实现。

2、传统芯片外观缺陷检测主要由人工方式实现，该方式需要高成本对检测师进行培训，且实际操作时严重依赖检测师的经验，无法客观地做出一致稳定判断。此外，由于长时间在强灯光下工作容易造成疲劳甚至严重的眼睛损伤。因此，人工外观缺陷检测方式既无法保证检测准确度，同时效率较为低下。随着ic芯片设计和封装技术的革新，ic芯片更趋向于体积小、质量轻，同时引脚数更多，引脚间距更小。该趋势导致芯片外观缺陷检测的难度不断增加。因此，传统人工检测方式更加难以满足实际需求。因此基于计算机视觉的自动化芯片外观缺陷检测技术已经开始逐渐取代人工外观缺陷检测方式。

3、目前基于计算机视觉的自动化的芯片外观缺陷检测技术常常使用经典的图像预处理和模式识别方法，例如通过人工选取和设计特征和算子来实现。而经典的预处理方法有着很大的局限性，通常对于图像的质量要求较高，无法处理较大的外界干扰因素，如光照强弱、拍摄角度等，导致实际环境中检测性能下降严重。此外，传统使用模式识别方法获取的图像特征不具有较强的鲁棒性和普适性，算法难以适用于检测较特殊的缺陷，在不同数据集上的泛化能力非常差，因此有较大的局限性。

4、近年来，随着深度学习等人工智能理论与技术的出现，各种计算机视觉问题得到了迅猛发展，并取得了显著优于传统手动设计算子和特征的方法，如图像分类、目标检测等问题。但是到目前为止，深度学习在芯片外观缺陷检测这一特定问题上的研究和应用工作尚且少见，少数基于深度学习的芯片外观缺陷检测网络不够优化而导致准确率不高。因此，如何基于深度神经网络等最新理论与工具来设计实现自动化的、高性能的芯片外观缺陷检测技术是非常必要的。

技术实现思路

1、为了实现自动化的、高性能的芯片外观缺陷检测，本发明提供了一种芯片外观缺陷检测方法、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现：

2、本发明的实现过程如下：构建多个目标检测模型以及一个图像分类模型，以串并联混合的方式完成系统的构建，并对各个模型进行基于迁移学习的微调，得到训练后模型，从而进行芯片外观自动缺陷检测作业。

3、进一步，所述芯片外观缺陷检测方法包括以下步骤：

4、步骤一，构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，并对芯片图像进行对比度增强和降噪预处理，得到增强后的芯片图像；

5、步骤二，构建基于单阶段、免锚框深度神经网络结构的芯片检测模块(记作yolo-chip)，并相应构建iou感知分类损失函数，以预处理增强后图像为输入，使用yolo-chip对图像中的芯片区域进行精确定位和提取，以得到芯片区域；

6、步骤三，构建基于多尺度、单阶段深度神经网络结构的引脚检测模块(记作ssd-pin)，并相应构建边界框回归损失函数(siou)，使用ssd-pin对芯片区域中的芯片引脚进行检测和提取，得到芯片区域中的各个引脚，使得每个芯片图像得到一个引脚图像构成的集合；

7、步骤四，构建基于深度神经网络结构的引脚异常分类模块(记作cnn-pin)，使用cnn-pin对每个芯片图像对应的所有引脚进行异常情形的分类，以完成引脚异常检测；

8、步骤五，构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块(记作ssd-surface)，以步骤二检测到的芯片区域为输入，使用ssd-surface检测出封装表面的异常部位，对芯片表面异常部位进行定位与分类；

9、步骤六，构建数据集制作和模型训练模块，基于预处理增强后图像构建各个模型训练所需的数据集，例如芯片检测数据集、芯片引脚检测数据集、芯片引脚分类数据集以及封装表面异常检测数据集。并相应完成对芯片检测模块、引脚检测模块、引脚异常分类模块和封装表面异常检测模块的微调训练。

10、步骤七，以训练后的芯片检测模型、引脚检测模型、引脚异常分类模型和封装表面异常检测模型组成完整的芯片外观缺陷检测系统，利用该芯片外观缺陷检测系统对输入的新芯片图像进行测试，以实现芯片外观缺陷检测功能。

11、进一步，所述步骤一中图像采集与预处理模块，利用光学相机采集含有芯片的图像，并使用retinex光照均衡和中值滤波对图像进行预处理的步骤，具体包括：通过常规的光学相机采集含有芯片的rgb颜色空间图像，使用单尺度retinex算法估计图像的反射分类分量，完成retinex光照均衡化操作，得到对比度增强的芯片图像。在对比度增强芯片图像基础上，通过中值滤波算法，完成图像的细节保护和去噪，得到预处理后的对比度更好且噪声更低的图像。

12、进一步，所述步骤二中基于单阶段、免锚框深度神经网络结构的芯片检测模块yolo-chip，对应的神经网络模型具体包括：特征提取主干层，多尺度特征融合层和iou感知检测头；

13、所述特征提取主干层，基于cspdarknet，用于对输入图像进行初步特征提取，并生成待融合的三级多尺度特征图；

14、所述多尺度特征融合层，基于pafpn，以三级多尺度特征图作为输入进行路径聚合的特征融合，得到具有对尺度鲁棒的特征图；

15、所述iou感知检测头，以三级特征融合结果为输入，解耦前背景分类和边界框回归任务，利用iou感知分类损失函数完成任务对齐的分类与回归分支的训练，测试时基于锚点进行分类与回归任务的预测。

16、所述后处理模块，用以解码无锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片区域检测预测结果。

17、进一步，所述步骤三中基于多尺度单阶段深度神经网络结构的引脚检测模块ssd-pin，对应的神经网络模型具体包括：特征提取主干层、多尺度特征预测头和后处理模块；

18、所述特征提取主干层基于vgg16构建，用于提取6层不同尺度的特征图；

19、所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，利用siou损失(scylla-iou)完成高精度边界框回归任务的学习，测试时基于锚框进行分类和回归的编码预测；

20、所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片引脚检测结果。

21、进一步，所述步骤四中基于深度神经网络结构的引脚异常分类模块cnn-pin，对应的神经网络模型具体包括：卷积层、下采样层、全连接层和分类层；

22、所述卷积层，基于3×3和1×1卷积堆叠得到若干个卷积块，用以提取芯片引脚图像的边缘、细节、纹理等与引脚异常有关的特征。

23、所述下采样层，基于最大池化操作用以降低特征图大小，减少后续计算量，防止信息冗余导致的过拟合。

24、所述全连接层，将最终的二维特征图展开为一维，并进行3次全连接操作。用以对芯片引脚图像的全局特征进行整合，方便后续分类。

25、所述分类层，对全连接层输出的最终的一维特征向量使用softmax激活，生成最终的引脚异常多分类概率。

26、进一步，所述步骤五中基于多尺度单阶段深度神经网络结构的封装表面异常检测模块ssd-surface，对应的神经网络模型具体包括：特征提取主干层、多尺度特征预测头和后处理模块；

27、所述特征提取主干层基于vgg16构建，用于提取6层不同尺度的特征图；

28、所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，基于锚框进行编码预测；

29、所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的封装表面异常检测结果。

30、进一步，所述步骤六中模型训练模块，具体包括：训练数据集构建，迁移学习微调各个模型；

31、所述训练数据集构建，用以构建各个检测和分类模型训练所需的数据集，其中yolo-chip芯片检测模型、ssd-pin引脚检测模型以及ssd-surface封装表面异常检测模型所需的检测数据集用水平矩形框进行标注。cnn-pin引脚异常分类模型所需的分类数据集以简单的分类存储进行标注。

32、所述迁移学习微调，其中yolo-chip芯片检测模型、ssd-pin引脚检测模型以及ssd-surfac封装表面异常检测模型以基于coco2017目标检测数据集训练得到的预训练模型进行微调。cnn-pin引脚异常分类模型以基于imagenet的大规模图像分类数据集训练得到的预训练模型进行微调。

33、本发明的另一目的在于提供一种电子设备，所述电子设备包括光学图像采集设备、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：控制光学图像采集设备采集芯片图像数据，并对图像数据进行retinex光照均衡和中值滤波降噪预处理；构建基于单阶段、免锚框深度神经网络结构的芯片检测模块，用以精确定位图像中的芯片；构建基于多尺度单阶段深度神经网络结构的引脚检测模块，用来检测芯片的引脚；构建基于深度神经网络结构的引脚异常分类模块，用来对芯片引脚异常情形进行分类；构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块，用来对芯片表面异常部位进行定位与分类；构建模型训练模块，用来对预处理增强后图像构建各个模型训练所需的芯片检测数据集、引脚检测数据集、引脚分类数据集以及封装表面异常数据集，并完成对各个模型的微调训练。

34、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：对图像数据进行retinex光照均衡和中值滤波降噪预处理；构建基于单阶段、免锚框深度神经网络结构的芯片检测模块，用以精确定位图像中的芯片；构建基于多尺度单阶段深度神经网络结构的引脚检测模块，用来检测芯片的引脚；构建基于深度神经网络结构的引脚异常分类模块，用来对芯片引脚异常情形进行分类；构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块，用来对芯片表面异常部位进行定位与分类；建模型训练模块，用来对预处理增强后图像构建各个模型训练所需的芯片检测数据集、引脚检测数据集、引脚分类数据集以及封装表面异常数据集，并完成对各个模型的微调训练。

35、结合上述的所有技术方案，本发明所具备的优点及积极效果为：

36、第一，针对上述现有芯片外观缺陷检测方法存在的技术问题以及难点，本发明提出了一套完整的基于深度学习的自动化芯片外观缺陷检测技术，可以解决目前芯片外观缺陷检测技术普遍存在的鲁棒性差、步骤繁琐、响应慢、智能化程度低、效率低等诸多缺点。具体描述如下：

37、(1)传统的芯片外观缺陷检测主要由人工方式实现，该方式消耗大量人力而成本高，且严重依赖检测人员经验，无法客观地做出一致且稳定的判断。此外，人工方式容易造成疲劳甚至严重的眼睛损伤。同时，人工外观缺陷检测方式无法保证检测准确度，效率较为低下。

38、(2)当前采用计算机视觉的自动化芯片外观缺陷检测方法虽然摆脱了人工的种种弊端，但是这些方法大多依赖于传统图像处理技术，需要手动设计算子与特征提取器、特征分类等，从而实现缺陷检测和分类等任务。传统算子的特征提取器鲁棒性低，从而对图像的采集环境有严苛的要求，或者需要针对不同图像重新设计算子和特征提取器。而本发明使用的基于深度学习的缺陷检测方法，极大提高了模型的性能稳定性，网络模型训练好后，用户只需上传待检测的芯片图像，就可以一键完成芯片外观缺陷检测任务，无需任何其他额外的复杂操作步骤。

39、第二，本发明所要保护的技术方案通过引入一系列核心技术和理论，如基于retinex的图像增强理论、深度神经网络、单阶段目标检测网络、目标检测任务中子任务的损失构建、基于迁移学习的模型训练模块等，使得本发明对应方法具备高性能、抗噪声、高鲁棒性等技术优势，具体描述如下：

40、本发明提供的芯片外观缺陷检测方法，构建了基于单尺度retinex光照均衡和中值滤波的图像预处理模块，提高了系统处理低质量芯片图像的能力；构建了基于单阶段、免锚框深度神经网络结构的芯片检测模块，该模块使得系统对不同大小的芯片具有尺度不变性；本发明基于单阶段目标检测和基于cnn的图像分类等理论及工具构建了芯片引脚异常检测模块，相对于传统手动算子针对小尺寸引脚具有更高的准确率；本发明实施例为如何使用深度学习进行芯片外观缺陷检测提供了新理论和新方法支持，使得基于深度学习的芯片外观缺陷检测技术变得更加实用、可靠和普及化。

41、以下将结合附图及实施例对本发明做进一步详细说明。