一种倒装焊芯片缺陷检测方法及系统

1.本发明涉及倒装焊芯片缺陷检测技术领域，尤其是指一种倒装焊芯片缺陷检测方法及系统。


背景技术：

2.集成电路朝着高集成方向发展，推动了封装技术的革命，倒装焊芯片技术广泛应用于高密度微电子封装领域，它通过焊球实现芯片与基板之间的信号和功率连接。由于倒装焊芯片封装容易产生制造缺陷和疲劳失效，因此对倒装芯片缺陷进行检测以控制其质量尤为重要。
3.基于机器学习的自动检测方法具有实时、高效、经济且非接触等优势，然而传统的机器学习技术需要人为设定提取固定特征，再通过机器学习算法将这些特征分类，其检测精度高低在一定程度上取决于设计特征的优劣。深度学习无需人工设计特征，它可以通过训练数据自动学习特征，并将特征提取和分类融合。基于深度学习的故障诊断模型性能良好，但产生的超参数较多，需要大量时间对整个模型进行微调。此外，当训练数据样本不足时，模型很容易过拟合，而实际工业生产中倒装焊芯片缺陷数据难以获得，采集大量带标签的样本费时且昂贵，导致现有方法在小样本的环境下缺陷识别准确率较低，甚至存在错误识别。
4.综上所述，现有的倒装焊芯片缺陷检测技术在小样本环境中准确率较低且无法实现倒装焊芯片的缺陷种类的精确检测。


技术实现要素：

5.为此，本发明所要解决的技术问题在于克服现有技术中在小样本环境下倒装焊芯片缺陷检测准确率低且无法实现倒装焊芯片的缺陷种类的精确检测问题。
6.为解决上述技术问题，本发明提供了一种倒装焊芯片缺陷检测方法，包括：
7.获取不同缺陷倒装焊芯片振动信号样本；
8.利用多粒度扫描自动提取振动信号样本的特征信息得到变换特征向量；
9.利用kpca特征筛选通道对变换特征向量进行降维，得到降维后的变换特征向量；
10.将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到完成训练的倒装焊芯片缺陷检测模型；
11.其中，所述级联森林中每个级联森林层均包含随机分类器、完全随机分类器、xgboost、lightgbm。
12.在本发明的一个实施例中，所述获取不同缺陷倒装焊芯片振动信号样本包括：
13.将有不同缺陷的倒装焊芯片放置在气浮隔振平台；
14.使用空气耦合电容式超声换能器激励倒装焊芯片，并使用多普勒激光扫描测振仪获取倒装焊芯片上表面的振动信号样本。
15.在本发明的一个实施例中，所述利用多粒度扫描自动提取振动信号样本的特征信
息得到变换特征向量包括：
16.使用长度为k的滑动窗口以步长l对振动信号样本进行局部采样得到m组新样本，其中，s为振动信号样本的维度；
17.将m组新样本输入到随机森林分类器中进行特征提取，得到m组维度为c的特征向量，其中，c为倒装焊芯片的缺陷类别数；
18.再将m组新样本输入到完全随机森林分类器中进行特征提取，得到m组维度为c的特征向量；
19.将随机森林分类器得到的m组维度为c的特征向量和完全随机分类器得到的m组维度为c的特征向量进行拼接得到维度为2*m*c的变换特征向量xi。
20.在本发明的一个实施例中，所述利用kpca的特征筛选通道对变换特征向量进行降维，得到降维后的变换特征向量包括：
21.利用非线性映射函数φ：rm→
f将变换特征向量xi映射至特征空间f，得到变换特征向量在空间f上的协方差矩阵
22.计算协方差矩阵cf的特征值λ和特征向量v，其计算公式为：
23.λv＝c
fv24.将特征值按照大小排列，选择特征值之和满足设定界限的特征向量进行拼接得到降维后的变换特征向量。
25.在本发明的一个实施例中，特征值之和设定界限为：
[0026][0027]
其中，n为协方差矩阵cf的特征值数量，p为满足设定界限的特征值数量，cl为设定界限值。
[0028]
在本发明的一个实施例中，所述将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到完成训练的倒装焊芯片缺陷检测模型包括：
[0029]
将振动信号样本的变换特征向量输入第一级联森林层，输出增强特征向量；
[0030]
将增强特征向量与降维后的变换特征向量进行拼接输入下一级联森林层，输出新的增强特征向量；
[0031]
级联森林层不断拓展，每拓展一个级联森林层对当前级联森林层进行k折交叉验证，计算当前级联森林层的检测准确率，并计算检测准确率的变化率；
[0032]
当检测准确率的变化率小于预设阈值时，不再拓展级联森林层，当前级联森林即为完成训练的倒装焊芯片缺陷检测模型。
[0033]
在本发明的一个实施例中，所述将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到完成训练的倒装焊芯片缺陷检测模型后，将待检测倒装焊芯片输入完成训练的倒装焊芯片缺陷检测模型中进行检测。
[0034]
本发明还提供了一种倒装焊芯片缺陷检测系统，包括：
[0035]
样本采集模块：用于获取不同缺陷倒装焊芯片振动信号样本；
[0036]
特征提取模块：用于利用多粒度扫描自动提取振动信号样本的特征信息得到变换
特征向量；
[0037]
数据降维模块：用于利用kpca特征筛选通道对变换特征向量进行降维，得到降维后的变换特征向量；
[0038]
模型训练模块：用于将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到完成训练的倒装焊芯片缺陷检测模型。
[0039]
本发明还提供了一种倒装焊芯片缺陷检测设备，包括：
[0040]
存储器：用于存储计算机程序；
[0041]
处理器：用于执行所述计算机程序时实现所述的倒装焊芯片缺陷检测方法的步骤。
[0042]
本发明还提供了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的倒装焊芯片缺陷检测方法的步骤。
[0043]
本发明所述的倒装焊芯片缺陷检测方法，包括获取不同缺陷倒装焊芯片振动信号样本；通过多粒度扫描自动提取振动信号样本的特征信息得到变换特征向量，避免了人为设计特征导致重要特征信息丢失；利用kpca特征筛选通道对变换特征向量进行空间降维，得到降维后的变换特征向量，解决了特征信息冗余问题并提升了多粒度扫描和级联森林之间信息传递效率；将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，使用两个先进分类器xgboost、lightgbm来代替每层级联森林中的两个初始分类器，使得级联森林更具多样性，生成的增强特征向量包含的特征信息更加丰富，增强了整体模型的泛化性，对倒装焊芯片的缺陷检测准确度更高。利用本发明提供的倒装焊芯片缺陷检测模型对倒装焊芯片进行缺陷检测，提高了倒装焊芯片检测准确率且能够实现倒装焊芯片中焊球缺陷种类和缺陷数量的精准检测。
附图说明
[0044]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0045]
图1为倒装焊芯片缺陷检测方法流程图；
[0046]
图2为级联森林结构示意图；
[0047]
图3为多粒度扫描结构示意图；
[0048]
图4为基于不同算法的特征筛选通道效果对比图；
[0049]
图5为不同数据集下的平均检测精度对比图；
[0050]
图6为倒装焊芯片缺陷检测系统图。
具体实施方式
[0051]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0052]
实施例1：
[0053]
参照图1所示，为本发明的倒装焊芯片缺陷检测方法流程图，包括：
[0054]
s10：获取不同缺陷倒装焊芯片振动信号样本，具体步骤包括：
[0055]
s101：将有不同缺陷的倒装焊芯片放置在气浮隔振平台；
[0056]
s102：使用空气耦合电容式超声换能器激励倒装焊芯片并使用多普勒激光扫描测振仪获取芯片上表面振动信号样本。
[0057]
s11：利用多粒度扫描自动提取振动信号样本的特征信息得到变换特征向量，具体步骤包括：
[0058]
s110：使用长度为k的滑动窗口以步长l对振动信号样本进行局部采样得到m组新样本，其中，s为振动信号样本的维度；
[0059]
s111：将m组新样本输入到随机森林分类器中进行训练，得到m*c组特征向量，其中，c为倒装焊芯片的缺陷类别数；
[0060]
s112：再将m组新样本输入到完全随机森林分类器中进行训练，得到m*c组特征向量；
[0061]
s113：将随机森林分类器得到的m*c组特征向量和完全随机森林分类器得到的m*c组特征向量进行拼接得到维度为2*m*c的变换特征向量xi。
[0062]
s12：利用kpca的特征筛选通道对变换特征向量xi进行降维，得到降维后的变换特征向量，具体步骤包括：
[0063]
s120：利用非线性映射函数φ：rm→
f将变换特征向量xi映射至特征空间f，得到变换特征向量在空间f上的协方差矩阵
[0064]
s121：计算协方差矩阵cf的特征值λ和特征向量v，其计算公式为：
[0065]
λv＝c
fv[0066]
s122：将特征值按照大小排列，选择特征值之和满足设定界限的特征向量进行拼接得到降维后的变换特征向量；
[0067]
其中特征值之和的设定界限为：其中n为协方差矩阵cf的特征值数量，p为满足设定界限的特征值数量，cl为设定界限值，通常取85％。
[0068]
s13：将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到倒装焊芯片缺陷检测模型，具体步骤包括：
[0069]
s130：将振动信号样本的变换特征向量输入第一级联森林层，生成增强特征向量；
[0070]
s131：将增强特征向量与降维后的变换特征向量进行拼接并输入下一级联森林层，生成新的增强特征向量；
[0071]
s132：级联森林层不断拓展，每拓展一个级联森林层对当前级联森林层进行k折交叉验证，计算当前级联森林层的检测准确率，并检测准确率的变化率，具体步骤为：
[0072]
把输入到当前级联森林层的增强特征向量分成k份，每次训练取一份作为验证集，k-1份用作训练，对当前级联森林层进行k次训练，每次训练结束后将验证集输入级联森林层进行检测，计算k次训练的平均检测准确率作为当前级联森林层的检测准确率，并计算检测准确率的变化率；
[0073]
当检测准确率的变化率小于预设阈值时，不再拓展级联森林层，当前级联森林即为完成训练的倒装焊芯片缺陷检测模型。
[0074]
其中，如图2所示，本发明实施例提供的级联森林中每层级联森林均包含随机森林
分类器、xgboost、完全随机森林分类器和lightgbm，将振动信号样本的变换特征向量分别输入随机森林分类器、xgboost、完全随机森林分类器和lightgbm中，每层级联森林输出的增强特征向量与经过kpca特征筛选通道降维后的变换特征向量进行拼接作为下一级联森林层的输入。
[0075]
本发明实施例通过多粒度扫描自动提取原始振动信号内包含的特征信息，避免了人为设计特征导致重要特征信息丢失，通过引入kpca特征筛选通道对提取的特征信息进行降维，解决了特征信息冗余问题，并提升了多粒度扫描与级联森林之间信息传递效率，使用两个先进分类器xgboost、lightgbm来代替级联森林层两个初始分类器，使得级联森林更具多样性，生成的增强特征向量包含特征信息更加丰富，还增强了整体模型的泛化性，基于改进多粒度级联森林的倒装焊芯片缺陷检测模型能够实现倒装焊芯片中焊球缺陷种类和缺陷数量的精准检测。
[0076]
实施例2：
[0077]
基于上述实施例所述的倒装焊芯片缺陷检测方法，本实施例引入了五种健康状态的待检测倒装焊芯片进行验证，包括：焊球良好、一个焊球缺失、两个焊球缺失、一个焊球虚焊和两个焊球虚焊。
[0078]
本实施例的具体实施步骤如下：
[0079]
s20：使用聚焦式空气耦合超声换能器一次激励五类待检测倒装焊芯片，并利用激光扫描仪以1.28mhz采样频率采集芯片振动数据，每种健康状态下的倒装焊芯片测量25次，每次数据测量时间持续12.8ms；
[0080]
s21：每种健康状态的倒装焊芯片采集409600个数据点，对每种健康状态的振动信号进行归一化处理后，将每种类型的振动信号分为400个样本，每个样本长度为1024，根据实验要求将2000个样本按照不同比例分为训练样本和测试样本。
[0081]
s22：使用大小为512的扫描窗口以步长1对训练样本进行局部采样得到256组新样本；
[0082]
s23：将每组样本输入到随机森林和完全随机森林进行特征提取，每个森林可以得到256组维度为5的特征向量，将两个森林得到的特征向量进行拼接得到维度为2560的变换特征向量，如图3所示。
[0083]
s24：选择高斯径向基核函数φ：rm→
f将变换特征向量映射至高维空间f中可得φ(xi)，其在空间f上的协方差矩阵为：计算cf的特征值和特征向量并按照特征值大小进行排列，选择特征值之和满足设定界限的特征向量进行拼接得到降维后的变换特征向量；
[0084]
通过计算可知前200组特征向量的特征值之和满足设定界限，因此将前200组特征向量进行拼接，原2560维度的变换特征向量可降维至200维度的变换特征向量。
[0085]
s25：将原来2560维度的变换特征向量输入第一层级联森林，每个分类器生成一组5维度的类向量，将4个分类器生成的类向量拼接成一组20维度的增强特征向量；
[0086]
s26：将增强特征向量与200维度的降维变换特征向量拼接后输入第二层级联森林；
[0087]
s27：级联森林层不断拓展，每拓展一个级联森林层对当前级联森林层进行k折交
叉验证，计算当前级联森林层的检测准确率，并计算检测准确率的变化率，当检测准确率的变化率小于预设阈值时，级联森林层停止拓展，得到完成训练的倒装焊芯片缺陷检测模型。
[0088]
s28：完成模型训练，将测试样本输入倒装焊芯片缺陷检测模型中对模型进行测试。
[0089]
s29：测试完成后，将待检测的倒装焊芯片输入倒装焊芯片缺陷检测模型中进行检测。
[0090]
本发明实施例采用kpca作为特征筛选通道的核心算法，为比较验证该算法作为特征筛选算法的优越性，本发明还提供了ipca、fa、ica、isomp、lle五种算法的对比分析，选用检测准确率和降维所需要的时间作为对比指标，其对比结果如图4所示：
[0091]
基于kpca作为特征筛选通道模型的检测准确率可达到97.3％，远高于其他四种算法，除此之外，kpca算法完成降维所需要的时间仅为0.987s,对于实际工程中倒装焊芯片缺陷检测十分有利。
[0092]
本发明实施例采用基于改进多粒度级联森林的倒装焊芯片缺陷检测方法，为验证此方法的有效性与优越性，本发明还提供了svm、rf、xgboost、fcn、dcnn、mlp六种算法的对比分析，通过调整训练集的比例来验证本方法在小训练样本下检测效果的优越性，对比结果如图5所示：
[0093]
在不同训练集比例下，本发明实施例提供的方法检测效果均优于其他方法，在训练集比例仅为20％的情况下，本发明实施例提供的方法检测准确率仍可达96.22％，远高于传统检测断方法。
[0094]
本发明的具体实施例还提供了一种倒装焊芯片缺陷检测系统，如图6所示，包括：
[0095]
样本采集模块10：用于获取不同缺陷倒装焊芯片振动信号样本；
[0096]
特征提取模块20：用于利用多粒度扫描自动提取振动信号样本的特征信息得到变换特征向量；
[0097]
数据降维模块30：用于利用kpca的特征筛选通道对变换特征向量进行降维，得到降维后的变换特征向量；
[0098]
模型训练模块40：用于将振动信号样本的变换特征向量和降维后的变换特征向量输入级联森林进行训练，得到完成训练的倒装焊芯片缺陷检测模型；
[0099]
本实施例的倒装焊芯片缺陷检测系统用于实现前述的倒装焊芯片缺陷检测方法，因此倒装焊芯片缺陷检测系统的具体实施方式可见前文中的倒装焊芯片缺陷检测方法的实施例部分，例如样本采集模块10用于实现上述倒装焊芯片缺陷检测方法中步骤s10，特征提取模块20用于实现上述倒装焊芯片缺陷检测方法中步骤s11，数据降维模块30用于实现上述倒装焊芯片缺陷检测方法中步骤s12，模型训练模块40用于实现上述倒装焊芯片缺陷检测方法中步骤s13，所以具体实施方法可以参照相应的实施例的描述，在此不再赘述。
[0100]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0101]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。