塑封器件的失效识别方法及装置与流程
本发明涉及元器件缺陷检测技术领域，具体涉及一种塑封器件的失效识别方法及装置。
背景技术：
塑封器件是指以树脂类聚合物为材料封装的半导体器件，通过塑封技术可以有效保护半导体器件。当前，可以采用超声波扫描技术对塑封器件进行缺陷检测，如内部裂纹、空洞和分层等缺陷的检测。但是，超声波扫描技术只能采集塑封器件的图像信息，还需要技术人员基于相应的技术标准，并通过肉眼观察图像信息，判断塑封器件是否存在缺陷，因此极易造成误判或错判，且当需要对大量元器件进行检测时，肉眼判断效率较低。
技术实现要素：
为了解决现有技术中的上述问题，即为了解决如何便捷、有效且准确地识别塑封器件是否存在缺陷的技术问题。为此目的，本发明提供了一种塑封器件的失效识别方法及装置。
在第一方面，本发明中的塑封器件的失效识别方法包括：
通过超声波显微镜获取包含多个塑封器件的声扫图像；
基于预先构建的识别模型对所获取的声扫图像进行识别，得到失效塑封器件；
其中，所述识别模型为基于机器学习算法构建的模型，其训练方法的包括：
通过超声波显微镜获取包含多个塑封器件样本的声扫图像；
提取所述声扫图像中每个塑封器件样本的局部图像；
对所提取的局部图像进行筛选，得到潜在失效样本的局部图像；
提取所述潜在失效样本的局部图像的图像特征；
基于所提取的图像特征，对识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
“提取所述声扫图像中每个塑封器件样本的局部图像”的步骤具体包括：
裁剪去除所述声扫图像的边界；
对裁剪后的声扫图像依次进行灰度化处理、滤波、二值化处理和二次滤波处理；
对经所述灰度化处理、滤波、二值化处理和二次滤波处理后的声扫图像进行膨胀处理，以使声扫图像中每个塑封器件样本的引脚区域和器件主体区域形成一个连通区域；
获取包含每个连通区域的最小矩形框，并选取所获取的矩形框中长度处于预设长度范围，并且宽度处于预设宽度范围的矩形框；
根据所选取的矩形框，对通过所述超声波显微镜获取的原始声扫图像进行分割，得到每个塑封器件样本的局部图像。
进一步地，本发明提供的一个优选技术方案为：
“对所提取的局部图像进行筛选，得到潜在失效样本的局部图像”的步骤具体包括：
对所述局部图像进初步筛选，得到包含潜在缺陷的局部图像；
对所述局部图像进行二次筛选，以去除所述初步筛选得到的局部图像中，潜在缺陷均为噪声点的局部图像；其中，所述噪声点为在局部图像中孤立存在且面积小于预设阈值的潜在缺陷。
进一步地，本发明提供的一个优选技术方案为：
“提取所述潜在失效样本的局部图像的图像特征”的步骤之前包括确定所述潜在失效样本失效类型的步骤，具体为：
对所述潜在失效样本的局部图像依次进行灰度化处理和二值化处理；
提取经所述灰度化处理和二值化处理后的局部图像中，潜在失效样本的器件主体轮廓；
对经所述灰度化处理和二值化处理后的局部图像进行膨胀处理，以使所述潜在失效样本中同一个引脚的各分层区域形成一个连通区域，以及所述潜在失效样本中器件主体区域形成一个连通区域；
根据所述连通区域的形心与所述器件主体轮廓的位置关系，确定潜在失效样本的失效类型：若所有连通区域的形心均在所述器件主体轮廓以外，则所述潜在失效样本为第一失效类型；若所有连通区域的形心均在所述器件主体轮廓以内，则所述潜在失效样本为第二失效类型；若所述器件主体轮廓的内部和外部均包含连通区域的形心，则所述潜在失效样本为第三失效类型。
进一步地，本发明提供的一个优选技术方案为：
“提取所述潜在失效样本的局部图像的图像特征”的步骤具体包括：
按照下式所示的方法提取第一失效类型潜在失效样本的局部图像的图像特征：
其中，所述per1i为第i个缺陷区域的面积areai，与该第i个缺陷区域所处的引脚区域的面积areayi的比值，所述areayi＝areaypi/η1，所述areaypi为所述引脚区域对应的连通区域的面积，所述η1为修正因子，且
按照下式所示的方法提取第二失效类型潜在失效样本的局部图像的图像特征：
其中，所述per2为缺陷区域的面积总和sum(areaj)，与膨胀处理后器件主体区域所对应连通区域的面积areapz的比值；所述areaj为第j个缺陷区域的面积，所述η2为修正因子，且
按照上式所示的第一失效类型潜在失效样本和第二失效类型潜在失效样本的图像特征提取方法，提取第三失效类型潜在失效样本的局部图像的图像特征。
进一步地，本发明提供的一个优选技术方案为：
“基于所提取的图像特征，对识别模型进行网络训练，得到优化后的识别模型”的步骤具体包括：
基于所述图像特征，分别对多个预先构建的识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
“根据所述连通区域的形心与所述器件主体轮廓的位置关系，确定潜在失效样本的失效类型”的步骤之前包括：
计算所述连通区域的形心，与所述器件主体轮廓中各边界的距离；
根据所计算的距离，确定所述连通区域的形心与所述器件主体轮廓的位置关系。
在第二方面，本发明中的塑封器件的失效识别装置包括：
所述装置包括图像获取模块、识别模型和模型训练模块，所述识别模型为基于机器学习算法构建的模型；所述图像获取模块，配置为通过超声波显微镜获取包含多个塑封器件的声扫图像；所述识别模型，配置为对所述图像获取模块所获取的声扫图像进行识别，得到失效塑封器件；所述模型训练模块，配置为对所述识别模型进行网络训练，得到优化后的识别模型；
其中，所述模型训练模块包括图像获取子模块、图像提取子模块、图像筛选子模块、特征提取子模块和训练子模块；
所述图像获取子模块，配置为通过超声波显微镜获取包含多个塑封器件样本的声扫图像；所述图像提取子模块，配置为提取所述图像获取子模块所获取的声扫图像中每个塑封器件样本的局部图像；所述图像筛选子模块，配置为对所述图像提取子模块所提取的局部图像进行筛选，得到潜在失效样本的局部图像；所述特征提取子模块，配置为提取所述图像筛选子模块筛选得到的潜在失效样本的局部图像的图像特征；所述训练子模块，配置为基于所述特征提取子模块所提取的图像特征，对识别模型进行网络训练，得到优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述图像提取子模块包括图像预处理单元和局部图像提取单元；
所述图像预处理单元，配置为执行下述操作：
裁剪去除所述声扫图像的边界；
对裁剪后的声扫图像依次进行灰度化处理、滤波、二值化处理和二次滤波处理；
对经所述灰度化处理、滤波、二值化处理和二次滤波处理后的声扫图像进行膨胀处理，以使声扫图像中每个塑封器件样本的引脚区域和器件主体区域形成一个连通区域；
所述局部图像提取单元，配置为执行下述操作：
获取包含每个所述图像预处理单元得到的连通区域的最小矩形框，并选取所获取的矩形框中长度处于预设长度范围，并且宽度处于预设宽度范围的矩形框；
根据所选取的矩形框，对通过所述超声波显微镜获取的原始声扫图像进行分割，得到每个塑封器件样本的局部图像。
进一步地，本发明提供的一个优选技术方案为：
所述图像筛选子模块包括初步筛选单元和二次筛选单元；
所述初步筛选单元，配置为对所述局部图像进初步筛选，得到包含潜在缺陷的局部图像；
所述二次筛选单元，配置为对所述初步筛选单元筛选得到的局部图像进行二次筛选，以去除潜在缺陷均为噪声点的局部图像；其中，所述噪声点为在局部图像中孤立存在且面积小于预设阈值的潜在缺陷。
进一步地，本发明提供的一个优选技术方案为：
所述特征提取子模块包括潜在失效样本类型确定单元；所述潜在失效样本类型确定单元包括第一图像预处理子单元、器件主体轮廓提取子单元、第二图像预处理子单元和样本失效类型确定子单元；
所述第一图像预处理子单元，配置为对所述潜在失效样本的局部图像依次进行灰度化处理和二值化处理；
所述器件主体轮廓提取子单元，配置为提取经所述第一图像预处理子单元得到的局部图像中，潜在失效样本的器件主体轮廓；
所述第二图像预处理子单元，配置为对经所述第一图像预处理子单元得到的局部图像进行膨胀处理，以使所述潜在失效样本中同一个引脚的各分层区域形成一个连通区域，以及所述潜在失效样本中器件主体区域形成一个连通区域；
所述样本失效类型确定子单元，配置为根据所述连通区域的形心与所述器件主体轮廓的位置关系，确定潜在失效样本的失效类型：若所有连通区域的形心均在所述器件主体轮廓以外，则所述潜在失效样本为第一失效类型；若所有连通区域的形心均在所述器件主体轮廓以内，则所述潜在失效样本为第二失效类型；若所述器件主体轮廓的内部和外部均包含连通区域的形心，则所述潜在失效样本为第三失效类型。
进一步地，本发明提供的一个优选技术方案为：
所述特征提取子模块包括第一类型图像特征提取单元、第二类型图像特征提取单元和第三类型图像特征提取单元；
所述第一类型图像特征提取单元，配置为按照下式所示的方法提取第一失效类型潜在失效样本的局部图像的图像特征：
其中，所述per1i为第i个缺陷区域的面积areari，与该第i个缺陷区域所处的引脚区域的面积areayi的比值，所述areayi＝areaypi/η1，所述areaypi为所述引脚区域对应的连通区域的面积，所述η1为修正因子，且
所述第二类型图像特征提取单元，配置为按照下式所示的方法提取第二失效类型潜在失效样本的局部图像的图像特征：
其中，所述per2为缺陷区域的面积总和，与膨胀处理后器件主体区域所对应连通区域的面积areapz的比值；所述areaj为第j个缺陷区域的面积，所述η2为修正因子，且
所述第三类型图像特征提取单元，配置为分别控制所述第一类型图像特征提取单元与所述第二类型图像特征提取单元，提取第三失效类型潜在失效样本的局部图像的图像特征。
进一步地，本发明提供的一个优选技术方案为：
所述训练子模块包括模型训练单元；
所述模型训练单元，配置为基于所述图像特征，分别对多个预先构建的识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的识别模型。
进一步地，本发明提供的一个优选技术方案为：
所述特征提取子模块还包括位置关系确定单元；
所述位置关系确定单元，配置为执行下述操作：
计算所述连通区域的形心，与所述器件主体轮廓中各边界的距离；
根据所计算的距离，确定所述连通区域的形心与所述器件主体轮廓的位置关系。
进一步地，本发明提供的一个优选技术方案为：
所述失效识别装置还包括人机交互模块。
在第三方面，本发明中的存储装置存储有多条程序，所述程序适于由处理器加载并执行以实现上述技术方案所述的塑封器件的失效识别方法。
在第四方面，本发明中的处理装置包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现上述技术方案所述的塑封器件的失效识别方法。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中失效识别方法可以通过超声波显微镜获取包含多个塑封器件的声扫图像，并基于预先构建的识别模型对所获取的声扫图像进行识别，得到失效塑封器件。基于上述步骤，该方法能够对塑封器件的声扫图像进行自动识别，并具有较高的识别准确率。
2、本发明中失效识别方法可以准确计算出塑封器件中缺陷面积的形心，并根据缺陷区域的形心与塑封器件主体轮廓的位置关系，确定塑封器件的失效类型，进而采用不同的特征提取方法，提取不同失效类型塑封器件的图像特征。上述过程不依赖于检测人员的主观意志和经验，能够准确获取塑封器件的缺陷特征，降低了检测失误率。
3、本发明中失效识别方法在提取声扫图像中每个塑封器件的局部图像时，对声扫图像依次进行裁剪、灰度化处理、滤波、二值化处理、二次滤波处理和膨胀处理，可以滤除声扫图像中的部分噪声点，使塑封器件的背景图像更加平滑，进而降低图像特征提取的风险。
4、本发明中失效识别方法可以对包含多个塑封器件的声扫图像进行自动识别，即同时对多个塑封器件进行识别，无需单独对每个塑封器件的声扫图像进行识别。基于此，能够极大地提高识别效率，降低时间成本。
5、本发明中识别模型为基于机器学习算法构建的模型，其具有自组织、自学习、自适应、容错和纠错的优点，能够准确识别出没有明显失效特征的塑封器件，降低检测失误率。
附图说明
图1是本发明实施例中一种塑封器件的失效识别方法的主要步骤；
图2是本发明实施例中一种包含多个塑封器件的声扫图像示意图；
图3是本发明实施例中一种识别模型训练方法的主要步骤；
图4是本发明实施例中一种单个塑封器件的局部图像示意图；
图5是本发明实施例中一种塑封器件的主体轮廓示意图；
图6是本发明实施例中一种潜在失效样本局部图像的区域划分示意图；
图7是本发明实施例中第一失效类型塑封器件的示意图；
图8是本发明实施例中第二失效类型塑封器件的示意图；
图9是本发明实施例中第三失效类型塑封器件的示意图；
图10是本发明实施例中一种塑封器件的失效识别装置的主要结构。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性示出了本实施例中一种塑封器件的失效识别方法的主要步骤。如图1所示，本实施例中可以按照下述步骤识别失效的塑封器件：
步骤s101：通过超声波显微镜获取包含多个塑封器件的声扫图像。
参阅附图2，图2示例性示出了本实施例中一种包含多个塑封器件的声扫图像，如图2所示，本实施例中通过超声波显微镜获取的声扫图像包含15个塑封器件，并且这15个塑封器件呈3行5列分布。需要说明的是，本实施例虽然仅公开了包含15个塑封器件的声扫图像，以及一种塑封器件的分布方式，但是本发明的保护范围显然不局限于这一具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对塑封器件的数量和分布方式作出更改，这些更改之后的技术方案都将落入本发明的保护范围之内。
步骤s102：基于预先构建的识别模型对所获取的声扫图像进行识别，得到失效塑封器件。
本实施例中识别模型指的是基于机器学习算法构建的模型，例如，该识别模型可以为基于logistic多元回归的识别模型、基于自组织竞争神经网络的识别模型、基于概率神经网络的识别模型、基于递归神经网络的识别模型或基于支持向量机的识别模型等等。
继续参阅附图3，图3示例性示出了本实施例中一种识别模型训练方法的主要步骤。如图3所示，本实施例中可以按照下述步骤对图1所示方法中预先构建的识别模型进行网络训练：
步骤s201：通过超声波显微镜获取包含多个塑封器件样本的声扫图像。本实施例中通过超声波显微镜一次扫描多个塑封器件样本，即可以得到包含多个塑封器件样本的一张声扫图像，无需对每一个塑封器件样本分别进行扫描，减小了获取声扫图像的工作量。
步骤s202：提取声扫图像中每个塑封器件样本的局部图像。
本实施例中声扫图像指的是包含多个塑封器件样本的图像，因此还需要按照下述步骤提取声扫图像中每个塑封器件样本的局部图像：
步骤s2021：裁剪去除声扫图像的边界。
本实施例中通过裁剪去除声扫图像的边界，仅保留塑封器件样本的器件主体部分，不仅可以缩小声扫图像的大小，还可以减小后续图像处理的运算量。
步骤s2022：对裁剪后的声扫图像依次进行灰度化处理、滤波、二值化处理和二次滤波处理。
本实施例中首先将裁剪后的声扫图像由rgb图像转换为灰度图。然后对该灰度图进行滤波，以去除孤立存在的噪声点和平滑图像。最后将滤波后的灰度图转换为二值图，并对该二值图进行二次滤波处理，以清楚地显示每个塑封器件样本的轮廓，此时塑封器件样本的引脚区域和器件主体区域为分离状态。
步骤s2023：对经灰度化处理、滤波、二值化处理和二次滤波处理后的声扫图像进行膨胀处理，以使声扫图像中每个塑封器件样本的引脚区域和器件主体区域形成一个连通区域。由前述可知，在经过二值化处理和二次滤波处理后塑封器件样本的引脚部分和器件主体部分为分离状态，因此本实施例中通过膨胀处理可以将每个塑封器件样本的引脚区域和器件主体区域形成一个连通区域。
步骤s2024：获取包含每个连通区域的最小矩形框，并选取所获取的矩形框中长度处于预设长度范围，并且宽度处于预设宽度范围的矩形框。
本实施例中在获取包含每个连通区域的最小矩形框之前，还需要删除图像中孤立存在且面积较小的区域。同时，通过选取矩形框中长度处于预设长度范围，并且宽度处于预设宽度范围的矩形框，可以有效去除矩形框过大或过小的噪声区域，仅保留塑封器件样本的连通区域。
步骤s2025：根据所选取的矩形框，对通过超声波显微镜获取的原始声扫图像进行分割，得到每个塑封器件样本的局部图像。本实施例中在得到每个塑封器件样本的局部图像后，还可以对每个局部图像进行放大处理，以便进行图像特征提取。
参阅附图4，图4示例性示出了本实施例中单个塑封器件的局部图像。如图4所示，本实施例中单个塑封器件的局部图像中主要包括器件主体区域和引脚区域，其中，器件主体区域对应的器件实体部分主要为器件的引线引出端焊板与模塑化合物的分界面，引脚区域对应的器件实体部分主要为器件的引线架。
步骤s203：对所提取的局部图像进行筛选，得到潜在失效样本的局部图像。本实施例中可以按照下述步骤对所提取的局部图像进行筛选，得到发生失效概率较大的潜在失效样本的局部图像：
步骤s2031：对局部图像进初步筛选，得到包含潜在缺陷的局部图像。本实施例中通过超声波显微镜可以将塑封器件样本的潜在缺陷区域在图像中进行高亮显示，例如将潜在缺陷区域显示为红色，其他正常区域显示为非红色。
步骤s2032：对局部图像进行二次筛选，以去除初步筛选得到的局部图像中，潜在缺陷均为噪声点的局部图像；其中，噪声点为在局部图像中孤立存在且面积小于预设阈值的潜在缺陷。
步骤s204：提取潜在失效样本的局部图像的图像特征。
本实施例中在提取图像特征之前，还需要确定潜在失效样本的失效类型，以便针对不同失效类型的潜在失效样本采用不同的方法提取图像特征。具体地，本实施例中可以按照下述步骤确定潜在失效样本类型：
步骤s2041：对潜在失效样本的局部图像依次进行灰度化处理和二值化处理。
步骤s2042：提取经灰度化处理和二值化处理后的局部图像中，潜在失效样本的器件主体轮廓。
参阅附图5，图5示例性示出了本实施例中一种塑封器件样本的器件主体轮廓。如图5所示，本实施例中器件主体轮廓指的是局部图像中器件主体区域对应的器件实体部分的轮廓。
步骤s2043：对经灰度化处理和二值化处理后的局部图像进行膨胀处理，以使潜在失效样本中同一个引脚的各分层区域形成一个连通区域，以及潜在失效样本中器件主体区域形成一个连通区域。本实施例中图像在经二值化处理后，潜在失效样本的引脚区域可能存在分层的分离状态，此时需要通过膨胀处理将同一个引脚的各分层区域形成一个连通区域，即一个整体状态。同时，潜在失效样本的器件主体区域中也可能存在潜在缺陷，致使器件主体区域不是一个完整区域，因此也需要通过膨胀处理将器件主体区域形成一个连通区域，即一个整体状态。
步骤s2044：根据连通区域的形心与器件主体轮廓的位置关系，确定潜在失效样本的失效类型：若所有连通区域的形心均在器件主体轮廓以外，则潜在失效样本为第一失效类型；若所有连通区域的形心均在器件主体轮廓以内，则潜在失效样本为第二失效类型；若器件主体轮廓的内部和外部均包含连通区域的形心，则潜在失效样本为第三失效类型。本实施例中可以在潜在失效样本器件局部图像中构建笛卡尔直角坐标系，然后获取潜在失效样本器件的每个边界在笛卡尔直角坐标系下的位置坐标和连通区域的形心坐标，进而可以得到潜在失效样本的失效类型。
参阅附图6，图6示例性示出了本实施例中一种潜在失效样本局部图像的区域划分方式。如图6所示，本实施例中可以将潜在失效样本的局部图像划分为9个区域，其中，区域5为潜在失效样本的器件主体所在的区域，其他8个区域分别为以区域5为中心呈井字形分布的区域，参数x表示连通区域形心与区域5的左边界的距离，及连通区域形心与右边界的距离中的较小者，参数y表示连通区域形心与区域5的上边界的距离，及连通区域形心与下边界的距离中的较小者。若局部图像中所有连通区域的形心均位于区域1、区域2、区域3、区域4、区域6、区域7、区域8和区域9中任意一个或多个区域时，则对应的潜在失效样本为第一失效类型。若局部图像中所有连通区域的形心均位于区域5时，则对应的潜在失效样本为第二失效类型。若局部图像中既有形心位于区域5的连通区域，也有形心位于其他8个区域的连通区域，则对应的潜在失效样本为第三失效类型。例如，局部图像中连通区域的形心坐标依次为(9，11.89)、(0，12.45)、(0，14.06)和(6.10，22.42)，则对应的潜在失效样本为第一失效类型。局部图像中连通区域的形心坐标均为(0，0)，则对应的潜在失效样本为第二失效类型。局部图像中连通区域的形心坐标依次为(9，11.89)、(0，12.45)和(0，0)，则对应的潜在失效样本为第三失效类型。
继续参阅附图7-9，图7示例性示出了本实施例中一种第一失效类型塑封器件，图8示例性示出了本实施例中一种第二失效类型塑封器件，图9示例性示出了本实施例中一种第三失效类型塑封器件，其中，黑色填充区域即为经步骤s2043得到的连通区域。如图7所示，本实施例中第一失效类型塑封器件的局部图像中所有连通区域的形心均在器件主体轮廓以外，即缺陷区域位于引脚区域。如图8所示，本实施例中第二失效类型塑封器件的局部图像中所有连通区域的形心均在器件主体轮廓内，即缺陷区域位于器件主体区域。如图9所示，本实施例中第三失效类型塑封器件的局部图像中器件主体轮廓内外均包含连通区域的形心，即缺陷区域同时位于器件主体区域和引脚区域。
进一步地，在确定潜在失效样本类型后可以按照下述步骤提取潜在失效样本的局部图像的图像特征：
本实施例中可以按照下式(1)所示的方法提取第一失效类型潜在失效样本的局部图像的图像特征：
公式(1)中各参数含义为：
per1i为第i个缺陷区域的面积areai，与该第i个缺陷区域所处的引脚区域的面积areayi的比值，
在本实施例的一个优选实施方案中，可以按照下式(2)所示的方法确定器件主体区域外每个缺陷区域所处的引脚区域：
min(|xi-xk|+|yi-yk|)(2)
公式(2)中各参数含义为：(xi,yi)为第i个缺陷区域的形心坐标，(xk,yk)为第k个引脚区域的形心坐标。
本实施例中可以按照下式(3)所示的方法提取第二失效类型潜在失效样本的局部图像的图像特征：
公式(3)中各参数含义为：
per2为缺陷区域的面积总和sum(areaj)，与膨胀处理后器件主体区域所对应连通区域的面积areapz的比值，areaj为第j个缺陷区域的面积，η2为修正因子，且
本实施例中可以按照公式(1)所示的第一失效类型潜在失效样本的图像特征提取方法，以及公式(3)所示的第二失效类型潜在失效样本的图像特征提取方法，提取第三失效类型潜在失效样本的局部图像的图像特征。
步骤s205：基于所提取的图像特征，对识别模型进行网络训练，得到优化后的识别模型。
具体地，本实施例中可以基于图像特征，分别对多个预先构建的识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的识别模型。例如，分别对基于logistic多元回归的识别模型、基于自组织竞争神经网络的识别模型、基于概率神经网络的识别模型、基于递归神经网络的识别模型和基于支持向量机的识别模型等模型进行网络训练，选取这些识别模型中识别正确率最高的模型作为最终优化后的识别模型。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明实施例还提供一种塑封器件的失效识别装置。下面结合附图对该塑封器件的失效识别装置进行具体说明。
参阅附图10，图10示例性示出了本实施例中一种塑封器件的失效识别装置的主要结构。如图10所示，本实施例中塑封器件的失效识别装置可以包括图像获取模块11、识别模型12和模型训练模块13，识别模型12为基于机器学习算法构建的模型。其中，图像获取模块11可以配置为通过超声波显微镜获取包含多个塑封器件的声扫图像。识别模型12可以配置为对图像获取模块所获取的声扫图像进行识别，得到失效塑封器件。模型训练模块13可以配置为对识别模型进行网络训练，得到优化后的识别模型。
本实施例中模型训练模块13可以包括图像获取子模块、图像提取子模块、图像筛选子模块、特征提取子模块和训练子模块。其中，图像获取子模块可以配置为通过超声波显微镜获取包含多个塑封器件样本的声扫图像。图像提取子模块可以配置为提取图像获取子模块所获取的声扫图像中每个塑封器件样本的局部图像。图像筛选子模块可以配置为对图像提取子模块所提取的局部图像进行筛选，得到潜在失效样本的局部图像。特征提取子模块可以配置为提取图像筛选子模块筛选得到的潜在失效样本的局部图像的图像特征，训练子模块可以配置为基于特征提取子模块所提取的图像特征，对识别模型进行网络训练，得到优化后的识别模型。
进一步地，本实施例中图像提取子模块可以包括图像预处理单元和局部图像提取单元。
本实施例中图像预处理单元可以配置为执行下述操作：裁剪去除声扫图像的边界。对裁剪后的声扫图像依次进行灰度化处理、滤波、二值化处理和二次滤波处理。对经灰度化处理、滤波、二值化处理和二次滤波处理后的声扫图像进行膨胀处理，以使声扫图像中每个塑封器件样本的引脚区域和器件主体区域形成一个连通区域。
本实施例中局部图像提取单元可以配置为执行下述操作：获取包含每个图像预处理单元得到的连通区域的最小矩形框，并选取所获取的矩形框中长度处于预设长度范围，并且宽度处于预设宽度范围的矩形框。根据所选取的矩形框，对通过超声波显微镜获取的原始声扫图像进行分割，得到每个塑封器件样本的局部图像。
进一步地，本实施例中图像筛选子模块可以包括初步筛选单元和二次筛选单元。其中，初步筛选单元可以配置为对局部图像进初步筛选，得到包含潜在缺陷的局部图像。二次筛选单元可以配置为对初步筛选单元筛选得到的局部图像进行二次筛选，以去除潜在缺陷均为噪声点的局部图像；噪声点为在局部图像中孤立存在且面积小于预设阈值的潜在缺陷。
进一步地，本实施例中特征提取子模块可以包括潜在失效样本类型确定单元，该潜在失效样本类型确定单元可以包括第一图像预处理子单元、器件主体轮廓提取子单元、第二图像预处理子单元和样本失效类型确定子单元。其中，第一图像预处理子单元可以配置为对潜在失效样本的局部图像依次进行灰度化处理和二值化处理。器件主体轮廓提取子单元可以配置为提取经第一图像预处理子单元得到的局部图像中，潜在失效样本的器件主体轮廓。第二图像预处理子单元可以配置为对经第一图像预处理子单元得到的局部图像进行膨胀处理，以使潜在失效样本中同一个引脚的各分层区域形成一个连通区域，以及潜在失效样本中器件主体区域形成一个连通区域。样本失效类型确定子单元可以配置为根据连通区域的形心与器件主体轮廓的位置关系，确定潜在失效样本的失效类型：若所有连通区域的形心均在器件主体轮廓以外，则潜在失效样本为第一失效类型；若所有连通区域的形心均在器件主体轮廓以内，则潜在失效样本为第二失效类型；若器件主体轮廓的内部和外部均包含连通区域的形心，则潜在失效样本为第三失效类型。
进一步地，本实施例中特征提取子模块可以包括第一类型图像特征提取单元、第二类型图像特征提取单元和第三类型图像特征提取单元。其中，第一类型图像特征提取单元可以配置为按照公式(1)所示的方法提取第一失效类型潜在失效样本的局部图像的图像特征。第二类型图像特征提取单元可以配置为按照公式(3)所示的方法提取第二失效类型潜在失效样本的局部图像的图像特征。第三类型图像特征提取单元可以配置为分别控制第一类型图像特征提取单元与第二类型图像特征提取单元，提取第三失效类型潜在失效样本的局部图像的图像特征。
进一步地，本实施例中训练子模块可以包括模型训练单元，该模型训练单元可以配置为基于图像特征，分别对多个预先构建的识别模型进行网络训练，并选取识别正确率最高的识别模型作为最终优化后的识别模型。
进一步地，本实施例中特征提取子模块还可以包括位置关系确定单元，该位置关系确定单元可以配置为执行下述操作：首先，计算连通区域的形心与器件主体轮廓中各边界的距离。其次，根据所计算的距离，确定连通区域的形心与器件主体轮廓的位置关系。
进一步地，本实施例中塑封器件的失效识别装置还可以包括人机交互模块，该人机交互模块可以显示塑封器件的失效识别过程，还可以根据录入的控制指令显示该控制指令所指定的内容。
本领域技术人员可以理解，上述塑封器件的失效识别装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于cpld/fpga、dsp、arm处理器、mips处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图10中示出。
应该理解，图10中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
基于上述塑封器件的失效识别方法实施例，本发明实施例还提供了一种存储装置，该存储装置存储有多条程序，并且这些程序适于由处理器加载并执行以实现上述方法实施例所述的塑封器件的失效识别方法。
进一步地，基于上述塑封器件的失效识别方法实施例，本发明实施例还提供了一种处理装置，该处理装置包括处理器和存储设备，其中，处理器可以适于执行各条程序，存储设备可以适于存储多条程序，并且这些程序可以适于由处理器加载并执行以实现上述方法实施例所述的塑封器件的失效识别方法。
本领域技术人员可以理解，可以对实施例中装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，pc程序和pc程序产品)。这样的实现本发明的程序可以存储在pc可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的pc来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！