一种小样本缺陷分类方法和装置与流程

本发明涉及工业产品的缺陷检测技术领域，特别涉及一种小样本缺陷分类方法和装置。

背景技术：

在精密产品的制造过程中，工艺的不稳定、机械定位精度不够高、以及厂房内的环境因素等经常会使生产出来的产品具有各种形态的缺陷(不良)。传统方法中，产品的缺陷检测一般通过人工检验来完成，人力需求大，劳动强度大，容易因疲劳造成检验质量的波动。随着技术条件的不断成熟，基于人工智能的产品自动缺陷分类方法正成为传统精密制造业向智能制造转变的重要一环。

然而，在产品的制造前期，不良样本(产品)通常很少，现有的分类算法也难以达到产线的要求，经常存在漏检的问题。

技术实现要素：

鉴于现有技术缺陷检测样本少、存在漏检的问题，提出了本发明的一种小样本缺陷分类方法和装置，以便克服上述问题。

为了实现上述目的，本发明采用了如下技术方案：

依据本发明的一个方面，提供了一种小样本缺陷分类方法，该方法包括：

对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；

对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；

根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。

可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：

根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。

可选地，所述方法包括：

将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，将待测目标原图像按照主要部件和次要部件分割成各子图像；和/或，

确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像；和/或，

确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。

可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：

将待测目标的原图像分割成分别包含不同部件的前景图像和背景图像。

可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：

利用训练样本训练unet算法模型，通过训练后的unet算法模型分割所述原图像；

所述对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，包括：

对应每个子图像以及原图像，分别训练得到对应的tadam(taskdependentadaptivemetricforimprovedfew-shotlearning)算法模型，使用对应的tadam算法模型分别得到每个子图像的分类结果和原图像的分类结果。

可选地，该方法还包括：为不同的缺陷类别设置优先级；

所述根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别，包括：

当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；

当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。

可选地，所述当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别，包括：

在所有子图像和原图像的分类结果中，若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；

当缺陷类别属于同一优先级时，通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。

可选地，所述方法还包括：为每个部件设置一个或多个缺陷类别，不同部件的相同缺陷类别的优先级相同或不同。

可选地，该方法还包括：在对待测目标图像进行部件分离之前，对待测目标图像进行预处理，所述预处理包括图像尺寸变换和/或图像中目标朝向归一化。

依据本发明的另一个方面，提供了一种小样本缺陷分类装置，该装置包括：部件分离模块、分支分类模块和逻辑输出模块；

所述部件分离模块，用于对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；

所述分支分类模块，用于对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；

所述逻辑输出模块，用于根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。

可选地，所述逻辑输出模块，具体用于：

为不同的缺陷类别设置优先级；

当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；

当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别：若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；若缺陷类别属于同一优先级，则通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。

综上所述，本发明的有益效果是：

本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，能够降低缺陷识别的复杂度，从而提高了缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。

附图说明

图1为本发明一个实施例提供的一种小样本缺陷分类方法流程示意图；

图2为本发明一个实施例提供的一种待测目标原始图像分割为前景图像和背景图像的缺陷类别示意图；

图3为如图2所示待测目标的缺陷分类流程示意图；

图4为本发明一个实施例提供的一种小样本缺陷分类装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

本发明的技术构思是：本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，能够降低缺陷识别的复杂度，从而提高了缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。

图1为本发明一个实施例提供的一种小样本缺陷分类方法流程示意图，该方法可以应用到精密加工制造行业的各类工件检测中。如图1所示，该小样本缺陷分类方法包括：

步骤s110：对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像。

申请人在识别缺陷类别的实践工作中发现，待测目标例如工件经常可以分离为主要部件和次要部件，工件的不良特征(如缺陷)经常和不同的部件相关，与主要部件相关的缺陷可以更准确、有效地反映所检查的工件的缺陷类别；因此，将工件进行部件分割后再进行缺陷分类，可以在小样本的情况下显著提升分类算法的性能。

步骤s120：对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，分类结果包括缺陷类别和对应的类别概率。

对分割后的各子图像进行分类算法分类，可以分部件地获取缺陷类别信息，分类更为准确。同时，为了进一步提高算法性能，本实施例中还对原始的完整原图像进行了分类，以尽可能全面获取待测目标的缺陷信息，实现对待测目标是否存在缺陷的综合、准确判断。

步骤s130：根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。至此，本实施例就完成了对待测目标多个部件子图像和完整原图像的分支分类过程，从而可以全面获取待测目标的缺陷信息，做出准确的缺陷判断。

通过上述实施例，本申请能够从待测目标的整体和各部件的角度触发，分别对缺陷类别进行分类识别，从而准确全面地获取待测目标的缺陷特征，由于分割后的各部件通常可以重点凸显出某一类或几类缺陷特征，从而，本申请可以在缺少不良样本的情况下，更加准确地识别出重要的缺陷类别，克服了现有技术自动化缺陷检测算法需要基于大数据、大模型才能准确识别待测目标(如工件)不良特征的问题，更加适用于工业产线的要求。

在本申请的一个实施例中，对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。

根据待测目标各部件功能的不同，其反映不良特征的能力也有大小之分，通过主要部件和次要部件的划分，可以更加准确地使用各部件进行对应缺陷的分类。在本申请的优选实施例中，通过将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，将待测目标原图像按照主要部件和次要部件分割成各子图像，主要部件和次要部件的划分，不一定需要将所有部件进行分割，主要部件和次要部件都可以包括一个或多个部件。

此外，由于待测目标的不良特征通常和不同的部件相关，因此，还可以按照位置将各部件进行分割，分别通过不同的部件分别进行缺陷分类。具体地，在优选实施例中，通过确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像。

再次，还可以根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。不同部件的表观特征，例如是颜色、纹理等在待测目标表面可识别的特征，在本申请的优选实施例中，通过确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。

当然，实际应用中可以依据待测目标图像的可分离性、不良类别的可拆分性以及算法的整体性能等方面综合考虑，以确定分离的部件的个数和具体的分离部件。

例如，在本申请的一个实施例中，对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，具体包括：将待测目标的原图像分割成前景图像和背景图像。

在本申请的一个实施例中，该方法还包括：为不同的缺陷类别设置优先级。则步骤s130中，根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别，包括：当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品。当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。

由于本申请的小样本缺陷分类方法具有多个分类分支，因此可能出现检测出多个缺陷的问题，为了确定最主要的缺陷问题，本实施例为缺陷类别设置了优先级，从而确定输出最重要的缺陷类别。

优选地，本实施例中为每个部件设置一个或多个缺陷类别，且不同部件可以存在相同的缺陷类别，不同部件的相同缺陷类别的优先级可以相同或不同。

在本申请的一个优选实施例中，当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别，包括：

在所有子图像和原图像的分类结果中，若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；当缺陷类别属于同一优先级时，通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。通过对缺陷类别优先级的使用以及类别概率的比较，就可以确定出最重要的缺陷类别，以检测工业产线和产品的问题，提高工业产品的质量。

参考图2和图3所示实施例，以工业制造中常见的点焊图像为待测目标，举例说明本申请小样本缺陷分类方法的工作原理。

工业制造常见的点焊图像中，由于焊盘和焊点能够通过“存在杂质”的缺陷特征体现焊接工艺问题，因此可以作为起主要作用的主要部件，从而将主要部件焊盘和焊点与次要部件铜线进行分割。此外，根据相对位置关系，铜线处于焊盘、焊点上方(即正面图像的前方)，因此也可以通过图像中前后位置关系实现图像分割。再次，铜线呈现红铜色，而焊盘和焊点呈现灰色，还可以通过颜色表观特征，将铜线和焊盘、焊点分割。

本实施例中，如图2所示，点焊原始图像被分割为前景(铜线)和背景(焊盘+焊点)两部分，并且铜线、焊盘和焊点两部件子图像分别设置有多种缺陷：部分不良(例如引线翘起、无引线、残线等)仅仅与铜线有关，因此，“引线翘起、无引线、残线”为铜线独有的缺陷类别；部分不良(如杂质、烫伤等)仅仅与焊盘和焊点相关，因此，“杂质、烫伤”为焊盘+焊点独有的缺陷类别；部分不良(锡球、裁断等)与铜线和焊盘、焊点都可能有关，因此，“锡球、裁断”为铜线、焊盘+焊点共同拥有的相同缺陷类别(见图2中类别序号12和14)。如图2所示，本实施例将点焊原始图像分割为前景(铜线)和背景(焊盘+焊点)两部分，通过将不同的缺陷类别拆分到不同的部件上，可以在小样本的情况下显著提升分类算法的性能。

具体地，本实施例的分割过程使用现有的unet算法。unet算法包括卷积部分(特征提取)和上采样部分，卷积部分随着卷积层数的增加产生的特征尺度逐渐减小；上采样部分用来将卷积部分产生的小尺度特征图还原到原始图像大小；而且卷积部分中每个池化(pooling)层前的激活值会拼接(concatenate)到对应的上采样层的激活值中。

本申请利用训练样本训练unet算法模型，并通过训练后的unet算法模型分割原图像。其中，训练样本是已经划分好前景部分和背景部分的图像，前景部分标注为白色像素，背景部分标注为黑色像素，以构成二值标签数据，通过训练样本和标签数据对unet网络进行训练，以得到训练后的分割模型。当然，其他种类的图像分割算法也可应用于本申请中，在此不一一赘述。

如图2所示，分割后的前景和背景子图像分类检测中，ng代表检测结果存在不良，ok代表检测结果良好。ng和ok下方的数字表示缺陷类别序号，其中，00表示良品，即没有缺陷。

本实施例的算法整体框架如图3所示，优选地，该实施例中首先对待测目标原图像进行了预处理，预处理包括图像尺寸变换和/或图像中目标朝向归一化等，使图像的尺寸大小更加适合对应的分割算法模型，并保证图中工件的朝向一致，提高分割算法的准确性；再利用图像分割算法将原始图像分离为前景图像和背景图像；然后分别利用前景模型、背景模型对前景图像、背景图像进行分类；同时利用全图模型对全图进行分类，最后，将三个分类模型的输出结果进行综合决策，并输出对应的缺陷类别标号和类别概率。

本实施例中，各分支的分类模型均采用tadam(taskdependentadaptivemetricforimprovedfew-shotlearning)算法模型。对应每个子图像以及原图像，分别训练得到对应的tadam算法模型，使用对应的tadam算法模型分别得到每个子图像的分类结果和原图像的分类结果。

如图3所示，分类算法的输出结果为ok(良品)或者不同的ng名称(缺陷类别)，以及对应的概率；然后由输出逻辑判断模块综合上述结果进行图像的最终类别判定。以本实施例为例，判断方式主要包括如下三种：

第一种：当所有子图像和原图像的分类结果均指示不存在缺陷时，即当背景分支、前景分支和全图分支均输出为ok时，输出逻辑判断模块输出ok，即表明点焊图像无缺陷。

第二种：当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，即当背景分支、前景分支和全图分支的其中一个输出为ng时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。该第二种判断方式又分为如下两种情况：

情况一：若分类结果中缺陷类别属于不同优先级，即当有分支输出ng，且ng的缺陷类别属于不同优先级时，如果较高优先级只有一种则直接输出该ng缺陷类别。

情况二：若分类结果中缺陷类别属于同一优先级，即当有分支输出ng，且ng的缺陷类别属于同一优先级时，采用投票原则，得票多数者作为输出结果。若缺陷类别得票相同，则按照该缺陷类别对应的类别概率的数值，数值高的作为输出结果。

以本实施例点焊图像为例进行简单说明：在点焊图像缺陷判别中，杂质(由背景分支输出的判断结果)等缺陷可能是由工艺或者机械造成的，若不及时处理会造成更多产品出现缺陷；而引线翘起(由前景分支输出的判断结果)只是由单个产品造成的，属于意外现象，出现后准确夹出即可；因此，杂质缺陷的优先级高于引线翘起缺陷。若杂质和引线翘起两种缺陷同时出现在一个产品上时，需要输出为杂质缺陷，从而确定出最重要的缺陷类别。

本申请还公开了一种小样本缺陷分类装置，如图4所示，该装置包括：部件分离模块410、分支分类模块420和逻辑输出模块430。

部件分离模块410，用于对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像。

分支分类模块420，用于对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，分类结果包括缺陷类别和对应的类别概率。

逻辑输出模块430，用于根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。

在本申请的一个优选实施例中，逻辑输出模块430，具体用于：为不同的缺陷类别设置优先级；当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别：若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；若缺陷类别属于同一优先级，则通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。

在本申请的一个优选实施例中，逻辑输出模块430为每个部件设置一个或多个缺陷类别，且不同部件的相同缺陷类别的优先级可以相同或不同。

在本申请的一个优选实施例中，部件分离模块410，具体用于：根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。

在本申请的一个实施例中，部件分离模块410具体可以用于：将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，从而将待测目标原图像按照主要部件和次要部件分割成各子图像；和/或，确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像；和/或，确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。

在本申请的一个实施例中，部件分离模块410具体还可以用于：将待测目标的原图像分割成分别包含不同部件的前景图像和背景图像，前景图像和背景图像即为分割后的子图像。

在本申请的一个实施例中，在选择对应的算法模型时，部件分离模块410选择使用unet算法模型，利用训练样本训练unet算法模型，通过训练后的unet算法模型分割所述原图像；分支分类模块420选择使用tadam算法模型，对应每个子图像以及原图像，分别训练得到对应的tadam算法模型，使用对应的tadam算法模型分别得到每个子图像的分类结果和原图像的分类结果。

在本申请的一个实施例中，该小样本缺陷分类装置还包括图像预处理模块，图像预处理模块用于：在对待测目标图像进行部件分离之前，对待测目标图像进行预处理，图像预处理包括图像尺寸变换和/或图像中目标朝向归一化，以使图像更好的适配算法模型。

本申请的小样本缺陷分类装置各模块具体实现方法和功能与上述小样本缺陷分类方法步骤相对应，在此不一一重复。

综上所述，本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，将不同的缺陷类别拆分到不同的部件上进行检测，能够降低缺陷识别的复杂度，在小样本的情况下可以显著提升分类算法的性能，从而提高缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。