一种缺陷检出方法及系统与流程

1.本技术涉及缺陷检测技术领域，具体而言，涉及一种缺陷检出方法及系统。


背景技术：

2.在工业缺陷检测领域，常需要检测显示屏等物品是否存在缺陷，不存在缺陷的物品即为成品。
3.在缺陷检测过程中，通常需根据质检规格书中的缺陷尺寸要求，对缺陷进行卡控，此时，则需要在缺陷检测软件中，根据相应规格书中的缺陷尺寸卡控要求改变代码，以使缺陷检测软件能够准确实现缺陷检出的要求，然后进行缺陷检测过程。
4.然而，当待检测品不同时，或者要求检出的缺陷类型变化时，为了顺利使缺陷检测软件准确判定缺陷，开发人员需要及时变更代码，以适应不同缺陷的检出过程，比较繁琐，且变更周期长。


技术实现要素：

5.为了解决通过改变代码的方式使缺陷检测软件准确判定各类缺陷的过程比较繁琐的问题，本技术提供了一种缺陷检出方法及系统。
6.本技术的实施例是这样实现的：
7.本技术实施例的第一方面提供一种缺陷检出方法，包括：
8.确定用于描述缺陷的特征，基于所述特征的使用频率，对所述特征进行排序，排序后的特征组成规则集，不同所述规则集用于检出特征不同的缺陷；
9.通过预设规则，将所述规则集与配置文件用的编码建立关系，以配置文件后顺利读取出对应的规则集中的特征；
10.提取接收图像中的缺陷区域，作为候选缺陷判定区域；
11.计算所述候选缺陷判定区域的各个特征的值，得到第一特征值集，所述第一特征值集中的特征与相应规则集中特征的类型相同；
12.当所述第一特征值集中各特征值与用于单缺陷判定的质检规格书中相应数据参数对应后，获取该所述规则集对应的候选缺陷判定区域，并输出为单缺陷区域。
13.在一些实施例中，在将所述规则集与配置文件用的编码建立关系步骤中，进一步包括：
14.将不同所述规则集设置为不同的十进制编码，以使所述十进制编码解码后，形成的二进制能够准确表达所述规则集中的特征排序；
15.其中，所述二进制中32位二进制比特的值与所述规则集中的特征按照预设规则对应。
16.在一些实施例中，所述预设规则如下：
17.设定所述二进制比特中的
″1″
对应所述规则集中的特征；
18.将所述规则集中的特征与所述二进制比特中的值从右向左一一对应；
19.依据所述规则集中的特征顺序，选择对应的二进制进行编码。
20.在一些实施例中，在计算所述候选缺陷判定区域的各个特征的值，得到第一特征值集步骤中，还包括：
21.获取所述候选缺陷判定区域的第一因素的参数值大于第一阈值，且第二因素的参数值大于第二阈值时对应的区域，作为筛选后的第一区域；所述第一因素为所述规则集中使用频率最高的因素，所述第二因素的使用频率次之；
22.根据所述第一区域的面积对所述第一区域进行排序，选取第一数量的第一区域作为候选区域；
23.计算所述候选区域的各个特征的值，得到所述第一特征值集。
24.在一些实施例中，对于所述缺陷区域存在多缺陷情况时，去除所述候选缺陷判定区域中单缺陷区域后的剩余区域为第二区域，所述方法还包括：
25.基于相应规则集中的相邻距离，对所述第二区域做合并处理，以使所述第二区域中相邻距离小于第三阈值的区域合并为合并区域；
26.计算所述合并区域中的各个特征的值，得到第二特征值集；其中，所述第二特征值集中的特征与相应规则集中特征的类型相同；
27.当所述第二特征值集中各特征值与用于多缺陷判定的质检规格书中相应数据参数对应后，获取该所述规则集对应的合并区域，并输出为多缺陷区域。
28.在一些实施例中，在基于相应规则集中的相邻距离，对所述第二区域做合并处理步骤中，所述合并区域的类型与所述相邻距离的种类数相同。
29.在一些实施例中，将所述单缺陷区域和/或所述多缺陷区域通过深度学习分类模型进行判定，当被所述深度学习分类模型判定为真实缺陷，则将所述单缺陷区域和/或所述多缺陷区域作为最终缺陷输出。
30.本技术实施例的第二方面提供一种缺陷检出系统，包括：
31.构建特征规则模块，用于确定用于描述缺陷的特征，基于所述特征的使用频率，对所述特征进行排序，排序后的特征组成规则集，不同所述规则集用于检出特征不同的缺陷；
32.构建配置关系模块，用于通过预设规则，将所述规则集与配置文件用的编码建立关系，以配置文件后顺利读取出对应的规则集中的特征；
33.图像采集模块，用于提取接收图像中的缺陷区域，作为候选缺陷判定区域；
34.特征值计算模块，用于计算所述候选缺陷判定区域的各个特征的值，得到第一特征值集，所述第一特征值集中的特征与相应规则集中特征的类型相同；
35.确定缺陷区域模块，用于当所述第一特征值集中各特征值与用于单缺陷判定的质检规格书中相应数据参数对应后，获取该所述规则集对应的候选缺陷判定区域，并输出为单缺陷区域。
36.在一些实施例中，当将所述规则集与配置文件用的编码建立关系时，所述构建配置关系模块还用于：
37.将不同所述规则集设置为不同的十进制编码，以使所述十进制编码解码后，形成的二进制能够准确表达所述规则集中的特征排序；
38.其中，所述二进制中32位二进制比特的值与所述规则集中的特征按照预设规则对应。
39.在一些实施例中，所述预设规则如下：
40.设定所述二进制比特中的
″1″
对应所述规则集中的特征；
41.将所述规则集中的特征与所述二进制比特中的值从右向左一一对应；
42.依据所述规则集中的特征顺序，选择对应的二进制进行编码。
43.本技术的有益效果：通过依据预设规则，将规则集与配置文件用的编码建立关系的方式，可以实现在不需要变更编码的基础上，有效对不同质检规格书中缺陷基准进行卡控，灵活调整，且可有效缩短变更周期，且通过文件配置，使后续过程能够对规则集中的特征值进行计算及与质检规格书中相应数据参数对应，不再需要改变代码来让测试软件适用于多种缺陷的检测，有助于高效且准确地确定各类缺陷。
附图说明
44.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1为根据本技术一些实施例的缺陷检出方法的流程图；
46.图2为单缺陷示例图；
47.图3为多缺陷示例图；
48.图4为根据本技术另一些实施例的缺陷检出方法的流程图；
49.图5为根据本技术一个或多个实施例的缺陷检出系统的结构示意图；
50.图6为根据本技术一个或多个实施例的缺陷检出设备的结构示意图。
具体实施方式
51.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
52.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
53.本技术中说明书和权利要求书及上述附图中的术语
″
第一
″
、
″
第二
″
、
″
第三
″
等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
54.术语
″
包括
″
和
″
具有
″
以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
55.图1为缺陷检出方法的流程示意图。如图1所示，缺陷检出方法包括以下步骤：
56.在步骤100中，确定用于描述缺陷的特征，基于特征的使用频率，对特征进行排序，排序后的特征组成规则集，排序后的特征的顺序不再改变，不同规则集用于检出特征不同的缺陷。
57.其中，缺陷包括图2所示的单缺陷和图3所示的多缺陷，多缺陷指的是在一定相邻距离内存在至少两个符合规则集的缺陷。规则集中的特征包括但不限于面积、长度、宽度、对比度、长宽比、角度、弯曲度、圆度、数量及相邻距离等特征的不同组合。且由于缺陷形态、数量等差异较大，因此需要不同的特征组合规则集来完成对缺陷的卡控。例如，单点类缺陷卡控特征包括面积及对比度等；多点类缺陷卡控特征包括面积、对比度、相邻距离及数量等；线类缺陷类似，也需要多特征组合后形成的规则集进行卡控。且可以理解的是，对于不同缺陷而言，可通过限定相应特征中的参数，以精确确定缺陷类型，如将规则集中的面积这一特征设置面积参数为100-200时，则表明后期需要筛选面积为100-200的缺陷。由此可见，规则集是可扩展的，在一组规则集中可以有多套特征参数，以用于检出特征值不同的缺陷。
58.在步骤200中，通过预设规则，将规则集与配置文件用的编码建立关系，以配置文件后顺利读取出对应的规则集中的特征。
59.在一些实施例中，可将不同规则集设置为不同的十进制编码，以使十进制编码解码后，形成的二进制能够准确表达规则集中的特征排序。由于编程语言c++中的int型变量占二进制32位比特，因此可将规则集中的特征与二进制中32位比特的值按照预设规则对应。其中，预设规则可通过人为设定完成。例如在一些实施例中，预设规则为：设定二进制比特中的“1
″
对应规则集中的特征；然后将规则集中的特征与二进制比特中的值从右向左一一对应；依据规则集中的特征顺序，选择对应的二进制进行编码。例如，单点类特征规则集为面积及对比度，故可采用二进制0b1001来表示，此时，可看出面积在第1位、对比度是第4位，将0b1001转为十进制，为9；对于多点类特征规则集为面积、对比度、相邻距离及数量时，可通过二进制0b1100001001来表示，此时，面积是第1位、对比度第4位、数量是第9位、相邻距离是第10位，将0b1100001001转为十进制为309。
60.综合可知，当将二进制中32位二进制比特的值与规则集中的特征按照上述预设规则对应后，可将相应的二进制转化为对应的十进制，存储于配置文件中。即在配置文件中，根据质检规格书，将不同规则集设置成不同的十进制编码，软件读取十进制编码后，能够转为按上述预设规则根据特征固定顺序(面积、长度、宽度、对比度、长宽比、角度、弯曲度、圆度、数量、相邻距离)而设置的二进制编码，再反向解码为相应的包括面积、长度....等特征的组合。例如在配置文件中有如下配置：
61.algconfig.ini文件中：
62.[规则集1]
[0063]
单点＝9
[0064]
[规则集2]
[0065]
多点＝309
[0066]
通过读取配置文件中的规则集编码，十进制转二进制，如单点的编码是9，二进制是0b1001，解码出特征：面积、对比度，多点的编码是309，二进制是ob1100001001，多点解码出特征：面积、对比度、数量、相邻距离。
[0067]
显而易见，编码为十进制后，只有知道特征解码规律的人员才可以改动配置文件，确保了配置文件的保密性。且需要说明的是，配置文件还以为其他文件比如xml及txt等，而并不不限于ini类型文件。
[0068]
需要说明的是，当规则集与配置文件用的编码建立关系后，则可通过配置文件决
定后续处理步骤中针对不同缺陷应该使用哪些特征，且配置文件只在配置参数时使用，后续的步骤计算与配置文件无关。整个过程中，不再需要改动软件代码，只需要根据用于判定缺陷的质检规格书进行文件配置，选择后续处理步骤中的参数即可，比较便捷。
[0069]
在步骤300中，提取接收图像中的缺陷区域，作为候选缺陷判定区域。
[0070]
其中，接收的图像的面积可为16900像素
×
1400像素，图像单个像素的分辨率可为10μm，通过缺陷提取算法可在图像上提取出候选缺陷判定区域。需要说明的是，由于缺陷种类不同、形态不同、亮暗极性不同、所处位置不同及图像背景不同，因此缺陷提取算法也是多种多样的，例如提取算法包括但不限于固定阈值提取算法、动态阈值提取算法、边缘梯度提取算法、弱对比度缺陷提取算法及深度学习分割算法等。本实施例中以动态阈值算法为例来提取缺陷区域，获取候选缺陷判定区域a0s。
[0071]
在步骤400中，计算候选缺陷判定区域的各个特征的值，得到第一特征值集，第一特征值集中的特征与相应规则集中特征的类型相同。
[0072]
在一些实施例中，可对候选缺陷判定区域a0s进行简单筛选，通过获取候选缺陷判定区域a0s的第一因素的参数值大于第一阈值，且第二因素的参数值大于第二阈值时对应的区域，作为筛选后的第一区域a1s；第一因素为规则集中使用频率最高的因素，第二因素的使用频率次之。例如当第一因素为面积，第二因素长度时，且第一阈值为10个像素，第二阈值为3个像素，计算候选缺陷判定区域as0的面积及长度，过滤掉面积小于10及长度小于3的区域，剩余的区域即为筛选后的第一区域a1s。需要说明的是，第一阈值及第二阈值的具体取值是需要根据实际要求检出缺陷的类型进行确定，且第一阈值及第二阈值也可通过以毫米或者微米计的实际物理距离表示。
[0073]
根据第一区域a1s的面积对第一区域a1s进行排序，选取第一数量的第一区域a1s作为候选区域a2s。在一些实施例中，根据第一区域a1s的面积对第一区域a1s进行降序排序，筛选出面积从大到小的前n个第一区域a1s作为候选区域a2s。n即为第一数量，例如，n可取100，如果第一区域a1s的数量在100个以下，则不再对第一区域a1s进行排序，所有的第一区域a1s全部保留；当第一区域a1s的数量大于100个时，才将第一区域a1s排序后保留前100个面积较大的候选区域a2s，进行后续步骤。此步骤可滤除绝大部分的小面积干扰区域，加速后续处理及计算过程。
[0074]
可以理解的是，对于第一区域a1s而言，一般均可根据第一区域a1s的面积对第一区域a1s排序，以选取第一数量的第一区域a1s作为候选区域a2s，对于一些特殊情况，也可根据第一区域a1s的长度对第一区域a1s排序，以筛选出第一数量的第一区域a1s作为候选区域a2s。
[0075]
通过上述对选缺陷判定区域a0s的后处理，能够滤出较多的干扰项，既有助于简化后处理过程，也有助于提高缺陷检测的准确度。
[0076]
需要说明的是，为了节约计算时间，且使计算结果准确，不会计算候选区域a2s中诸如面积、长度、宽度、对比度、长宽比、角度、弯曲度、圆度及数量等所有特征，而只计算候选区域a2s中对应于相应规则集中的特征的值，各特征值形成第一特征值集。
[0077]
在步骤500中，当第一特征值集中各特征值与用于单缺陷判定的质检规格书中相应数据参数对应后，获取该规则集对应的候选缺陷判定区域，并输出为单缺陷区域。
[0078]
可以理解的是，在质检规格书中，一般会存在单个严重缺陷，单个缺陷既可以是点
缺陷，也可以是线缺陷，故当第一特征值集中的各特征的值满足质检规格书中的相应数据参数，则当将候选缺陷判定区域进行后处理后，可将对应的候选区域a2s认为是单缺陷区域，记为ng-s。
[0079]
由于在工业检测过程中，除了比较严重的单缺陷外，常常存在需要检测多缺陷的情况，因此，在一些实施例中，对于缺陷区域存在多缺陷情况时，如图4所示，缺陷检出方法还包括以下步骤：
[0080]
步骤610中，去除候选区域a2s中单缺陷区域ng-s后的剩余区域为第二区域a3s，基于相应规则集中的相邻距离，对第二区域a3s做合并处理，以使第二区域a3s中相邻距离小于第三阈值的区域合并为合并区域。
[0081]
在一些实施例中，合并处理是通过用相邻距离作为半径，构建结构元膨胀区域，然后再通过连通性计算实现，在另一些实施例中，也可通过提取图像中的连通分量，对连通分量进行合并，得到合并过程产生的多个合并区域的方式获得合并区域usk。通过合并处理步骤，就能够知道局部范围内属于同一范围内的区域，不在这个范围内的区域，不会合并到一起。由于在步骤100中，不同规则集中的规则，会有不同相邻距离，比如，多点类的相邻距离值和多线类的相邻距离值是不同的，故存在多少种相邻距离，就可得到多少种不同的合并区域usk。如在一些实施例中，依据多点类规则集中的相邻距离限制合并区域a3s，得到区域us1，根据多线类规则的相邻距离限制合并区域a3s，可以得到us2。同理，可得到us3....usk(k＝1，2，3......n)，n为规则集中相邻距离的种类数。需要说明的是，第三阈值也是根据实际情况进行人为设定的。
[0082]
步骤620中，计算合并区域中的各个特征的值，得到第二特征值集；其中，第二特征值集中的特征与相应规则集中特征的类型相同。
[0083]
可以理解的是，该步骤与步骤400中计算候选区域a2s的各个特征的值的过程相同，只计算各个合并区域usk对应于相应规则集中的特征的值，各特征值形成第二特征值集。
[0084]
步骤630中，当第二特征值集中各特征值与用于多缺陷判定的质检规格书中相应数据参数对应后，获取该规则集对应的合并区域，并输出为多缺陷区域。
[0085]
其中，在合并区域usk中，根据多点类规则集或者多线类规则集中的特征阈值，筛选出多缺陷区域，多缺陷区域可记为ng-m。
[0086]
其中，需要说明的是，步骤500中筛选的单缺陷区域ng-s及步骤630中筛选的多缺陷区域ng-m可以直接混合输出，作为最终缺陷ng-final，也可作为最终缺陷ng-final分别输出。
[0087]
在一些实施例中，也可以认为提取的单缺陷区域ng-s及多缺陷区域ng-m为疑似缺陷，此时，可将单缺陷区域ng-s和/或多缺陷区域ng-m通过深度学习分类模型进行判定，当被深度学习分类模型判定为真实缺陷，才将单缺陷区域ng-s和/或多缺陷区域ng-m作为最终缺陷输出。
[0088]
可以理解的是，可将获取的单缺陷区域ng-s或者多缺陷区域ng-m单独交由深度学习分类模型进行判定，也可将单缺陷区域ng-s及多缺陷区域ng-m汇总后形成第三区域ng-med后，再将第三区域ng-med交由深度学习分类模型进行进一步判定，若深度学习分类模型判定为真实缺陷ng，则将单缺陷区域ng-s和/或多缺陷区域ng-m作为最终缺陷ng-final输
出。通过上述复判步骤，有助于使最终输出的缺陷准确度更高。
[0089]
如图5所示，本技术第二方面还提供一种缺陷检出系统，具体包括构建特征规则模块、构建配置关系模块、图像采集模块、特征值计算模块和确定缺陷区域模块，具体的：
[0090]
构建特征规则模块用于确定用于描述缺陷的特征，基于特征的使用频率，对特征进行排序，排序后的特征组成规则集，不同规则集用于检出特征不同的缺陷。
[0091]
构建配置关系模块用于通过预设规则，将规则集与配置文件用的编码建立关系，以配置文件后顺利读取出对应的规则集中的特征。
[0092]
图像采集模块用于提取接收图像中的缺陷区域，作为候选缺陷判定区域。
[0093]
特征值计算模块用于计算候选缺陷判定区域的各个特征的值，得到第一特征值集，第一特征值集中的特征与相应规则集中特征的类型相同。
[0094]
确定缺陷区域模块用于当第一特征值集中各特征值与用于单缺陷判定的质检规格书中相应数据参数对应后，获取该规则集对应的候选缺陷判定区域，并输出为单缺陷区域。
[0095]
在一些实施例中，在将规则集与配置文件用的编码建立关系时，构建配置关系模块还用于将不同规则集设置为不同的十进制编码，以使十进制编码解码后，形成的二进制能够准确表达规则集中的特征排序；其中，二进制中32位二进制比特的值与规则集中的特征按照预设规则对应。
[0096]
在一些实施例中，预设规则如下：设定二进制比特中的
″
1”对应规则集中的特征；将规则集中的特征与二进制比特中的值从右向左一一对应；依据规则集中的特征顺序，选择对应的二进制进行编码。
[0097]
在一些实施例中，在计算所述候选缺陷判定区域的各个特征的值，得到第一特征值集时，特征值计算模块还用于获取候选缺陷判定区域的第一因素的参数值大于第一阈值，且第二因素的参数值大于第二阈值时对应的区域，作为筛选后的第一区域；第一因素为规则集中使用频率最高的因素，第二因素的使用频率次之；根据第一区域的面积对第一区域进行排序，选取第一数量的第一区域作为候选区域；计算所述候选区域的各个特征的值，得到所述第一特征值集。
[0098]
在一些实施例中，系统还包括合并模块，对于缺陷区域存在多缺陷情况时，合并模块用于通过去除候选缺陷判定区域中单缺陷区域后的剩余区域作为第二区域，并基于相应规则集中的相邻距离，对第二区域做合并处理，以使第二区域中相邻距离小于第三阈值的区域合并为合并区域；此时，特征值计算模块还用于计算合并区域中的各个特征的值，得到第二特征值集；其中，第二特征值集中的特征与相应规则集中特征的类型相同；确定缺陷区域模块还用于当第二特征值集中各特征值与用于多缺陷判定的质检规格书中相应数据参数对应后，获取该规则集对应的合并区域，并输出为多缺陷区域。
[0099]
在一些实施例中，在基于相应规则集中的相邻距离，对第二区域做合并处理时，合并区域的类型与相邻距离的种类数相同。
[0100]
在一些实施例中，系统还包括复判模块，复判模块用于将单缺陷区域和/或多缺陷区域通过深度学习分类模型进行判定，当被深度学习分类模型判定为真实缺陷，则将单缺陷区域和/或多缺陷区域作为最终缺陷输出。
[0101]
第三方面，如图6所示，本技术还提供了一种缺陷检出设备，具体包括：存储器和处
理器，存储器用于缺陷检出程序，处理器运行缺陷检出程序，以使缺陷检出设备执行上述第一方面中缺陷检出方法。
[0102]
本技术实施例的第四方面提供一种计算机可读存储介质，计算机可读存储介质上存储有缺陷检出程序，缺陷检出程序被处理器执行时实现第一方面中缺陷检出方法。
[0103]
本部分实施例的有益效果在于，通过依据预设规则，将规则集与配置文件用的编码建立关系的方式，可以实现在不需要变更代码的基础上，有效对不同质检规格书中缺陷基准进行卡控，且可有效缩短变更周期，且通过文件配置，使后续过程对规则集中的特征值进行计算及与质检规格书中相应数据参数对应，有助于高效且准确地确定各类缺陷；进一步依据不同类型设定不同规则集，并配置相应的配置文件，能够对多形态或者不同数量限制的缺陷准确检出。进一步通过深度学习分类模型判定单缺陷区域及多缺陷区域是否是真实缺陷，进一步使检出的最终的缺陷是真实缺陷。
[0104]
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。