一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统与流程

1.本发明涉及缺陷检测技术领域，具体而言，涉及一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统。


背景技术：

2.显示面板加工工厂在生产面板过程中会产生很多缺陷，然而整个面板的生产工艺流程复杂、生产周期长，从基板到生产加工完毕常常需要较长的时间，因此在每个工艺段产生的缺陷都需要时刻监控，避免缺陷流入下一道制程造成良率的降低。缺陷检测过程需要检测出缺陷并判断缺陷类型，传统的缺陷检测依赖人工判图，人工成本高，并且由于人工的主观性和疲惫工作状态，导致判图准确率不高；因此，基于节省人力和时间成本的考虑，广泛采用基于人工智能技术的自动缺陷分类系统(adc)替代人工进行面板缺陷检测，然而，对于显示面板现有的自动缺陷分类系统只能对缺陷的种类、位置等进行判定，无法对缺陷的等级进行细分。
3.由于现有的自动缺陷分类系统无法对显示面板的缺陷等级进行准确分类，进而无法区分缺陷的严重程度和修补方式，难以满足显示面板生产加工需求。


技术实现要素：

4.为了解决现有自动缺陷分类系统无法对显示面板进行缺陷等级进行细分的问题，本发明实施例提供了涉及一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统。
5.在第一方面，本发明实施例中提供涉及一种基于模板匹配和缺陷分割的缺陷等级分类方法，所述方法包括以下步骤：
6.基于缺陷图像p0获取缺陷样本，并且对缺陷样本进行样本标注，得到缺陷样本集；
7.构造缺陷检测模型m，并且基于缺陷样本集对缺陷检测模型m进行模型训练；
8.将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出包含缺陷类型和位置信息的目标框bbox；
9.基于目标框bbox对待预测图像进行缺陷轮廓图像提取，获取缺陷轮廓图像；
10.基于缺陷图像p0获取ps孔、ps柱、gate线、common线的特定电路结构作为标准模板，并且在待预测图像p1中提取标准模板对应的特定电路结构；
11.综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类。
12.于上述实施例中，本发明在深度学习模型检测结果的基础上，使用图像轮廓提取算法分别在目标框bbox和整图中分割提取缺陷和特定电路结构，用以计算缺陷尺寸和二者空间位置关系，最后综合考虑得出缺陷的等级，能显著增强模型判图的准确率，为后续的缺陷影响评估和修补工艺选择提供依据。
13.作为本技术一些可选实施方式，所述方法通过标注工具labelimg按照缺陷类别进行样本标注。
14.作为本技术一些可选实施方式，所述方法通过fasterr-cnn目标检测算法构造缺陷检测模型m。
15.作为本技术一些可选实施方式，所述方法通过在待预测图像p1中对标准模板进行相似度匹配，提取标准模板对应的特定电路结构。
16.作为本技术一些可选实施方式，所述方法通过缺陷检测模型m输出包含缺陷类型和定位信息的目标框bbox的流程如下：
17.将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出所有缺陷的位置、类型以及置信度；
18.根据置信度对缺陷的位置进行筛选，得到包含缺陷类型和定位信息的目标框bbox。
19.作为本技术一些可选实施方式，所述方法综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类的流程如下：
20.预设缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系对应的权重值；
21.基于权重值对缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系的相关参数进行加权求和，并且基于加权求结果进行缺陷等级分类。
22.作为本技术一些可选实施方式，所述方法基于权重值对缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系的相关参数进行加权求和，并且基于加权求结果进行缺陷等级分类的流程如下：
23.预设不同的缺陷类别对应的参考基数以及特定电路结构分别为ps孔、ps柱、gate线、common线对应的参考基数；
24.判定缺陷是否与ps孔、ps柱、gate线、common线相交，如果相交，则获取对应的参考基数；
25.基于缺陷类别的参考基数、特定电路结构的参考基数以及缺陷轮廓图像尺寸进行加权求和。
26.于上述实施例中，由于不同的缺陷类别对缺陷等级分类有直接的影响，因此需要将缺陷类别优先考虑到缺陷等级分类的计算过程中；与此同时，缺陷的尺寸大小对缺陷等级分类也有直接的影响，因此也需要将缺陷的尺寸大小考虑到缺陷等级分类的计算过程中，并且由于缺陷落在不同的电路结构对于整个面板的影响不同，因此需要将不同的特定电路结构与缺陷的相交情况也综合考虑到缺陷等级分类的计算过程中；通过对显示面板进行综合分析，能够对显示面板进行缺陷等级细分，更加能满足显示面板生产加工需求。
27.在第二方面，本发明提供一种基于模板匹配和缺陷分割的缺陷等级分类系统，所述系统包括：
28.缺陷样本单元，所述缺陷样本单元基于缺陷图像p0获取缺陷样本，并且对缺陷样本进行样本标注，得到缺陷样本集；
29.模型训练单元，所述模型训练单元用于构造缺陷检测模型m，并且基于缺陷样本集对缺陷检测模型m进行模型训练；
30.缺陷定位单元，所述缺陷定位单元用于将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出包含缺陷类型和位置信息的目标框bbox；
31.轮廓提取单元，所述轮廓提取单元基于目标框bbox对待预测图像进行缺陷轮廓图像提取，获取缺陷轮廓图像；
32.电路结构提取单元，所述电路结构提取单元基于缺陷图像p0获取ps孔、ps柱、gate线、common线的特定电路结构作为标准模板，并且在待预测图像p1中提取标准模板对应的特定电路结构；
33.缺陷等级分类单元，所述缺陷等级分类单元用于综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类。
34.在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述种基于模板匹配和缺陷分割的缺陷等级分类方法。
35.在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述种基于模板匹配和缺陷分割的缺陷等级分类方法。
36.本发明的有益效果如下：本发明在深度学习模型检测结果的基础上，使用图像轮廓提取算法分别在目标框bbox和整图中分割提取缺陷和特定电路结构，用以计算缺陷尺寸和二者空间位置关系，最后综合考虑得出缺陷的等级，能显著增强模型判图的准确率，为后续的缺陷影响评估和修补工艺选择提供依据。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
38.图1是根据本发明的实施例所述缺陷等级分类方法的步骤图；
39.图2是根据本发明的实施例所述缺陷等级分类的步骤图；
40.图3是根据本发明的实施例所述缺陷轮廓图像提取示意图。
41.图4是根据本发明的实施例所述标准模板提取示意图；
42.图5是根据本发明的实施例所述缺陷和特定电路结构的空间位置关系示意图。
具体实施方式
43.为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
44.同样应当理解的是，为了简化本发明揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
45.实施例1
46.本发明提供一种基于模板匹配和缺陷分割的缺陷等级分类方法，请参阅图1，所述方法包括以下步骤：
47.(1)收集清洗缺陷图像p0，并且基于缺陷图像p0获取缺陷样本，使用标注工具labelimg按照缺陷类别对缺陷样本进行样本标注，得到缺陷样本集。
48.(2)利用fasterr-cnn目标检测算法构造缺陷检测模型m，并且基于缺陷样本集对缺陷检测模型m进行模型训练，即将缺陷样本集中的缺陷样本输入缺陷检测模型m，进行图像特征提取和训练学习，进而得到缺陷检测模型m。
49.(3)将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出包含缺陷类型和位置信息的目标框bbox，请参阅图3。
50.于本发明实施例中，通过缺陷检测模型m输出包含缺陷类型和定位信息的目标框bbox的流程如下：
51.(3.1)将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出所有缺陷的位置、类型以及置信度；
52.(3.2)根据置信度对缺陷的位置进行筛选，得到包含缺陷类型和定位信息的目标框bbox。
53.(4)在待预测图像p1中截取目标框bbox附近的图像，并且先对图像进行高斯滤波去除噪声，再对图像进行图像二值化和膨胀腐蚀过滤干扰，最后对图像进行轮廓提取，分割出缺陷前景，并且计算缺陷的尺寸。
54.(5)在缺陷图像p0中截取包含ps孔、ps柱、gate线、common线的特定电路结构作为标准模板，并且使用相似度匹配算法在待预测图像p1中分割提取出对应的特定电路结构，请参阅图4。
55.于本发明实施例中，在缺陷图像p0中截取包含ps孔、ps柱、gate线、common线的特定电路结构作为标准模板的流程如下：
56.(5.11)对缺陷图像p0进行图像识别、图像截取处理，得到分别包含ps孔、ps柱、gate线、common线等特定电路结构的初始模板，即分别对应ps孔、ps柱、gate线、common线获取若干初始模板；
57.(5.12)对初始模板进行二值化处理、边缘轮廓提取处理，得到分别包含ps孔、ps柱、gate线、common线等特定电路结构的标准模板，即获得包含ps孔的标准模板t1,包含ps柱的标准模板t2，包含gate线的标准模板t3,包含common线的标准模板t4,此外，如果还存在其他特定电路结构，则相应的设置对应的标准模板。
58.于本发明实施例中，使用相似度算法在待预测图像p1中分割提取出对应的特定电路结构的流程如下：
59.(5.21)对待预测图像p1进行边缘轮廓提取处理，并且获取待预测图像p1的左下角像素点；
60.(5.22)将待预测图像p1的左下角像素点作为左下角点坐标，以左下角点坐标为参照点获取一个与标准模板尺寸相同的候选框；即依次以标准模板t1、标准模板t2、标准模板t3、标准模板t4为例，分别获取与标准模板t1、标准模板t2、标准模板t3、标准模板t4尺寸相同的四个候选框i1、候选框i2、候选框i3、候选框i4；
61.(5.23)将候选框依次向右/向上平移一个像素，获取若干候选框，即分别将候选框
i1、候选框i2、候选框i3、候选框i4进行平移获取若干候选框i1、候选框i2、候选框i3、候选框i4；
62.(5.24)依次计算若干候选框与标准模板的相似度，如果相似度大于匹配度阈值，则对应的候选框与标准模板匹配，则分割提取候选框对应的特定电路结构，其中，匹配度阈值为预设值；即依次计算若干候选框i1与标准模板t1的相似度r1，候选框i2与标准模板t2的相似度r2，候选框i3与标准模板t3的相似度r3，候选框i4与标准模板t4的相似度r4，对应的匹配阈值分别为th1、th2、th3、th4，如果候选框i1与标准模板t1的相似度r1大于匹配阈值th1，则分割提取出对应的候选框i1，此外，对于其他特定电路结构的提取也是采用此方法。
63.(6)综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类，请参阅图5。
64.于本发明实施例中，请参阅图2，综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类的流程如下：
65.(6.1)预设缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系对应的权重值，即预设缺陷类别的权重值为w1、缺陷轮廓图像尺寸的权重值为w2、缺陷与特定特定电路结构位置相交的权重值为w3；
66.(6.2)基于权重值对缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系的相关参数进行加权求和，并且基于加权求结果进行缺陷等级分类。
67.于本发明实施例中，基于权重值对缺陷类别、缺陷轮廓图像尺寸、缺陷与特定特定电路结构位置关系的相关参数进行加权求和，并且基于加权求结果进行缺陷等级分类的流程如下：
68.(6.21)预设不同的缺陷类别对应的参考基数以及特定电路结构分别为ps孔、ps柱、gate线、common线对应的参考基数，即设置ps孔、ps柱、gate线、common线的参考基数为bn1、bn2、bn3、bn4，预设缺陷类别的参考基数为bi1、bi2、...、bin,其中，n为缺陷类别总数；
69.(6.22)判定缺陷是否与ps孔、ps柱、gate线、common线相交，如果相交，则获取对应的参考基数，与此同时，根据缺陷类别获取对应的参考基数；
70.即如果缺陷与ps孔相交，则获取ps孔的参考基数bn1，同理，如果缺陷与其他特定电路结构相交，则对应获取其参考基数；如果缺陷与两个或者两个以上的特定电路结构相交，则同时获取多个特定电路结构的参考基数；
71.(6.23)基于缺陷类别的参考基数、特定电路结构的参考基数以及缺陷轮廓图像尺寸进行加权求和；
72.即如果缺陷类别对应的参考基数为bi1，特定电路结构的参考基数为bn1，缺陷轮廓图像的面积为s，则加权求和结果r＝bi1×
w1+bn1×
w3+s
×
w2；
73.(6.24)根据加权求和结果进行缺陷等级分类，即预设缺陷等级分类的参数区间范围，然后判定加权求和结果对应的参数区间范围，则对应获取相应的缺陷等级分类。
74.于本发明实施例中，判定缺陷是否与特定电路结构相交的流程如下：
75.(6.25)获取缺陷的坐标集m1，并且获取特定电路结构的坐标集m2；
76.(6.26)判定坐标集m1和坐标集m2是否存在数据重合，如果存在数据重合，则判定缺陷与对应的特定电路结构相交。
77.本发明在深度学习模型检测结果的基础上，使用图像轮廓提取算法分别在目标框
bbox和整图中分割提取缺陷和特定电路结构，用以计算缺陷尺寸和二者空间位置关系，最后综合考虑得出缺陷的等级，能显著增强模型判图的准确率，为后续的缺陷影响评估和修补工艺选择提供依据。
78.实施例2
79.本发明提供一种基于模板匹配和缺陷分割的缺陷等级分类系统，所述系统包括：
80.缺陷样本单元，所述缺陷样本单元基于缺陷图像p0获取缺陷样本，并且对缺陷样本进行样本标注，得到缺陷样本集；
81.模型训练单元，所述模型训练单元用于构造缺陷检测模型m，并且基于缺陷样本集对缺陷检测模型m进行模型训练；
82.缺陷定位单元，所述缺陷定位单元用于将待预测图像p1输入缺陷检测模型m，通过缺陷检测模型m输出包含缺陷类型和位置信息的目标框bbox；
83.轮廓提取单元，所述轮廓提取单元基于目标框bbox对待预测图像进行缺陷轮廓图像提取，获取缺陷轮廓图像；
84.电路结构提取单元，所述电路结构提取单元基于缺陷图像p0获取ps孔、ps柱、gate线、common线的特定电路结构作为标准模板，并且在待预测图像p1中提取标准模板对应的特定电路结构；
85.缺陷等级分类单元，所述缺陷等级分类单元用于综合缺陷类别、缺陷轮廓图像尺寸、缺陷与特定电路结构的位置关系进行缺陷等级分类。
86.具体的，所述系统的各个功能单元的数据、图像处理流程与实施例1中所述方法一一对应，为避免重复，在此不再赘述。
87.实施例3
88.本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所述的一种基于模板匹配和缺陷分割的缺陷等级分类方法。
89.本实施例提供的计算机设备可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
90.实施例4
91.本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的一种基于模板匹配和缺陷分割的缺陷等级分类方法。
92.本实施例提供的计算机可读存储介质可以实现执行实施例1所述的方法，为避免重复，在此不再赘述。
93.其中，所述处理器可以是中央处理器(cpu，central processing unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(application specific integrated circuit)、现成可编程门阵列(field programmable gate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
94.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中基于模板匹配和缺陷分割的缺陷等级分类系统的
各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
95.基于模板匹配和缺陷分割的缺陷等级分类系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
96.本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
97.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
98.此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
99.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。