基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法与流程

本发明属于屏幕检测技术领域，涉及基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法。

背景技术：

1、本技术领域发展状况

液晶屏幕的生产环节，包括切割，组装与焊接等已基本实现自动化，但是在质量检测环节仍然使用人工检测。人工检测最大的缺点在于成本较高，所以很多模组厂家正在积极寻找相关的aoi设备。

制约这种aoi设备量产的原因在于算法检测的直通率低，且算法调试难度大，培训时间长等。现在很多视觉企业正积极研发这种装备，但是如何在保证高准确率的前提下降低设备成本，尤其是维护成本仍旧是一个难题。

2、已有技术方案

1)基于数字图像处理方案

该方案主要通过缺陷增强或者背景重建的方法，然后再通过设定阈值检测。其中，增强方法多采用频域增强，背景重建方法多使用pca,ica等方法。

2)基于模式识别或者神经网络的二次判断方法

该方法首先通过数字图像处理寻找可能的缺陷区域，提取该区域建模，做精确判断。其中，建模的算法多为em,svm或者bp网络。

3)基于深度学习的方法、

该方法大多是采集大量的训练样本，经过cnn或者dbn，或者结合rnn训练。

3、现有方案的不足

1)算法复杂度高，检测速度慢。

2)需要较多的训练样本。

3)对很不明显的mura缺陷检测效果不佳。

4)边缘处mura缺陷检测效果不佳。

5)检测超参数较多，阈值参数对于不同类型的模板难以统一。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，通过少量的训练样本，在短时间内训练一个同时检测多种类型缺陷(mura缺陷，点缺陷，线缺陷等)的卷积神经网络模型。

为达到上述目的，本发明提供如下技术方案：

基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法，该方法包括以下步骤：

在一块正常的模组上采集无缺陷的样本图a，然后在这个模组制作缺陷并采集得到含有缺陷的样本b；有目的地学习b图中缺陷的区域pb与a图中与pb相同的位置的区域pa的差异；

通过频域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，这个模糊方式对正常背景特征破坏程度较小；

在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神经网络中；

通过设置相应的损失函数，网络学习到缺陷区域与不直接相关的正常背景的特征差异，以及缺陷区域与直接相关的正常背景之间的差异；网络的损失函数如下：

其中，sampleng与sampleok分别表示缺陷样本与转换的正常样本；表示缺陷样本对应的特征图的置信度损失，包括缺陷区域与正常区域；表示缺陷样本特征图中的坐标回归损失；表示正常样本特征图中与缺陷样本特征图对应区域的置信度损失，只需要计算正常区域；

进一步，所述方法的主干网络基于ssd分类网络架构，考虑到缺陷的形状与面积等因素，主干网络的层数与卷积方式有一定变化，模型结构如下表：

该模型结构有36448个检测框，根据实际情况进行删减。

本发明的有益效果在于：

1、采用卷积神经网络，不需要改变图像特征，解决了前期需要建立背景模型以消除图像亮度不均匀的问题。同时，也不会在预处理过程中破坏图像边缘特征，可以解决背景算法中边缘处缺陷容易漏检的问题。

2、卷积神经网络可以一个模型同时检测多种类型缺陷，不需要最针对不同的缺陷类型设计不同的算法，实现算法的通用，进而降低了超参数的数量。

3、针对企业柔性生产的方式，企业需要可以快速上线的新模型。这不仅要求新模型训练时间短，而且训练样本数量要少。本发明提出的算法采用对抗性训练的方法，即使在少量训练样本的条件下，也可以快速学习到缺陷与背景的差异。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为训练与检测流程图；

图2为对抗性训练过程；

图3为检测主干网络；

图4为主干网络中各模块与可替代模块；图4(a)为conv模块，图(b)为atrous模块，图4(c)为resatrous模块；

图5为准确率与样本数量关系图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，类似生物学中的对比试验：在一个相同的环境下，仅改变其中某一个因素，观察这个因素的变化对结果的影响程度，从而直观地展示这个因素的重要性。鉴于此，区分缺陷与正常背景最简单，也是最有效的方法是：在一块正常的模组上采集无缺陷的样本图a，然后在这个模组制作缺陷并采集得到含有缺陷的样本b。有目的地学习b图中缺陷的区域pb与a图中与pb相同的位置的区域pa的差异。

但是，现实种这种破坏性地采集样本的方式是不可行的。但是，如果反过来：由于类似mura,点缺陷，线缺陷等缺陷块，如果它的面积较小，可以将其模糊直至消除。即可以通过频域高斯滤波或者时域高斯模糊的方法将缺陷样本转换为正常样本，这个模糊方式对正常背景特征破坏程度较小。本算法推荐使用频域高斯滤波以消除缺陷(如果缺陷区域较大，可以以异显或者亮度不均匀等缺陷处理)。

如图2所示，在对抗性训练过程中，将缺陷样本与平滑后的正常样本成对输入到卷积神经网络中。通过设置相应的损失函数，网络不仅可以学习到缺陷区域与不直接相关的正常背景的特征差异，也会直接学习到缺陷区域与直接相关的正常背景之间的差异。网络的损失函数如下：

其中，sampleng与sampleok分别表示缺陷样本与转换的正常样本。表示缺陷样本对应的特征图的置信度损失，包括缺陷区域与正常区域。表示缺陷样本特征图中的坐标回归损失。表示正常样本特征图中与缺陷样本特征图对应区域的置信度损失，只需要计算正常区域。

该算法的主干网络基于ssd分类网络架构，考虑到缺陷的形状与面积等因素，主干网络的层数与卷积方式有一定变化，模型结构图如图3所示。

图4中，图(a)和图(b)模块对应于图3，如果需要加深网络，可使用残差模块图4(c)。该模型有36448个检测框，可以根据实际情况进行删减。

该算法的训练样本共650余张，来源于3家液晶模组生产企业，分别是7寸tft-lcd模组样本300余张，5.5寸oled模组150张，4.5寸tft-lcd模组200余张。其检测正确率与样本数量的关系图如5所示。

由此可见，在样本量较少的前提下，采用对抗性训练的方法可以显著提升检测的准确率。

该模型有以下特征：

1.所需训练样本数量较少，在650张训练样本下，模型漏检率<0.3％,误检率<1.2％。满足企业对准确率要求。

2.模型体积在4m左右，检测时间<1.8s/p(intele3-12263.31ghz)

3.可以较好的检测到边缘缺陷和比较浅的mura类缺陷。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。