一种基于深度学习的液晶屏瑕疵检测方法及系统与流程

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的液晶屏瑕疵检测方法及系统。

背景技术：

随着电子科技行业的快速发展，各种便携式设备在日常生活中被广泛应用，其人机交互界面窗口——显示屏则显得尤为重要。液晶屏因显示质量高、没有电磁辐射、可视面积大、应用范围广、功耗低等优点，越来越多地被用于设备显示。液晶显示屏面板中含有缺陷的晶体管将造成屏幕永久性的亮点与暗点；因尺寸较大，与传统电路板相比，液晶屏表面更容易存在瑕疵。因此，对液晶屏的瑕疵检测是十分重要的，它直接关系到产品的最终性能与质量；而该项检测涉及的工件品种多，数量大，检测过程的自动化已成为相关企业发展的迫切需求，目前国内大部分企业仍然采用传统机器学习技术，如统计法、频谱法等。这些方法均存在着瑕疵与非瑕疵区域间的对比度低，噪声和细微瑕疵的相似性、识别精度不高以及检测速度慢等问题，无法满足工业生产准确性和实时性的要求。

自2012年imagenet大规模视觉识别竞赛中基于深度学习的方法一举夺得图像分类、目标定位两个冠军以来，深度学习以燎原之势席卷各行各业，识别精度和检测速度较传统算法有大幅提升。

技术实现要素：

本发明的目的在于提供一种基于深度学习的液晶屏瑕疵检测方法及系统，以解决现有的检测方法精度低，且速度慢的问题。

为解决上述技术问题，本发明提供一种基于深度学习的液晶屏瑕疵检测方法，包括如下步骤：

步骤1：采集带有瑕疵的液晶屏图像，制成数据集；

步骤2：将采集到的图像进行瑕疵类型、位置以及像素点的标注；

步骤3：根据所获得的瑕疵数据，分别设置网络所需要检测的瑕疵类型数目以及检测框的初始大小，调节参数，进行网络训练；

步骤4：将一系列小图像送入网络，图像经过19层卷积层以及5层池化层后进行检测，判断是否存在瑕疵，若存在瑕疵，则输出瑕疵类型及相应位置；

步骤5：瑕疵类型及相应位置作为兴趣区域输入到后续层中，将其进行反卷积操作，得到与输入图片大小一致的特征图，结合兴趣区域，实现瑕疵语义分割，获取其具体形状。

可选的，在所述步骤3之前，所述基于深度学习的液晶屏瑕疵检测方法还包括：

通过滑窗操作将采集到的图像分割成一系列小图像；

通过对图像进行翻转、平移以及调节对比度实现数据增强，并分成训练集和验证集。

可选的，所述步骤3具体为：对训练集进行网络训练，训练完成后，利用验证集进行精度评估，直到满足相关标准；否则，调节参数，重新开始或继续训练。

可选的，所述步骤3中修改网络检测类型数目，为每一类检测目标分配固定的编号；通过k-means算法设置检测框的初始大小。

可选的，所述步骤2中通过labelimg工具实现类型以及位置的标注，通过labelme工具，实现逐像素的语义标记，针对非瑕疵区域，标记为0；针对瑕疵区域，按瑕疵类型分别标记为不同整数。

可选的，所述位置的标注通过矩形框的形式实现，包含4个参数，分别是矩形框中心位置的横坐标和纵坐标、矩形框的宽度和高度。

可选的，所述后续层是由拥有强语义信息的深层特征图和拥有高分辨率的浅层特征图融合而成。

本发明还提供了一种基于深度学习的液晶屏瑕疵检测系统，包括：

图像采集模块，用于采集带有瑕疵的液晶屏图像；

数据标注模块，标注出瑕疵类型、位置以及像素点；

图像分区模块，将大图像分割成小图像；

数据增强模块，实现数据集的扩充；

网络训练模块，训练检测网络；

并行检测模块，采用多线程方式，既可以选择处理同一张图像进行精度的提升，也可以处理不同图像实现检测加速；

瑕疵分割模块，用于获取瑕疵的具体形状。

可选的，所述数据标注模块包括位置信息单元和语义信息单元；其中所述位置信息单元利用labelimg工具实现瑕疵类型及位置的标注；所述语义信息单元利用labelme工具实现逐像素的语义标记。

可选的，所述网络训练模块包括训练单元和验证单元；其中，所述训练单元根据所获得的瑕疵数据，进行网络训练；所述验证单元用于对网络检测精度进行评估。

在本发明中提供了一种基于深度学习的液晶屏瑕疵检测方法及系统，该方法包括图像采集、数据标注、滑窗操作、数据增强、网络训练、瑕疵检测以及瑕疵语义分割七个部分。本发明还提供了基于深度学习的液晶屏瑕疵检测系统，包括图像采集模块、数据标注模块、图像分区模块、数据增强模块、网络训练模块、并行检测模块、瑕疵分割模块。本发明具有以下有益效果：（1）在检测的技术上实现分割，不仅可以获取瑕疵的类型与位置，还可以获取其具体形状；（2）使用数据增强的操作，大大降低数据集制作所需的成本；（3）采取基于深度学习的并行检测，既保了证检测精度，又提高了检测速度。

附图说明

图1是本发明提供的基于深度学习的液晶屏瑕疵检测方法的步骤流程示意图；

图2是本发明提供的基于深度学习的液晶屏瑕疵检测方法的整体流程示意图；

图3是基于原图实现大图到小图的图像分区效果图；

图4是基于原图实现翻转、平移以及调节对比度的数据增强对比图；

图5是图像检测、分割效果图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种基于深度学习的液晶屏瑕疵检测方法及系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

实施例一

本发明提供了一种基于深度学习的液晶屏瑕疵检测方法，步骤流程示意图如图1所示。所述基于深度学习的液晶屏瑕疵检测方法包括如下步骤：

步骤s11：采集带有瑕疵的液晶屏图像，制成数据集；

步骤s12：将采集到的图像进行瑕疵类型、位置以及像素点的标注；

步骤s13：根据所获得的瑕疵数据，分别设置网络所需要检测的瑕疵类型数目以及检测框的初始大小，调节参数，进行网络训练；

步骤s14：将一系列小图像送入网络，图像经过19层卷积层以及5层池化层后进行检测，判断是否存在瑕疵，若存在瑕疵，则输出瑕疵类型及相应位置；

步骤s15：瑕疵类型及相应位置作为兴趣区域输入到后续层中，将其进行反卷积操作，得到与输入图片大小一致的特征图，结合兴趣区域，实现瑕疵语义分割，获取其具体形状。

具体的，请参阅图2，所述基于深度学习的液晶屏瑕疵检测方法包括图像采集、数据标注、滑窗操作、数据增强、网络训练、瑕疵检测以及瑕疵语义分割七个部分。

图像采集：从工业现场采集带有瑕疵的液晶屏图像，制成数据集。该数据集包含数张利用摄像头进行拍摄获取的图片。

数据标注：将采集到的带有瑕疵的液晶屏图像，通过labelimg工具，实现类型以及位置的标注，其中位置标注通过矩形框的形式实现，包含4个参数，分别是矩形框的中心位置（包括中心位置的横坐标、纵坐标），矩形框的宽度和高度；通过labelme工具实现逐像素的语义标记，针对非瑕疵区域，标记为0；针对瑕疵区域，按瑕疵类型分别标记为不同的整数。

滑窗操作：由于初始采集到的图像较大，而其中的瑕疵较小，若直接将大图像输入到网络，既加大了检测难度，又造成了无效的计算资源浪费；因此，将大图像通过滑窗操作，按照位置顺序分割成一系列小图像，如图3所示。

数据增强：同一物体，在不同角度和不同背景下观察，得到的图像可能完全不同。在数据集难以获取，或者数据标注成本过高的情况下，通过如图4所示的对原始图像进行翻转、平移以及调节对比度等操作，可以无成本地获得大量数据，为接下来的训练提供数据量的保证。最后，将所获得的数据集划分为训练集和验证集。

网络训练：根据所获得的瑕疵数据，分别设置网络所须要检测的瑕疵类型数以及检测框的初始大小，调节相关参数，对训练集进行网络训练。训练完成后，利用验证集进行精度评估，直到满足相关标准；否则，调节参数，重新开始或继续训练。其中，修改网络检测类型数目，为每一类检测目标分配固定的编号；通过k-means算法设置检测框的初始大小。

瑕疵检测：将一系列小图像送入网络，图像经过19层卷积层以及5层池化层后进行检测，判断是否存在瑕疵，若存在瑕疵，则输出瑕疵类型及相应位置，如图5。

瑕疵语义分割：请继续参阅图5，从上述步骤的瑕疵检测中获取瑕疵类型及其位置，作为兴趣区域输入到后续层中，其中后续层是由拥有强语义信息的深层特征图以及拥有高分辨率的浅层特征图融合而成；将其进行反卷积操作，得到与输入图片大小一致的特征图，结合兴趣区域，实现瑕疵语义分割，获取其具体形状。

实施例二

本发明提供了一种基于深度学习的液晶屏瑕疵检测系统，包括：

图像采集模块，用于采集带有瑕疵的液晶屏图像；

数据标注模块，标注出瑕疵类型、位置以及像素点；

图像分区模块，将大图像分割成小图像；

数据增强模块，实现数据集的扩充；

网络训练模块，训练检测网络；

并行检测模块，采用多线程方式，既可以选择处理同一张图像进行精度的提升，也可以处理不同图像实现检测加速；

瑕疵分割模块，用于获取瑕疵的具体形状。

进一步的，所述数据标注模块包括位置信息单元和语义信息单元；其中所述位置信息单元利用labelimg工具实现瑕疵类型及位置的标注；所述语义信息单元利用labelme工具实现逐像素的语义标记。更进一步的，所述网络训练模块包括训练单元和验证单元；其中，所述训练单元根据所获得的瑕疵数据，进行网络训练；所述验证单元用于对网络检测精度进行评估。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。