基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法与流程

本发明属于目标检测与识别领域，涉及从图像中检测特定目标，具体是检测手机屏幕缺陷的方法。

背景技术：

传统的用人工检测屏幕瑕疵方法存在诸多不足之处，在工业生产高速发展的今天，它已经完全无法适应当今工业生产高效、准确的要求。对手机屏幕产商而言，寻找一种高效、准确的自动化检测设备用以替代人工检测环节，成为了迫切的需求。随着计算机视觉、图像处理等领域的发展，基于机器视觉的自动化检测系统成为了一种良好的解决方案。该方案通过高分辨率工业相机采集手机屏幕图像，然后将图像信息通过图像分析模块进行实时的处理，从而判断手机屏幕是否合格。

传统的基于机器视觉的屏幕缺陷检测算法，大多是针对一种或几种类别的屏幕缺陷进行设计的，不具有通用性，所以对于特殊的瑕疵，需要写专门的算法。由于屏幕的特殊性，拍照时在成像上的摩尔纹是不可避免的，而传统算法不能很好地解决摩尔纹问题。另外，传统的算法虽然可以检测较明显的线状、点状缺陷，但是对于成像上很淡的团状MURA缺陷，准确率很低。最后，传统的屏幕缺陷检测算法需要调节大量参数，尤其是在屏幕产品换型时，调整大量参数会导致时间的浪费。因此，设计一个具有良好泛化性的算法具有非常实用的价值。

近年来，深度学习方法在计算机视觉领域产生了巨大的影响。深度学习采用多层网络结构，模拟人脑中神经系统的层次关系和传递方式，它已经在模式识别的多个领域得到了广泛的应用并取得了良好的成绩。本方法采用基于深度卷积神经网络的分类算法，使用预处理后的手机屏幕局部图像块作为分类器的输入，然后抽取卷积神经网络的特征图作为检测结果，将缺陷检测问题转变成一个图像块分类问题，通过此方法得到的深度模型不仅能够有效地学习到图像的背景纹理模式，从含有背景纹理的图像块中准确地定位缺陷的位置，而且对于团状MURA缺陷有很高的准确率。此外，使用卷积神经网络算法相比传统算法，参数设置更少，由于算法具有良好的通用性，尤其适用于屏幕产品的快速换型，缩短换型时间，提高产线效率。

技术实现要素：

本发明要克服基于机器视觉的屏幕缺陷检测算法的上述缺陷，提供一种基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法。

为实现上述目的，本发明所述的基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法包括如下步骤：

1)自定义卷积神经网络，通过训练数据训练该网络直到收敛并且有较高准确率；

2)通过自适应模板匹配的方法来进行卷积神经网络的剪枝，缩小网络规模和网络参数；

3)采集手机屏幕图片数据，生成图片金字塔，分割成图片块，用于测试阶段数据生成，送入到步骤2)获得的剪枝后的卷积神经网络中进行运算；

4)取中间隐层的特征图之和作为响应图，采用阈值分割的方法获得缺陷最终位置并圈出，该方法尤其用于检测MURA缺陷。

步骤2)所述的自适应模板匹配的剪枝具体是：把网络中间隐层的特征图有响应的部分对应到原图中，该部分作为前景，剩下部分作为背景，计算前景和背景的平均亮度差异；取差异最大的若干个特征图进行保留；把剩下的特征图和与之相关的卷积核从网络上剪枝。

步骤3)所述的图片金字塔具体是：将原始高分辨率图片缩小成不同尺度的图片，这些不同尺度的图片合起来称为一组图片金字塔。使用图片金字塔的目的是来检测不同尺度上、不同大小的瑕疵。

步骤4)所述的响应图具体是：采用的是第4个卷积层的输出，把剪枝后网络该层的特征图之和作为缺陷的响应图。

本发明的有益效果如下：

本发明是一种基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法。它基于深度学习的卷积神经网络算法，采用自适应模板匹配的方法进行网络剪枝，压缩网络模型和参数，以达到接近实时的效果。另外，由于卷积神经网络算法能够自动地学习到背景纹理信息，可以较好地处理成像中的摩尔纹干扰。在屏幕产品换型时，只需要少量的训练图片进行网络微调，就可以重新保证网络的准确率达标。

与传统方法相比，本发明能够更有效地检测成像较淡的缺陷，如团状MURA缺陷。此外，传统方法需要设置大量参数，每次换型都需要调整参数才能保证算法的准确性。本发明采用的神经网络算法具有良好的自适应和泛化特性，能够快速进行屏幕产品换型，节省产线部署时间。

附图说明

图1是本发明的自适应模板匹配剪枝算法框架图。

图2是本发明的图片金字塔到分割成图片小块的图示。

具体实施方式

下面对本发明的技术方案进行清晰、完整的解释和描述。

本发明提出了基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法，该方法在已经拍摄的手机屏幕图片上，利用卷积神经网络算法确定瑕疵在图片上的位置并圈出。

本发明基于卷积神经网络剪枝算法的手机屏幕MURA缺陷检测方法包括如下步骤：

步骤1，训练阶段数据采集：分别采集包含瑕疵和正常图片小块，进行标记(1表示包含瑕疵图片，0表示正常图片)。按照9：1的比例分成训练集和验证集；自定义卷积神经网络，利用上述的训练数据，训练卷积神经网络直到收敛，并且能够在验证集上达到较高的分类准确率。通过观察可视化卷积神经网络中间隐层的特征图，可以分析网络是否很好的学到了瑕疵特征。

步骤2，利用自适应模板匹配的方法对卷积神经网络进行剪枝，缩小网络规模和网络参数。具体地，在第L个卷积层上的所有N个特征图，将第i个(i＜N)特征图学到的响应位置对应回原图，该部分位置作为前景模板，原图的剩余位置作为背景模板，计算前景模板和背景模板的平均亮度差异D_i。对所有的D_i进行降序排序，取前K个(K＜N)平均亮度差异D_i最大的特征图之和作为响应图。剩余的特征图和其对应的卷积核直接被剪枝，如图1所示。剪枝后整个网络再重新训练，确保剪枝后的网络仍有较高的准确率。

步骤3，测试阶段数据生成：采集手机屏幕图片数据，图片包含且仅包含完整的手机屏幕位置。利用不同比例的缩放尺度将图片展成图像金字塔，用于多尺度检测。对于每个尺度的图片，分割成固定大小的图片块，将所有的图片块作为一组，作为卷积神经网络的一次输入数据，如图2所示。

步骤4，每一个图片块选取第4个卷积层的所有特征图之和作为响应图，将响应图重新对应到原图，通过阈值分割的方法，获得瑕疵的最终位置，并且圈出。