一种LCD屏缺陷识别方法及装置与流程

本发明涉及一种lcd屏缺陷识别方法及装置，属于lcd屏缺陷检测分析技术领域。

背景技术：

lcd（liquidcrystaldisplay,液晶显示屏）广泛应用于笔记本电脑、桌面显示器、液晶电视、移动显示终端等显示领域，lcd屏缺陷种类多样，现有技术只能识别一块lcd屏的一种缺陷，无法对一块lcd屏所包含的多种缺陷进行定位识别。

技术实现要素：

本发明的目的在于提供一种lcd屏缺陷识别方法及装置，以解决现有技术中导致的上述多项缺陷或缺陷之一。

为达到上述目的，本发明是采用下述技术方案实现的：

本发明提供了一种lcd屏缺陷识别方法，所述方法包括如下步骤：

根据lcd屏图像生成候选框图片；

对候选框图片进行预处理，获取符合所述卷积神经网络（convolutionalneuralnetworks,cnn）规定输入大小的候选框图片；

采用cnn网络对候选框图片进行特征提取，获取特征向量；

将所述特征向量输入至已训练好的svm分类器中，获取候选框图片对应各类缺陷的得分；

根据选框图片对应各类缺陷的得分构建候选框矩阵，减少重叠框；

采用回归器模型对于减少重叠框的候选框进行修正，获取lcd屏缺陷类型和位置。

优选的，采用selectivesearch算法对所述lcd屏图像进行分割，获取多个小区域图像；

通过合并算法对小区域图像进行合并，生成所述候选框图片。

优选的，所述合并算法包括基于颜色直方图的区域图像合并算法、基于梯度直方图的区域图像合并算法。

所述svm分类器的训练方法包括如下步骤：

采集包含各类缺陷的lcd屏图像，构建样本集；

按缺陷类别对样本集中的图像样本进行分类，并做好标签；

按照缺陷类别采用带有标签的图像样本分别训练所述svm分类器。

优选的，采用非极大值抑制操作减少重叠框。

本发明还提供了一种lcd屏缺陷识别装置，其特征在于，所述装置包括：

图像采集模块：用于采集待检测缺陷的lcd屏图像；

候选框图片生成模块：用于根据lcd屏图像生成候选框图片；

特征向量获取模块：用于采用cnn网络对候选框图片进行特征提取，获取特征向量；

得分结果获取模块：用于将所述特征向量输入至已训练好的svm分类器中，获取候选框图片对应各类缺陷的得分；

重叠框处理模块：用于根据选框图片对应各类缺陷的得分构建候选框矩阵，减少重叠框；

修正模块：用于采用回归器模型对于减少重叠框的候选框进行修正，获取lcd屏缺陷类型和位置。

进一步的，所述装置还包括用于训练svm分类器的训练模块。

进一步的，所述装置还包括用于对候选框图片进行预处理，以获取符合cnn网络规定输入大小的候选框图片的图片预处理模块。

进一步的，所述重叠框处理模块还包括用于构建候选框矩阵的候选框矩阵构建模块。

一种lcd屏缺陷识别方法及装置，根据lcd屏图像生成候的选框图片，获取候选框图片对应各类缺陷的得分，并根据候选框图片对应各类缺陷的得分构建候选框矩阵，减少重叠框，并对减少重叠框的候选框进行修正，获取lcd屏缺陷类型和位置。使用本发明提供的lcd屏缺陷识别方法及装置，可实现对包含多种缺陷在内的同一块lcd进行缺陷识别，并实现缺陷的准确分类，对缺陷进行准确定位。

附图说明

图1是根据本发明实施例提供的tft-lcd屏缺陷识别方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

第一方面，本发明实施例提供了一种薄膜晶体管液晶显示器(thinfilmtransistor-liquidcrystaldisplay,tft-lcd)屏缺陷的识别方法，所述方法包括如下步骤：

步骤1：训练svm（supportvectormachines）分类器，训练svm分类器的方法包括如下步骤：

步骤11：采集包含点缺陷、线缺陷和面缺陷三类缺陷的tft-lcd屏图像样本，构建样本集；

步骤12：按照缺陷类别对样本集中的图像样本进行分类，并做好标签；

步骤13：按照缺陷类别采用带有标签的图像样本分别训练svm分类器。

步骤2：生成tft-lcd屏图像候选框图片，生成tft-lcd屏图像候选框图片的方法包括如下步骤：

步骤21：选取一张可能含有点缺陷、线缺陷和面缺陷的tft-lcd屏图像；

步骤22：使用selectivesearch算法，采用过分割方法，将所述tft-lcd图像分割成多个小区域图像；

步骤23：通过基于颜色直方图的区域图像合并算法、基于梯度直方图的区域图像的合并算法对小区域图像进行合并，生成1000个候选框图片。

通过selectivesearch算法生成的候选框图片像素大小不确定，为了使候选框图片符合vgg16神经网络规定输入图片的大小要求，需要对所述的1000个候选框图片进行预处理：

步骤3：对候选框图片进行预处理，对候选框图片进行预处理的方法包括：采用图像归一化过程，将步骤2中生成的1000个候选框图片统一到符合vgg16神经网络输入的图片像素要求，所述图片像素为224×224。

步骤4：通过vgg16神经网络对步骤3中获取的1000个候选框图片进行特征提取，获取1000×4096维特征向量；

所述vgg16神经网络包括5个卷积层，5个最大池化层，2个全连接层，卷积核大小为3×3。

步骤5：获取候选框矩阵，所述获取候选框矩阵的方法包括如下步骤：

步骤51：将步骤4中获取的1000×4096维特征向量输入至步骤1中训练好的svm分类器中，获取1000个候选框中每一个候选框对应的三类缺陷的得分；

步骤52：将所述1000个候选框对应一类缺陷的得分构成一列，则所述1000个候选框对应三类缺陷的得分构成1000×3维候选框矩阵。

步骤6：使用非极大值抑制操作减少重叠框，所述减少重叠框的方法包括如下步骤：

步骤61：将步骤5中获取的1000×3维候选框矩阵的每一列按照得分从大到小的顺序进行排序；

步骤62：按照每一列中得分从大到小的顺序依次选取候选框，将其分别与同一列中的其他候选框进行iou计算，并根据iou计算结果去除得分较小的候选框：当iou值＞设定阈值，去除进行iou计算的两个候选框中得分较小的一个；当iou值≤设定阈值，认为这两个候选框表示的是同一种缺陷，保留两个进行iou计算的候选框；对保留的每一个候选框按照所述方法，和同一列中的其他得分小于该候选框的候选框进行iou计算，去除得分较小的候选框。

步骤7：采用3个回归器模型，分别对步骤6中获取的每一列减少重叠框的候选框进行修正以获取修正后的候选框，并获取修正后的每个缺陷类别中得分最高的候选框，所述修正后的每个缺陷类别中得分最高的候选框的位置即为lcd屏缺陷的位置；

所述回归器模型包括：用p表示步骤6中获取的减少重叠框后的候选框，令p==p｛px,py,pw,ph｝，其中px和py表示候选框的中心位置坐标，pw表示候选框的宽度，ph表示候选框的高度；

用g表示实际样本中标注的属于某一类tft-lcd屏缺陷的标准框，令p==p｛gx,gy,gw,gh｝，其中gx和gy表示候选框的中心位置，gw表示候选框的宽度，gh表示候选框的高度；

用表示对使用梯度下降法对p进行线性回归得出的修正框令==｛x,y,w,h｝，其中x和y表示候选框的中心位置，w表示候选框的宽度，h表示候选框的高度；

采用梯度下降法不断迭代参数，使loss1=(gx-x)²、loss1=(gy-y)²、loss1=(gw-w)²、loss1=(gh-h)²获得最小值，得出对应的线性函数，并获取修正后的候选框。

第二方面，本发明还提供了一种tft-lcd屏缺陷识别装置，所述装置包括：

用于采集待检测缺陷的tft-lcd屏图像的图像采集模块；

用于根据tft-lcd屏图像生成候选框图片的候选框图片生成模块；

用于采用vgg16神经网络对候选框图片进行特征提取，获取特征向量的特征向量获取模块；

用于将所述特征向量输入至已训练好的svm分类器中，获取候选框图片对应各类缺陷的得分的得分结果获取模块；

用于根据选框图片对应各类缺陷的得分构建候选框矩阵，减少重叠框的重叠框处理模块；所述重叠框处理模块还包括用于构建候选框矩阵的候选框矩阵构建模块。

用于采用回归器模型对于减少重叠框的候选框进行修正，获取tft-lcd屏缺陷类型和位置的修正模块；

用于训练svm分类器的训练模块。

用于对候选框图片进行预处理，以获取符合vgg16神经网络规定输入大小的候选框图片的图片预处理模块。

本发明实施例提供的一种tft-lcd屏缺陷识别方法及装置，根据tft-lcd屏图像生成候的选框图片，获取候选框图片对应各类缺陷的得分，并根据候选框图片对应各类缺陷的得分构建候选框矩阵，减少重叠框，并对减少重叠框的候选框进行修正，获取tft-lcd屏缺陷类型和位置。使用本发明提供的tft-lcd屏缺陷识别方法及装置，可实现对包含多种缺陷在内的同一块tft-lcd进行缺陷识别，并实现缺陷的准确分类，对缺陷进行准确定位。

以上所述仅是本发明的优选实施方式，应当指出，本发明适用于包括tft-lcd屏在内的所有lcd屏缺陷识别方法及装置；vgg16神经网络属于cnn神经网络的一种，本发明用于对候选框图片进行特征提取的模型为包括vgg16神经网络在内的cnn神经网络。

本发明提供的lcd屏缺陷识别方法及装置对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。