一种基于样本学习和人眼视觉特性的mura缺陷检测方法与流程

本发明属于TFT-LCD显示缺陷检测技术领域，具体涉及一种基于样本学习和人眼视觉特性的mura缺陷检测方法。

背景技术：

TFT-LCD液晶显示器上的mura缺陷就是一种典型的低对比度目标。Mura来源于日语，用来描述人观看显示器时感知到的亮度不均衡性。在视觉上，mura缺陷一般表现为可被人眼感知的、没有固定形状、边缘模糊的低对比度区域。而伴随着微电子技术的迅速发展，液晶显示器正向着大画面、低功耗、轻薄化、高分辨率的方向发展。这样的趋势在带来高视觉效果和便携性等诸多优点的同时也会使得产生显示缺陷的几率大大增加。当前国内LCD制造业对mura缺陷的检测大多数都还未脱离人工检测阶段，由经过培训的工人直接观察确定LCD是否存在mura缺陷。但由于人工检测成本较高，检测时间较长，因此只能进行抽样检查，且人工评判标准不一，主观性较强，长时间工作易造成人眼疲劳，这些缺点均成为限制产线生产效率及检测精度提高的重要问题。同时人工检测的准确率不可控，可靠性相对较低。综上所述，研究一种快速、稳定且符合人眼视觉感知特性的低对比度缺陷的自动检测、分级方法成为液晶显示技术发展过程中急需解决的难题。

当前国内外研究学者已经提出多种mura检测方法，研究方向主要可以分成3类：1)直接分割的方法；2)背景重建的方法；3)混合方法及其他方法。其中，直接分割的方法主要有离散小波变换、主动轮廓模型、各项异性扩散模型和水平集等，但是mura缺陷没有明显的边缘，传统的图像分割算法很难准确地分割出目标区域。基于背景重建的方法主要有二维余弦变换(discrete cosine transfer，DCT)、小波变换(wavelet transform，WT)、主成分分析PCA、奇异值分解SVD、稀疏性限制下的低秩矩阵重建等，例如Jun-Woo Yun等于2014年在《1st IEEE International Conference on Consumer Electronics-Taiwan》上发表的《Automatic mura inspection using the principal component analysis for the TFT-LCD panel》中提出先提取待测图片中的信息作为样本，然后分别提取行、列像素灰度分布组成样本集，用PCA的方法分别训练、重建背景，然后融合两者的检测结果。该方法只基于测试图片本身的信息来重建背景，很容易受大小不一、对比度不一的mura缺陷区域的影响，因此无法重建出完美的背景图像，特别是无法检测出大面积的mura区域。混合方法及其他方法主要有小波分解与提取灰度共生矩阵结合的特征分类方法，以及一种基于霍夫变换的非稳定性直线检测方法，但此类方法只适用于定性缺陷检测，仅能判断缺陷的有无。

此外，在阈值分割部分，待分割的差分图中可能包含了目标区域，整体均值和方差就会受到干扰，传统的阈值化方法无法准确地分割出mura区域。于是Fan等人于2010年在《Pattern recognition letters》发表的《Automatic detection of Mura defect in TFT-LCD based on regression diagnostics》中，先排除潜在mura区域的像素后再计算均值和方差，然后进行阈值化分割。但是潜在mura区域很难确定，很容易产生误差。

经检索，关于TFT-LCD的mura缺陷检测方面的公开专利不多。如，申请人于2016年4月7日申请的申请号为201610213064.9的发明专利公开了一种基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，该申请案利用FastICA算法从样本图像中分离出的图像基，并使用图像基重建出背景图像，然后对测试图像与背景的差分图像进行阈值化，并引入多色彩通道融合的检测方案。该申请案能适应不同类型的mura缺陷检测，过检、漏检现象较少，但其在算法稳定性和时间效率上有所欠缺。

技术实现要素：

1.发明要解决的技术问题

本发明的目的在于克服现有技术中通常采用人工对TFT-LCD液晶显示器上的mura缺陷进行检测，检测成本相对较高，检测时间长，检测精度及产线生产效率较低，且现有mura缺陷自动检测方法的检测精度及检测效率相对较低的不足，提供了一种基于样本学习和人眼视觉特性的mura缺陷检测方法。本发明挑选大量无缺陷样本构建训练样本集，使用PCA算法从样本集中提取代表背景结构信息的特征向量，同时对背景重建和阈值计算联合建模，基于对训练样本的学习，建立背景结构信息与阈值之间的关系模型，从而最大限度地降低了目标对阈值确定的影响，能够获得鲁棒的检测结果。在线检测过程中，将测试图像投影到特征向量空间上，重构出背景图像，再使用基于人眼视觉特性的阈值化模型准确分割出差分图中的mura区域。在检测速度方面，因为背景重建只是简单的矩阵乘除算法，计算速度很快，满足了工业生产对检测速度的要求。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法，该方法先利用高斯滤波平滑和Hough变换矩形检测对TFT-LCD显示屏图像进行预处理，以去除噪声并分割出待检测图像区域；接着引入学习机制，利用PCA算法对大量无缺陷样本进行学习，自动提取背景与待检测目标的差异特征，重建出背景图像；然后对测试图像与背景的差分图像进行阈值化，为降低目标大小变化对阈值确定的影响，通过对背景重建和阈值计算联合建模，基于训练样本的学习，建立出背景结构信息与阈值之间的关系模型，并提出基于人眼视觉特性的自适应分割算法，从而准确地将mura缺陷从背景图像中分割出来。

更进一步的，本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法的步骤为：

离线学习过程：

第1步：采集图片，获取TFT-LCD液晶屏显示图片；

第2步：对采集的源图像进行平滑去噪预处理；

第3步：待检测目标图像的分割；

第4步：选择N张无缺陷的图片(尺寸为w×h)作为训练背景模型的样本集，构建出(w×h)×N的样本矩阵，利用PCA提取学习背景图像集样本矩阵的特征向量，并保存前90％的特征向量信息，即得到背景特征向量矩阵U；

第5步：另外选择M张无缺陷的图片作为训练阈值模型的样本集，将样本集图片投影到背景特征向量空间U上得到特征系数，利用特征系数重建出背景图像，原图减去背景图像得到差分图，将差分图像灰度像素值的均值、方差与背景结构信息建模，即学习得到差分图像灰度像素值的均值、方差与背景特征向量的关系模型；

在线检测过程：

第6步：实时采集待检测的图像，进行平滑去噪预处理，并分割出目标测试图像；

第7步：将分割获得的目标测试图像投影到背景特征向量U上，得到特征系数，利用特征系数重建出背景图像；

第8步：将目标测试图像减去背景图像获得差分图，利用第5步得到的差分图像灰度像素值的均值、方差与背景特征向量之间的关系模型求得差分图的均值与方差，结合国际半导体设备与材料组织(SEMI)给出的mura缺陷刚好可察觉(Just Noticeable Difference,JND)指标建立基于人眼视觉特性的阈值化模型，利用阈值化模型分割出mura目标区域，输出检测结果。

更进一步的，第2步及第6步中采用高斯滤波对采集到的图片进行平滑去噪处理，所用高斯模板窗口大小为3×3。

更进一步的，第3步及第6步中针对TFT-LCD的矩形几何特性，引入基于Hough直线变换的矩形检测算法对目标区域进行分割，充分利用YIQ色彩空间亮度、色度信息分离的特性检测边缘，得到封闭的矩形区域四边，在无畸变的原图中获得很好的分割效果，准确地将待检测目标图像分割出来。

更进一步的，第4步中学习得到样本矩阵的特征向量矩阵的具体方法如下：

(a)构造背景训练样本矩阵

取N幅无缺陷的尺寸为w×h的图像矩阵X，每一个图像矩阵X向量化为(w×h)×1的列向量，合并成一个(w×h)×N的样本矩阵I；

(b)计算均值、协方差矩阵、特征值和特征向量

利用训练样本矩阵I计算均值和协方差矩阵C：

计算协方差矩阵C的特征值λ＝[λ₁,λ₂,....,λ_N]，特征向量值d＝[d₁,d₂,....,d_N]；

(c)将特征值进行降序排序，并按照特征值的顺序，对相应的特征向量进行排序；

(d)特征值越大保留的全局信息越多，越能代表背景结构信息，所以筛选特征值，保留前n个较大的特征值，这n个特征值求和占特征值总和的90％，并保留对应的特征向量；

(e)将排序并筛选完成的特征向量进行合并即得到背景图像集的特征向量矩阵U。

更进一步的，第5步中学习得到差分图像素均值、方差与背景特征向量的关系模型的具体方法如下：

(a)取M张无缺陷的图片矩阵，每一个矩阵化为(w×h)×1的列向量b，分别投影到背景特征向量空间U上得到特征系数y：

(b)利用特征系数y重建出背景图像

(c)使无缺陷的原图减去背景图像得到差分图，将差分图像灰度像素值的均值μ、方差σ²与背景结构信息建模：

μ＝a₁y+a₀

σ²＝a₄y²+a₃y+a₂

σ2＝a4y2+a3y+a2

通过对M张差分图像的训练得到模型系数a₀、a₁、a₂、a₃、a₄。

更进一步的，第7步中获得目标测试图像的背景图像的具体方法如下：

(a)将第6步获得的目标测试图像矩阵化为(w×h)×1的列向量t，分别投影到背景特征向量空间U上得到特征系数y:

(b)利用特征系数y重建出背景图像

更进一步的，第8步中构建基于人眼视觉特性的阈值分割模型的具体方法如下：

(a)将第6步获得的目标测试图像的原图减去第7步重建得到的背景图得到差分图，利用第5步获得的差分图像素均值、方差与特征向量之间的关系模型，求得目标测试图像差分图像素的均值μ、方差σ²；

(b)Mura缺陷检测指标SEMU定义如下：

式中C_x是待检mura目标的对比度均值，S_x为待检mura目标的面积，当目标区域的SEMU值大于1时，判定目标区域为mura缺陷；

(c)构建基于人眼视觉特性的阈值分割模型

对待检目标像素的灰度值进行阈值分割，阈值C₁＝3表示像素灰度值分布在[μ-3σ，μ+3σ]内的为背景；阈值C₂＝6表示像素灰度值分布在[μ-6σ，μ-3σ]和[μ+3σ，μ+6σ]内的为不确定区域，在不确定区域内设置阈值Area将面积小于Area的区域过滤掉，然后结合步骤(b)中的SEMU值判断是否将该目标保留在分割完成的图像中；分布在[-∞，μ-6σ和[μ+6σ，+∞]内的像素点，则直接保留在阈值化后的二值图像中。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法，在图片预处理过程中使用高斯滤波去除噪声，平滑效果更柔和，边缘保留更完整，可以有效地滤除不均匀的随机噪声，保留前景目标，从而有利于保证后续mura缺陷的检测精度。本发明利用TFT-LCD的几何特性，引入基于Hough直线变换的矩形检测算法，充分利用YIQ色彩空间亮度、色度信息分离的特性检测边缘，得到封闭的矩形区域四边，在无畸变的原图中准确地分割出待检测目标图像，对待检测目标图像的分割效果较好。

(2)本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法，在基于PCA的背景重建算法基础上，建立大规模的均匀无缺陷样本集，样本集中的图片基本覆盖当前样本的呈现类型，且展现形式较为充足，学习得到的基向量对背景的还原能力更充分。同时对PCA学习得到的特征信息进行精简，只保留前90％的信息，既排除了少量噪声信息的干扰，又为后续的在线检测提升了速度。

(3)本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法，在线检测过程中，将测试图片投影到无缺陷图片的特征空间上，重建的背景图像能够在尽可能多地保留背景信息的同时不受目标的影响；同时投影得到特征系数和利用特征系数重建背景两个过程都是简单的矩阵乘除过程，重建速度非常快，能够满足工业生产对检测速度的高要求。

(4)本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法，构建了基于学习的和人眼视觉特性的阈值化分割模型。当前大部分算法都是基于差分图像的均值、方差等统计量来确定阈值，然而这种阈值确定方式容易受到目标尺寸的影响。事实上，阈值可以看作是图像对噪声容忍的上限，它的取值应不受缺陷的影响，但由于事先无法区分目标和噪声，因此导致其在传统算法中很难实现。本发明通过对背景重建和阈值计算联合建模，基于对训练样本的学习，建立背景结构信息与阈值之间的关系模型，从而最大限度地降低了目标对阈值确定的影响，能够获得鲁棒的检测结果。

附图说明

图1为本发明的基于样本学习和人眼视觉特性的mura缺陷检测方法的流程图；

图2(a)为实施例1中高斯滤波前的图像；

图2(b)为实施例1中高斯滤波后的图像；

图3中为采用Hough变换矩形检测方法提取TFT-LCD目标区域得到的图；

图4中(a)、(b)、(c)、(d)分别为采用不同分割算法得到的分割效果对比图；

图5为本发明对不同类型的mura缺陷检测结果图。

具体实施方式

为进一步了解本发明的内容，现结合附图和具体实施例对本发明作详细描述。

实施例1

结合图1，本实施例的一种基于样本学习和人眼视觉特性的mura缺陷检测方法，先利用高斯滤波平滑和hough变换矩形检测对TFT-LCD显示屏图像进行预处理，以去除大量噪声并分割出待检测图像区域；接着引入学习机制，利用PCA算法对大量无缺陷样本进行学习，自动提取背景与目标的差异特征，重建出背景图像；然后对测试图像与背景的差分图像进行阈值化，为降低目标大小变化对阈值确定的影响，通过对背景重建和阈值计算联合建模，基于训练样本的学习，建立出背景结构信息与阈值之间的关系模型，并提出基于人眼视觉特性的自适应分割算法，从而能够准确地将mura缺陷从背景图像中分割出来。

下面对本实施例的具体实现方法进行详细介绍，本实施例的mura缺陷检测方法的具体步骤如下：

离线学习过程：

第1步：采用工业相机采集图片，获取TFT-LCD液晶屏显示图片。

第2步：对采集的源图像进行预处理操作：用高斯滤波对采集到的图片进行适当平滑处理，高斯模板窗口大小为3×3。如图2(a)所示，原图中有少量噪声，经过高斯滤波后的图片如图2(b)所示，大部分噪点被去除，并且平滑的效果较柔和，边缘保留更完整，并保留住了前景目标。

第3步：待检测目标图像的分割：针对TFT-LCD的矩形几何特性，引入基于Hough直线变换的矩形检测算法对目标区域进行分割，充分利用YIQ色彩空间亮度、色度信息分离的特性检测边缘，得到封闭的矩形区域四边，在无畸变的原图中获得很好的分割效果，准确地将待检测目标图像分割出来，采用Hough变换矩形检测方法提取TFT-LCD目标区域得到的图如图3所示。

Hough变换矩形检测的基础是Hough直线检测算法，在XY平面的原图像空间中，矩形四条边的排列位置存在一定规律，相对边平行排列，相邻边垂直排列，将XY平面转换到Hough空间后，利用Hough变换及投票机制处理矩形的四条边，可获得4个峰值点，表征在图像空间中的重要几何性质。Hough矩形检测算法可通过以下3个步骤实现：

(a)将高斯滤波后的图像从RGB色彩空间转换到YIQ色彩空间；

先将图像从RGB空间转换至YIQ色彩空间，再对Y通道和I通道进行canny算子边缘检测操作，其中Y通道和I通道分别代表亮度信息和色度信息，是人眼更敏感的红、黄色之间色差的通道图像，能克服单通道灰度信息无法准确判断边缘的问题。YIQ模式与RGB模式的转换关系如下：

(b)通过Hough变换得到直线参数

对canny检测后的二值图展开Hough变换，将二值图中的每一个像素点X(i,j)转化到用极坐标表示的Hough空间中，求出ρ和θ参数。

ρ＝xcosθ+ysinθ。

(c)确定矩形四边和四个顶点

选取Hough变换后的最大点作为峰值点，利用矩形的几何特性，平行线等长且成对出现滤取峰值点，确定矩形四边和四个顶点。

第4步：选择N张无缺陷的图片(图片尺寸为w×h，N值建议为100)作为训练背景模型的样本集，构建出(w×h)×N的样本矩阵，利用PCA提取学习背景图像集样本矩阵的背景特征向量，并保存前90％的特征向量信息，即得到背景特征向量矩阵U，其具体步骤如下：

(a)构造背景训练样本矩阵

设有N幅无缺陷的尺寸为w×h的图像矩阵X，每一个图像矩阵X向量化为(w×h)×1的列向量，合并成一个(w×h)×N的样本矩阵I。样本数量N的选择既要考虑背景重建的误差大小，又要兼顾效率问题，所以N的选择要根据图片的大小和背景重建误差大小以及重建速度综合决定。

(b)计算均值、协方差矩阵、特征值和特征向量

利用训练样本矩阵I计算均值和协方差矩阵C：

计算协方差矩阵C的特征值λ＝[λ₁,λ₂,....,λ_N]，特征向量值d＝[d₁,d₂,....,d_N]。

(c)将特征值降序排序，并按照特征值的顺序，对相应的特征向量进行排序。

(d)特征值越大保留的全局信息越多，越能代表背景结构信息，所以筛选特征值，保留前n个较大的特征值，这n个特征值求和占特征值总和的90％(90％的特征基本能代表背景结构信息，同时剔除潜在的噪声信息)，能较好的还原出无mura的背景，并保留对应的特征向量。

(e)将排序并筛选完成的特征向量合并即得到背景图像集的特征向量矩阵U。

第5步：另外选择M张(M等于N)无缺陷的图片作为训练阈值模型的样本集，将样本集图片投影到背景特征向量空间U上得到特征系数，利用特征系数重建出背景图像，原图减去背景图像得到差分图，将差分图像灰度像素值的均值、方差与背景结构信息建模，即学习得到差分图像灰度像素值的均值、方差与背景特征向量的关系模型。本实施例中学习得到差分图像素均值、方差与背景特征向量的关系模型的具体方法如下：

(a)取M张无缺陷的图片矩阵，每一个矩阵化为(w×h)×1的列向量b，分别投影到背景特征向量空间U上得到特征系数y:

(b)利用特征系数y重建出背景图像

(c)使无缺陷的原图减去背景图像得到差分图，将差分图像灰度像素值的均值μ、方差σ²与背景结构信息建模：

μ＝a₁y+a₀

σ²＝a₄y²+a₃y+a₂

通过对M张差分图像的训练即得到模型系数a₀、a₁、a₂、a₃、a₄。

在线检测过程：

第6步：实时采集待检测的图像，进行平滑去噪预处理，并分割出目标测试图像。

第7步：将分割获得的目标测试图像投影到背景特征向量U上，得到特征系数，利用特征系数重建出背景图像，本实施例中获得测试图像的背景图像的具体方法如下：

(a)将第6步获得的目标测试图像矩阵化为(w×h)×1的列向量t，分别投影到背景特征向量空间U上得到特征系数y：

(b)利用特征系数y重建出背景图像

第8步：将目标测试图像减去背景图像获得差分图，利用第5步得到的差分图像灰度像素值的均值、方差与背景特征向量之间的关系模型求得差分图的均值与方差，结合国际半导体设备与材料组织(SEMI)给出的mura缺陷刚好可察觉(Just Noticeable Difference,JND)指标建立基于人眼视觉特性的阈值化模型，利用阈值化模型分割出mura目标区域，输出检测结果。本实施例中构建基于人眼视觉特性的阈值分割模型的具体方法如下：

(a)第6步获得的目标测试图像的原图减去第7步重建得到的背景图得到差分图，利用第5步获得的差分图像素均值、方差与背景结构信息的关系模型，求得测试图像差分图像素的均值μ、方差σ²：

μ＝a₁y+a₀

σ²＝a₄y²+a₃y+a₂。

(b)低对比度区域判定为mura缺陷的关键依据是看它能否被人眼所感知，因此，我们还需要基于人眼视觉对检测到的低对比度目标区域进行显著性评定，以判定该目标在用户看来的显著性程度。针对这一问题，国际半导体设备与材料组织(SEMI)考虑了mura缺陷在刚好可察觉(Just Noticeable Difference,JND)情况下对比度与面积的关系，定义了MURA缺陷等级的量化指标SEMU，定义如下：

其中C_x是待检目标的平均对比度，S_x是目标mura缺陷的面积。根据该标准，目标区域的SEMU大于1时，就可以判定为mura缺陷。

式中f(i,j)和B(i,j)分别为疑似mura目标区域及背景图像在像素点(i,j)处的灰度值；U为目标区域内所有像素点的集合，N为目标区域内像素点的个数。

目标区域的面积可以简单地定义为目标边界所包的像素点数，它和目标的大小有关，而和目标各点的像素灰度值无关，定义如下：

其中，U为目标区域内所有像素点的集合。

(c)构建基于人眼视觉特性的阈值分割模型

图像背景像素灰度分布均服从均值为μ，方差为σ²的正态分布，对目标和背景的灰度分布用正态分布建模，对比度明显的mura缺陷，往往分布在偏离均值μ较远的区域；对比度差异较小的mura缺陷，分布离μ一定范围内；大量背景像素，分布在正态曲线高峰处，以均值为中心左右对称，正态分布曲线满足：

因此，本实施例中对待检目标像素的灰度值进行阈值分割，阈值C₁＝3表示像素灰度值分布在[μ-3σ，μ+3σ](μ和σ分别为步骤(a)中计算得到的目标测试图像差分图像素的均值和方差)内的为背景；阈值C₂＝6表示像素灰度值分布在[μ-6σ，μ-3σ]和[μ+3σ，μ+6σ]内的为不确定区域，在不确定区域内设置阈值Area将面积小于Area的区域过滤掉，然后结合步骤(b)中的SEMU值判断是否将该目标保留在分割完成的图像中；分布在[-∞，μ-6σ]和[μ+6σ，+∞]内的像素点，则直接保留在阈值化后的二值图像中。

申请人于2016年4月7日申请的申请号为201610213064.9的发明专利虽然也公开了一种TFT-LCD mura缺陷检测方法，但由于该申请案中采用基于ICA学习的FastICA算法稳定性不够，对图像特征提取的时间较长，而本实施例使用的PCA算法广泛应用于数据降维和特征提取，尤其在特征提取方面有很好的效果，算法稳定性和鲁棒性都高于FastICA算法。同时在阈值分割模型方面，上述申请案基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法将差分图求像素值的均值和方差时排除了前10％的灰度值(降序)，但10％这个值也是根据经验设定的，不具有普遍性。本实施例通过对无缺陷样本的学习对主成分特征与背景图像的均值和方差之间的关系进行建模，背景均值和方差的确定不再依赖于经验，而是依赖于样本学习到的背景特征和自身背景特征，更具有准确性。

如图4(d)所示，采用本实施例的基于人眼视觉特性的阈值分割模型的分割效果明显好于采用最大类间方差法分割算法(图4(b))和Fan等人提出的方法(图4(c))，其中4(a)为待分割源图像。

最大类间方差法是一种自适应的阈值确定的方法，简称OTSU，基本思想是使用一个阈值将整个数据分成两个类，假如两个类之间的方差最大，那么这个阈值就是最佳的阈值。由于差分图像中不仅包含噪声信息，也包含缺陷信息，不同大小的缺陷信息会在不同程度上影响均值、方差等统计量的计算，影响阈值的确定，从而影响分割效果。如图4(b)所示，最大类间方差法无法分割出mura目标区域。Fan等人提出分割方法是将差分图的像素值从大到小排序，前10％的像素值视为潜在缺陷区域剔除，再求像素值的均值和方差，10％这个值是根据经验设定，不具有普遍性，同时也未对小的噪声点做处理，分割出的效果图中存在大量噪声，如图4(c)所示。本发明通过对无缺陷样本的学习对主成分特征与背景图像的均值和方差之间的关系进行建模，背景均值和方差的确定不再依赖于经验，而是依赖于样本学习到的背景特征和自身背景特征，更具有准确性，同时也对小的噪声做了处理，最后结合SEMI指标对分割出的疑似mura目标区域再判断，较为准确地分割出了目标区域，如图4(d)所示。

(d)采用本实施例的方法对含有不同类型mura缺陷的图像进行检测，检测结果如图5所示，从检测结果可以看出本实施例提出的算法能对不同类型的mura缺陷均有较好的检测效果。