基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法
【专利摘要】本发明公开了一种基于ICA学习和多通道融合的TFT?LCD mura缺陷检测方法，属于TFT?LCD显示缺陷检测领域。本发明利用FastICA算法从大量样本图像中分离出相互独立的图像基，并使用图像基重建出背景图像，尽可能多地保留了背景信息，同时不受目标的影响，然后对测试图像与背景的差分图像进行阈值化，通过设定多个阈值减少潜在目标区域和噪声对目标分割的干扰，同时考虑到mura缺陷的色彩信息，引入多色彩通道融合的检测方案，兼顾了不同类型的mura缺陷检测。本发明能适应不同类型的mura缺陷检测，过检、漏检现象较少。
【专利说明】
基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法
技术领域
[0001] 本发明属于TFT-IXD显示缺陷检测技术领域，具体涉及一种基于ICA学习和多通道 融合的TFT-IXD mura缺陷检测方法。
【背景技术】
[0002] TFT-IXD是目前最受欢迎的显示器件，应用领域涉及工业控制、便携式移动产品、 桌面显示器、电视机、航空、医疗和公共显示领域等。随着TFT-LCD制造技术日益复杂，mura 缺陷在TFT-LCD屏幕中出现的概率随之增加。mura缺陷是用来描述人观看显示器时感知到 的亮度不均衡性，是一种没有固定形状、边缘模糊的低对比度目标，其产生原因主要是电路 或构造上的缺陷以及材料特性的不均匀。目前大多数企业采用传统人工法进行mura缺陷检 测，存在效率低、一致性低、人工成本高、管理成本高等一系列问题。因此，研究快速高效的 自动化mura缺陷检测和识别方法具有迫切需求和重要意义。
[0003] 国内外研究机构和学者已经提出多种mura缺陷检测方法。如基于图像分割的方 法，但是mura缺陷没有明显的边缘，传统的图像分割算法很难准确地分割出目标区域。基于 特征分类的方法，采用小波分解和灰度共生矩阵提取图像特征后分类。但此类方法只适用 于定性缺陷检测，仅能判断缺陷的有无。
[0004] 基于背景重建的方法是主要的检测方法，主要采用基于频域滤波的方法、基于回 归的方法、基于统计分析的方法等进行液晶屏背景建模，再利用图像差分提取低对比度 mura目标。基于频域滤波的方法，如利用二维余弦变换(discrete cosine transfer，DCT)、 小波变换(wavelettransf orm，WT)分别将图像变换至频域空间，通过滤去图像的高频信息 来重建背景图像。但是低对比度的mura与背景不存在明显的界限，两者在频谱上并不能完 全区分开。基于回归的方法，此类方法只对明显的异常点有较好的识别效果，对于低对比度 的mura存在漏检现象。基于统计分析的方法采用主成分分析PCA、奇异值分解SVD、稀疏性限 制下的低秩矩阵重建等方法进行背景建模。例如Yun等人于20 14年在《1st IEEE International Conference on Consumer Electronics-Taiwan》上发表的《Automatic mura inspection using the principal component analysis for the TFT-LCD panel》]认为目标对应于图像的细节信息，分别以图像的行/列作为样本数据，进行主成分 分析(Principal Component Analyais，PCA)，通过只保留前k维特征来重建背景图像。
[0005] 上述方法都潜在的以mura缺陷对应图像中的局部细节信息为前提，如果目标区域 较大，也有可能在主要特征量中体现，从而影响背景重建的效果。且上述方法都是基于待测 样本本身或者少量样本图像进行背景建模，无法区分出mura和背景自身的不均匀性变化， 重建出的背景不具有普适性，且容易受到噪声干扰。并且没有考虑到将检测图片转化为灰 度图像进行检测会使由色斑引起的mura缺陷丢失信息的问题。
[0006] 经检索，关于TFT-LCD的mura缺陷检测已有较多专利公开。如中国专利号 200810117992.0,授权公告日为2011年4月13日，发明创造名称为:液晶显示面板云纹缺陷 的检测方法和检测装置;该申请案的检测方法包括:步骤1、采集所要检测的液晶显示面板 的样本图像;步骤2、根据所述样本图像，利用B样条最小二乘法拟合出所述样本图像所对应 的背景图像;步骤3、将所述样本图像和背景图像进行比较，获取云纹缺陷图像。液晶显示面 板云纹缺陷的检测装置包括样本图像采集模块、背景图像拟合模块、缺陷图像获取模块。该 申请案提供的云纹缺陷的检测方法效率较高，但该申请案同样存在基于待测样本本身进行 背景建模，无法区分出mura和背景自身的不均匀性变化，重建出的背景不具有普适性，且容 易受到噪声干扰的问题。
【发明内容】
[0007] 1.发明要解决的技术问题
[0008] 为了解决现有技术中的问题，本发明提出一种基于ICA学习和多通道融合的TFT-LCDmura缺陷检测方法;本发明挑选大量无缺陷样本构建训练样本集，使用Fast ICA算法从 样本集中分离出独立的图像基，并将测试图像投影到图像基上，重构出背景图像，再使用阈 值化模型准确分割出差分图中mura区域，并且融合灰度域和S域两种通道的检测结果作为 最终的检测结果，解决了由于图像背景亮度不均匀导致的mura缺陷不能被准确分割以及色 斑mura信息丢失的问题。
[0009] 2.技术方案
[0010]为达到上述目的，本发明提供的技术方案为：
[0011] 本发明的基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方法，其步骤为：
[0012] 第1步:选择N张不含缺陷的图像分害喊mxn的子块图像，分别提取灰度图像和HSV 色彩模型中的S通道图像，构成灰度域训练样本集和S域训练样本集；
[0013] 第2步:使用FastICA算法分别对两个训练样本集矩阵进行无监督学习，分离出相 互独立的图像基；
[0014] 第3步:将测试图像分割成mXn的子块图像，并提取灰度域和S域图像，对应投影到 步骤2所得图像基上，得到投影系数，然后用投影系数重建出子块图像的灰度域和S域背景 图像；
[0015] 第4步:分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图 像，将差分图的像素值取绝对值，然后进行中值滤波；
[0016] 第5步:构建多阈值模型对步骤4得到的差分图像进行阈值化分割，提取mura缺陷 区域；
[0017] 第6步:融合灰度域和S域两种通道的检测结果，得到最终的检测结果。
[0018] 更进一步地，步骤1中选择100张不含缺陷的图像分割成500X500的子块图像。 [0019]更进一步地，步骤2学习得到图像基的具体方法如下：
[0020]对训练样本I进行去均值、白化处理：
[0022] Z = ?；,IW(, = A
[0023] 其中A、U分别表示协方差矩阵的特征值矩阵和对应的特征向量矩阵，图像 基Y表不为：
[0024] Y=ffZ
[0025] 使用Fast ICA算法求解解混矩阵W，从而分离出独立的图像基Y。
[0026] 更进一步地，步骤(3)对测试图像进行背景重建的具体方法如下：
[0027] (a)将大小为mXn的测试图像转换成IX (mXn)的行向量d，将d投影到图像基Y上， 得到投影系数b:
[0028] b = d ? pinv(Y)
[0029]其中pinv(Y)表示Y的伪逆矩阵；
[0030] (b)使用投影系数b重构图像背景background = b ? Y，将background还原成mXn的 矩阵即为重建出的背景图像矩阵。
[0031 ]更进一步地，步骤(5)构建多阈值的阈值化模型的具体方法如下：
[0032] (a)对差分图像素值由大到小排序，以前QX 100%的像素点为目标区域，对剩余 的像素点计算均值和方差；
[0033] (b)确定绝对mura区域，设置阈值C3,小于C3的像素点为背景区域，大于C 3的像素点 为绝对mura区域；
[0034] (c)获得不确定mura区域，设定阈值C2，C2 <C3，小于C3大于C2的像素点为不确定 mura区域；
[0035] (d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阈值 AThr e s的区域视为噪声去除，保留大于AThre s的区域，加上绝对mura区域，获得最终的mura 目标区域。
[0036] 更进一步地，设定灰度域阈值& = 0.1、C2 = 0.3、C3 = 0.6、AThres = 50，S域阈值Q =0? l、C2 = 0.2、C3 = 0.4、AThres = 50。
[0037] 3 ?有益效果
[0038]采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
[0039] (1)本发明的基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方法，在背景重 建中引入学习的机制，通过对大量样本的学习，自动提取背景和目标的差异特性，从而使得 重建的图像能够在尽可能多地保留背景信息的同时不受目标的影响；
[0040] (2)本发明的基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方法，引入了多 通道融合的检测方案，分别提取灰度域图像和S域图像构成训练集，学习得到灰度域图像基 和S域图像基，将不同色彩域的测试图像投影到对应的图像基上，重建出不同色彩域的背景 图像，得到相应的差分图，最后对两者的差分图进行分割，并将两种通道的分割结果相加， 得到最终的缺陷检测结果，充分考虑到mura缺陷的色彩信息，对不同类型的mura缺陷都有 好的检测效果，尤其是对由色斑引起的mura缺陷；
[00411 (3)本发明的基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方法，提出的多 阈值的阈值化模型，在准确分割出差分图中mura区域的同时降低了噪声的干扰；
[0042] (4)本发明的基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方法，能适应不 同类型的mura缺陷检测，过检、漏检现象较少。
【附图说明】
[0043]图1为本发明提出的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法的 流程图；
[0044] 图2中的(a)~(e)为不同分割算法的分割效果对比图；
[0045] 图3中的(a)~(d)为不同类型的mura缺陷检测效果图。
【具体实施方式】
[0046] 为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
[0047] 实施例1
[0048] 结合图1，本实施例的一种基于ICA学习和多通道融合的TFT-IXD mura缺陷检测方 法，挑选大量无缺陷样本构建训练样本集，使用FastICA算法从样本集中分离出独立的图像 基，并将测试图像投影到图像基上，重构出背景图像，再使用阈值化模型准确分割出差分图 中的mura区域，并且融合灰度域和S域两种通道的检测结果作为最终的检测结果。通过在背 景重建中引入学习的机制，从而使得重建的图像能够在尽可能多地保留背景信息的同时不 受目标的影响;且充分考虑到mura缺陷的色彩信息，引入多通道融合的检测方案，对不同类 型的mura缺陷都有好的检测效果，尤其是对由色斑引起的mura缺陷。
[0049] 下面对本实施例的具体实现方法进行详细介绍。本实施例的检测步骤如下；
[0050] 第1步:构造训练样本集
[0051] 选择大规模、多类型的均匀无缺陷图像集，相机采集到的图像尺寸一般都比较大， 不利于训练学习，需要分割成mXn的子块图像，根据经验500X500的图像尺寸比较合适。样 本越多提取的图像基越具有普适性，背景重建效果越好，但也同时会耗费更多的重建时间。 为了兼顾重建效果和时间效率，挑选其中的100张分别提取灰度图像和HSV色彩模型中的S 通道图像，构成灰度域训练样本集和S域训练样本集，样本集中的图片基本覆盖当前样本的 呈现类型，且展现形式较为充足，这样学习得到的图像基对背景的还原能力更充分，具体方 法如下：
[0052] 将N幅mXn的无缺陷图像转换成1 X (mXn)的行向量X，组成样本矩阵1 = [Xi, X2,. . .，Xn]t，其中行向量&对应于第i幅训练图像，构建方式如下：
[0053] /= . ' -l (1)
[0054]分别提取N幅mXn的无缺陷图像的灰度图像和HSV色彩模型中的S通道图像，按照 上述的构造方式构造灰度域训练样本集和S域训练样本集。
[0055]第2步:使用FastICA算法分别对灰度域训练样本集矩阵和S域训练样本集矩阵进 行无监督学习，分离出相互独立的图像基，具体方法如下：
[0056]独立成分分析（ICA)是一种基于高阶统计信息的去相关多元数据处理方法，能把 一组混合信号分解为独立的成分。在ICA模型中，混合信号X=[X1，X2,. . . .，Xn]T可以表示成 公式： n
[0057] X = AS = Yja,si ? (2)
[0058] 其中A是混合矩阵，S是独立的源信号，都不能直接从混合信号X中分离出来。ICA算 法通过X求得一个解混矩阵W，分解所获得的信号Y是S的最优逼近，该关系可以通过下式表 示：
[0059] Y=ffX=ffAS,A=inv(ff) (3)
[0060] 其中Y=[yi，y2, . . . .，yn]T。如果将X看成训练图像集，则Y可看成是独立的图像基。
[0061] 快速独立分量分析(FastICA)方法以最大负熵为目标函数，利用了牛顿迭代法原 理，具有较快的收敛速度，本实施例采用FastICA算法求解独立成分。
[0062]对训练样本I进行去均值、白化处理，分别如公式(4)、（5)所示。
(：4) (5)
[0065] 其中A、U分别表示协方差矩阵；)的特征值矩阵和对应的特征向量矩阵。则图 像基Y可表示为：
[0066] Y=ffZ (6)
[0067] 使用Fast ICA算法求解解混矩阵W，从而分离出独立的图像基Y。
[0068] 按照上述方法，使用FastICA算法分别求解出灰度域和S域的图像基。
[0069] 第3步:对测试图像进行背景重建，具体步骤如下：
[0070] (a)将测试图像分割成mXn的子块图像，mXn为500X500,分别提取测试图像的灰 度域和S域图像，并分别转换成1 X (mXn)的行向量d。
[0071] (b)将提取的灰度域和S域图像投影到对应的图像基上，得到投影系数b
[0072] b = d ? pinv(Y) (7)
[0073] 其中pinv(Y)表示Y的伪逆矩阵。
[0074] (c)使用投影系数b重构图像背景background = b ? Y，将background还原成mXn的 矩阵，即为重建出的子块图像的灰度域和S域背景图像矩阵。
[0075] 第4步:分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图 像，将差分图的像素值都取绝对值，然后进行中值滤波，去除小的噪点。
[0076] 第5步：构建一个多阈值模型对步骤4得到的差分图像进行阈值化分割，提取出 mura缺陷区域。
[0077]发明人指出：待分割的差分图中可能包含了目标区域，整体均值和方差就会受到 干扰，传统的阈值化方法无法准确地分割出mura区域。于是有研究学者先排除这部分的像 素后计算均值和方差，再进行阈值化分割。但是该方法分割出的目标区域依然存在很多噪 声。在此基础上，发明人提出一种多阈值分割算法，先排除差分图内最大的前C1X 100%的 像素点计算均值和方差，然后再设定阈值C2、C3划分绝对mura区域和不确定mura区域，并将 不确定mura区域内的小面积噪声去除，最后融合绝对mura区域和不确定mura区域作为最终 的分割结果。具体的阈值化模型如下：
[0078] (a)对差分图像素值由大到小排序得到ri，假设前&乂 100%的像素点为目标区域， 对剩余的像素点计算均值y和方差〇,如公式(8)、（9)所示。 (8) (9)
[0081] (b)确定绝对mura区域，设置阈值C3,小于C3的像素点为背景区域，大于C 3的像素点 为绝对mur a区域。
[0082] 5祕".小 y) = ^ L〇， eke (]〇)
[0083]其中"255"表示绝对mura区域的像素，"0"表示背景区域的像素，Reslm表示中值滤 波后的差分图。
[0084] (c)获得不确定mura区域，设定阈值C2(小于C3)，小于C 3大于C2的像素点为不确定 mura区域。
[0085] NoSureMura{Uj) = \255'lfC'- ~
[0， else (11)
[0086] 其中"255"表示不确定mura区域的像素，"0"表示背景区域的像素。
[0087] (d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阈值 AThr e s的区域视为噪声去除，保留大于AThre s的区域，加上绝对mura区域，获得最终的mura 目标区域。
[0088] 执行(c)和(d)是为了去除小面积噪声的同时保护小面积但高对比度的点状mura， 不让其被当成噪声去除而造成漏检。
[0089] 对不同色彩域阈值设定不同，S域图像较灰度域图像整体色度会偏暗，所以阈值也 会较小。根据大量的实验结果，设定灰度域阈值& = 0.1、C2 = 0.3、C3 = 0.6、AThres = 50，S域 阈值 Ci = 0.1、C2 = 0.2、C3 = 0.4、AThres = 50〇
[0090] 如图2所示，图2中的(a)是一张含有区域mura的测试图像的灰度图，对其差分图使 用不同方法进行阈值化分割；图2中的（b)是0TSU算法的分割效果，分割效果不理想；图2中 的(〇)是& = 0、(：2 = 0.3的分割效果，只分割出了目标区域的一小部分，分割不够准确；图2中 的⑷是(^ = 0.1、(：2 = 0.3，而未设定(：3^11^^两个阈值的分割效果，能分割出目标区域的 整体轮廓，但存在大量的噪点；图2中的（6)是& = 0.1、& = 0.3、(：3 = 0.6^11^^ = 50的分割 效果，准确分割出目标区域的同时去除了大量噪声。
[0091] 由于S域图像的整体对比度会比灰度域低，S域阈值CdPC3的设定会比灰度域阈值 小，分别设为〇. 2、0.4，其他两个阈值相同。
[0092] 第6步:融合灰度域和S域两种通道的检测结果，即将两者的分割结果图像相加，得 到最终的检测结果。
[0093] 选择含有不同类型mura的测试图片进行检测，检测结果如图3所示。图3中的（a)、 (b )、（ c )、（ d)分别表示区域mura、点mura、条状mura和色斑mura的灰度图和多通道融合的检 测结果。从检测结果可以看出本发明提出的算法能对不同类型的mura缺陷均有好的检测效 果。
[0094]同时选择80张有缺陷图片和80张无缺陷的图片进行检测，并与Yun提出PCA重建算 法进行比较，检测结果如表1所示。从表1可以看出，本发明提出的算法对有缺陷图片和无缺 陷图片的检测成功率均高于Yun的算法，这说明本发明提出的算法对有缺陷和无缺陷图片 具有较好的识别效果。
[0095]表1 mura检测结果的综合比较
[0097]以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所 示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技 术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案 相似的结构方式及实施例，均应属于本发明的保护范围。
【主权项】
1. 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其步骤为： 第1步:选择脚长不含缺陷的图像分割成mXn的子块图像，分别提取灰度图像和HSV色彩 模型中的S通道图像，构成灰度域训练样本集和S域训练样本集； 第2步:使用化StICA算法分别对两个训练样本集矩阵进行无监督学习，分离出相互独 立的图像基； 第3步:将测试图像分割成mXn的子块图像，并提取灰度域和S域图像，对应投影到步骤 2所得图像基上，得到投影系数，然后用投影系数重建出子块图像的灰度域和S域背景图像； 第4步:分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图像， 将差分图的像素值取绝对值，然后进行中值滤波； 第5步:构建多阔值模型对步骤4得到的差分图像进行阔值化分割，提取mura缺陷区域； 第6步:融合灰度域和S域两种通道的检测结果，得到最终的检测结果。2. 根据权利要求1所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其 特征在于:步骤1中选择100张不含缺陷的图像分割成500 X 500的子块图像。3. 根据权利要求1或2所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方 法，其特征在于:步骤2学习得到图像基的具体方法如下： 对训练样本I进行去均值、白化处理：其中A、U分别表示协方差矩阵￡(7 r ；)的特征值矩阵和对应的特征向量矩阵，图像基Y 表示为： Y=WZ 使用化StICA算法求解解混矩阵W，从而分离出独立的图像基Y。4. 根据权利要求3所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其 特征在于:步骤(3)对测试图像进行背景重建的具体方法如下： (a) 将大小为mXn的测试图像转换成IX (mXn)的行向量d，将d投影到图像基Y上，得到 投影系数b: b = d ? pinv(Y) 其中pinv(Y)表示Y的伪逆矩阵； (b) 使用投影系数b重构图像背景backg;round = b ? Y，将background还原成mXn的矩阵 即为重建出的背景图像矩阵。5. 根据权利要求4所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其 特征在于:步骤(5)构建多阔值的阔值化模型的具体方法如下： (a) 对差分图像素值由大到小排序，W前CiX 100%的像素点为目标区域，对剩余的像素 点计算均值和方差； (b) 确定绝对mura区域，设置阔值C3,小于C3的像素点为背景区域，大于C3的像素点为绝 对mura区域； (C)获得不确定mur a区域，设定阔值C2，C2 < C3，小于C3大于C2的像素点为不确定mur a区 域； (d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阔值AThreS 的区域视为噪声去除，保留大于AThres的区域，加上绝对mura区域，获得最终的mura目标区 域。6.根据权利要求5所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其 特征在于:设定灰度域阔值Cl = 0.1、C2 = 0.3、C3 = 0.6、AThres = 50，S域阔值Cl = O . 1、C2 = 0.2、C3 二 0.4、Allires 二 50 D
【文档编号】G06T5/00GK105913419SQ201610213064
【公开日】2016年8月31日
【申请日】2016年4月7日
【发明人】李勃, 王秀, 董蓉, 朱赛男, 何玉婷, 史德飞
【申请人】南京汇川图像视觉技术有限公司