专利名称：一种快速的玻璃图像缺陷检测及分类方法及其装置的制作方法
技术领域：
本发明涉及图像处理、计算机视觉和模式识别技术领域，特别是涉及一种快速的 玻璃图像缺陷检测及分类方法及其装置。
背景技术：
传统的玻璃图像缺陷检测和分类是由人工完成的，但这种方法受人为主观因素的 影响，效率低，难以满足生产不断发展的需要。随着计算技术的不断发展，利用数字图像处 理技术来对图像进行分析从而进行缺陷检测逐渐成为工业缺陷检测领域的主流。这种技术 具有检测速度快、无需人工操作的优势，应用前景广泛。然而，光照条件的变化、缺陷形成的 复杂性、玻璃上的各种悬浮物的影响(如浮尘、水渍、或纤维等)都使得基于视觉的玻璃图 像缺陷检测任务变得非常困难。国外在玻璃生产过程中广泛的采用了自动检测设备，如英国的Pilkington公司， 美国的Image Automation公司，德国的LASOR公司和Innomess公司，以及日本的旭硝子等 企业都自主研制出浮法玻璃在线自动检测系统。国内对玻璃图像缺陷检测的研究开展较 晚，技术相对简单，目前与国外检测技术相比还有很大差距。现有的文献多数是利用简单的 图像预处理操作来实现玻璃图像缺陷的检测，如对图像进行边缘提取、平滑处理、对比度增 强或者更复杂的水线分割算法等。为获取更加准确的缺陷区域，还有研究者对用于进行缺 陷域分割的阈值进行优化(参考刘洲峰等，玻璃缺陷图像分割方法研究与实现，中原工学 院学报)。除此之外，有研究人员利用行程长编码(Rim-length-encoding，RLE)算法设计 了线阵图像的污点查找算法，实现对缺陷的定位(参考余文勇等，一种浮法玻璃全面缺陷 在线检测系统，华中科技大学学报)。在缺陷分类方面，目前国内广泛采用的是基于规则或 模板匹配的方法。所谓基于规则的方法，即根据不同类型缺陷的成因，分析其在图像上反应 出来的特征，包括亮度特征、几何特征等。如对于气泡类缺陷，气泡边缘灰度值低于周围背 景，但内部某点灰度值会略高于背景灰度(参考周欣等，玻璃缺陷快速检测分类研究，微 计算机信息)。模板匹配的方法通常是用提取缺陷域的边缘轮廓或二值图像，与预先存储的 缺陷样本进行匹配来实现。但由于同一种缺陷在图像上所表现出来的亮度外观也是有差别 的，因此无论是基于规则的方法还是模板匹配的方法从统计意义上来讲，性能都不够稳定。 近两年的研究人员开始探索提取其他图像特征，并采用神经网络或SVM(Support Vector Machine，支持向量机)分类器来进行缺陷分类。在选择特征时，可采用缺陷域的几何参数 作为特征，也可以对缺陷域进行特征变换，如提取小波包特征或矩特征来进行分类(参考 郑斌，玻璃缺陷图像识别的关键技术研究，硕士论文，武汉理工大学)。相对来讲，基于统计 的分类方法可以获得更好的分类性能，但几何特征数目较少，描述能力不够强；而小波特征 变换较为复杂，耗时较长。因此，选取既具有强描述能力且变换简单的合适的特征对于提升 最后的分类性能是非常关键的。当前的玻璃图像缺陷检测及分类的研究多数是基于干净的缺陷图像进行的，即没 有考虑图像上还存在有其他灰尘、污渍等的影响，因此，实际可以看做是对真实应用情况的简化。但实际上这些因素的影响会使得缺陷检测和分类任务变得非常困难，即要判断输入 图像的某个区域是否存在缺陷，以及该缺陷是属于预先定义的缺陷类别，还是属于未定义 的缺陷类别。
发明内容
本发明的目的在于提供一种快速的玻璃图像缺陷检测及分类方法及其装置，用于 对包含噪声的玻璃图像帧中的缺陷进行准确检测，并且能够有效地区分缺陷的类别，包括 对未定义缺陷的判别。为了实现上述目的，本发明提供一种快速的玻璃图像缺陷检测及分类方法，其特 征在于，包括步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量， 得到候选缺陷窗口；步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到 候选缺陷区域；步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布 模式提取缺陷域；步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量 进行缺陷分类，得到缺陷分类结果。所述的玻璃图像缺陷检测及分类方法，其中，所述步骤1中，进一步包括用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否 可能包含缺陷，灰度方差公式如下
权利要求
1.一种快速的玻璃图像缺陷检测及分类方法，其特征在于，包括步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到 候选缺陷窗口；步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选 缺陷区域；步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式 提取缺陷域；步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行 缺陷分类，得到缺陷分类结果。
2.根据权利要求1所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤1中，进一步包括用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量，以判断所述窗口是否可能 包含缺陷，灰度方差公式如下 V = ^ (χ - — χ)xeW其中，V是灰度方差，X是窗口 W中像素对应的亮度值，元是窗口内所有像素亮度的均值，Tw是 灰度方差的经验阈值，若V > Tw，则认为窗口区域可能包含有缺陷，否则认为此窗口区域为 背景区域。
3.根据权利要求1所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤3中，进一步包括以如下公式获取所述候选缺陷区域的背景灰度值Ib =丄!^.,(Hli > Hlw ,且 Tb- δ < Ii < Tb+ δ ) n i=\其中，Ib是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，η是符合条件的灰度 值的总数，δ是经验值，为一正数，Hli是对应第i个符合条件的灰度值Ii的直方图，Tb是经 验背景灰度值。
4.根据权利要求3所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤3中，进一步包括根据缺陷/未定义缺陷的特征和所述背景灰度值，将所述灰度分布模式分成如下模式第一灰度分布模式，具有均衡的背景和明显的暗区； 第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域。
5.根据权利要求4所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤3中，进一步包括当所述候选缺陷区域中存在的像素Pi的灰度值满足如下公式时，被判断为高亮像素ip>Ib+Th其中，‘是像素的背景灰度值，Ib是候选缺陷区域的背景灰度值，Th为高亮像素的亮度高出 背景灰度值的阈值。
6.根据权利要求4或5所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤3中，进一步包括获取所述候选缺陷区域内灰度的最小值min_X、最大值maX_X，并根据确定的灰度分布 模式进行缺陷域提取当确定的灰度分布模式为第一灰度分布模式时，令maX_X = Ib，根据对比度增强的方式 以如下公式计算阈值thresh 1 = (max_x+min_x)/2基于阈值thresh 1得到二值化的缺陷域，这里的二值设为0或255 ；或 当确定的灰度分布模式为第二灰度分布模式时，对所述候选缺陷区域采用如下灰度分 段方式提供所述缺陷域a.对于灰度满足0< Ii < Ib的像素，采用与所述第一灰度分布模式相同的方式提取 所述缺陷域；b.对于灰度满足Ib彡Ii彡255的像素，令min_x= Ib，根据对比度增强的方式以如下 公式计算阈值thresh 2 = (max_x+min_x)/2基于阈值thresh 2得到二值化的缺陷域，这里的二值设为0或128。
7.根据权利要求1、2、3、4或5所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤3中，进一步包括按照所述缺陷域的长度、宽度，对所述缺陷域进行按比例的边界进行扩充，公式如下W' =w* α , h' = h · α其中，α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，W'为缺陷域向左/向右扩充 的宽度，h为扩充前的缺陷域的高度，h'为缺陷域向上/向下扩充的高度。
8.根据权利要求1、2、3、4或5所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
9.根据权利要求8所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括采用如下缺陷判别的分类方式对玻璃图像缺陷进行分类通过第一级SVM分类器区分结石类缺陷与其他类别缺陷，当判断玻璃图像缺陷不是结 石类缺陷时，进入第二级SVM分类器；通过所述第二级SVM分类器区分气泡类缺陷与碎屑、未定义缺陷，当判断玻璃图像缺 陷不是气泡类缺陷时，进入第三级SVM分类器；通过所述第三级SVM分类器区分碎屑与未定义缺陷。
10.根据权利要求9所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括按照基于分块局部特征描述的特征提取方式提取所述缺陷域的特征向量。
11.根据权利要求10所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括利用主成分分析方式对所述特征向量进行降维。
12.根据权利要求9、10或11所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括在训练样本的收集阶段，对所述缺陷域进行位置扰动。
13.根据权利要求9、10或11所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。
14.根据权利要求13所述的玻璃图像缺陷检测及分类方法，其特征在于， 所述步骤4中，进一步包括在采用所述缺陷判别的分类方式获取所述缺陷分类结果后，对所述未定义缺陷按照紧 致的缺陷特征规则进行限制，获取误分至所述未定义缺陷的真实缺陷。
15.一种快速的玻璃图像缺陷检测及分类装置，其特征在于，包括候选缺陷窗口确定模块，用于对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分 布的均衡性度量，得到候选缺陷窗口 ；候选缺陷区域确定模块，连接所述候选缺陷窗口确定模块，用于根据所述候选缺陷窗 口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；缺陷域确定模块，连接所述候选缺陷区域确定模块，用于获取所述候选缺陷区域的背 景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；缺陷分类模块，连接所述缺陷域确定模块，用于将所述缺陷域按照尺度进行归一化，并 提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。
16.根据权利要求15所述的玻璃图像缺陷检测及分类装置，其特征在于，所述候选缺陷窗口确定模块用窗口区域的灰度方差作为窗口内灰度分布的均衡性度 量，以判断所述窗口是否可能包含缺陷，灰度方差公式如下
17.根据权利要求15所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷域确定模块，进一步包括背景灰度值获取模块，用于获取所述候选缺陷区域的背景灰度值； 灰度分布模式确定模块，连接所述背景灰度值获取模块，用于根据缺陷/未定义缺陷 的特征和所述背景灰度值，确定所述灰度分布模式；缺陷域提取模块，连接所述灰度值获取模块、所述灰度分布模式确定模块，用于根据所 述背景灰度值、所述灰度分布模式进行缺陷域提取。
18.根据权利要求17所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述背景灰度值获取模块，以如下公式获取所述候选缺陷区域的背景灰度值h = -ΣΛ^Ηι, > 战,+1 ,且 Tb- δ < Ii < Tb+ δ ) η /=1其中，Ib是候选缺陷区域的背景灰度值，i是符合条件的灰度值的索引，η是符合条件的灰度 值的总数，δ是经验值，为一正数，Hli是对应第i个符合条件灰度值Ii的直方图，Tb是经验 背景灰度值。
19.根据权利要求17或18所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述灰度分布模式确定模块将所述灰度分布模式分成如下模式第一灰度分布模式，具有均衡的背景和明显的暗区； 第二灰度分布模式，具有均衡的背景和暗区以及明显的高亮区域。
20.根据权利要求19所述的玻璃图像缺陷检测及分类装置，其特征在于，所述灰度分布模式确定模块当所述候选缺陷区域中存在的像素Pi的灰度值满足如下 公式时，判断该像素为高亮像素，对应的区域为高亮区域WTh其中，4是像素的背景灰度值，Ib是候选缺陷区域的背景灰度值，Th为高亮像素的亮度高出 背景灰度值的阈值。
21.根据权利要求17、18或20所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷域提取模块获取所述候选缺陷区域内灰度的最小值min_X、最大值max_x，并根据确定的灰度分布模式进行缺陷域提取当确定的灰度分布模式为第一灰度分布模式时，令maX_X = Ib，根据对比度增强的方式 以如下公式计算阈值
22.根据权利要求15、16、17、18或20所述的玻璃图像缺陷检测及分类装置，其特征在于，所述装置，进一步包括缺陷域扩充模块，连接所述缺陷域确定模块，用于按照所述缺陷域的长度、宽度，对所 述缺陷域进行按比例的边界进行扩充，公式如下W' =w* α , h' = h · α其中，α为边界扩充的尺度因子，w为扩充前的缺陷域的宽度，W'为缺陷域向左/向右扩充 的宽度，h为扩充前的缺陷域的高度，h'为缺陷域向上/向下扩充的高度。
23.根据权利要求15、16、17、18或20所述的玻璃图像缺陷检测及分类装置，其特征在于，所述缺陷分类模块按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
24.根据权利要求23所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷分类模块，进一步包括第一级SVM分类器，用于区分结石类缺陷与其他类别缺陷；第二级SVM分类器，连接所述第一级SVM分类器，用于当所述第一级SVM分类器判断玻 璃图像缺陷不是结石类缺陷时，区分气泡类缺陷与碎屑、未定义缺陷；第三级SVM分类器，连接所述第二级SVM分类器，用于当所述第二级SVM分类器判断玻 璃图像缺陷不是气泡类缺陷时，区分碎屑与未定义缺陷；第一特征向量提取模块，用于从所述缺陷域中提取第一特征向量，以供所述第一级SVM 分类器、所述第二级SVM分类器进行缺陷分类所用；第二特征向量提取模块，用于从所述缺陷域中提取第二特征向量，以供第三级SVM分 类器进行缺陷分类所用。
25.根据权利要求24所述的玻璃图像缺陷检测及分类装置，其特征在于，所述第一特征向量提取模块按照基于分块局部特征描述的特征提取方式提取所述第 一特征向量；所述第二特征向量提取模块采用灰度直方图特征作为所述第二特征向量。
26.根据权利要求25所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷分类模块，进一步包括特征向量降维模块，连接所述第一特征向量提取模块，用于利用主成分分析方式对所 述第一特征向量进行降维。
27.根据权利要求24、25或26所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷分类模块，进一步包括缺陷域位置扰动模块，用于在训练样本的收集阶段，对所述缺陷域进行位置扰动，以用 于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。
28.根据权利要求24、25或26所述的玻璃图像缺陷检测及分类装置，其特征在于， 所述缺陷分类模块，进一步包括缺陷分类修正模块，连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级 SVM分类器，用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器 进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。
29.根据权利要求28所述的玻璃图像缺陷检测及分类装置，其特征在于，所述缺陷分类修正模块在所述第一级SVM分类器、所述第二级SVM分类器、所述第三级 SVM分类器获取所述缺陷分类结果后，对所述未定义缺陷按照紧致的缺陷特征规则进行限 制，获取误分至所述未定义缺陷的真实缺陷。
全文摘要
本发明有关于一种快速的玻璃图像缺陷检测及分类方法及其装置，其中该方法包括步骤1，对于输入的玻璃图像进行窗口扫描，根据窗口内灰度分布的均衡性度量，得到候选缺陷窗口；步骤2，根据所述候选缺陷窗口的位置关系，合并相邻的所述候选缺陷窗口，得到候选缺陷区域；步骤3，获取所述候选缺陷区域的背景信息，并按照所述候选缺陷区域的灰度分布模式提取缺陷域；步骤4，将所述缺陷域按照尺度进行归一化，并提取特征向量，根据所述特征向量进行缺陷分类，得到缺陷分类结果。采用本发明方法能够对包含噪声的玻璃图像帧中的缺陷进行准确检测，并且能够有效地区分缺陷的类别，包括对未定义缺陷的判别。
文档编号G06T7/00GK101996405SQ20101026661
公开日2011年3月30日 申请日期2010年8月30日 优先权日2010年8月30日
发明者崔振, 柴秀娟, 武斌, 郑媛, 陈海峰, 陈熙霖 申请人:中国科学院计算技术研究所;圣戈班研发(上海)有限公司