一种基于图像处理的工件外观缺陷的视觉检测系统的制作方法

文档序号:10685169阅读:1289来源:国知局
一种基于图像处理的工件外观缺陷的视觉检测系统的制作方法
【专利摘要】本发明公开了一种基于图像处理的工件外观缺陷的视觉检测系统,包括工控机、同轴光源、CCD工业相机、图像采集卡和剔除机构;同轴光源和剔除机构均与工控机相连;CCD工业相机通过图像采集卡与工控机相连;其中:同轴光源用于为待检测的工件提供漫反射光源;CCD工业相机用于拍摄处于检测工位的工件的图像;剔除机构用于从生产线上剔除通过检测存在缺陷的工件;工控机中具有基于图像处理的缺陷检测模块;该系统检测效率高,易于实施。
【专利说明】
一种基于图像处理的工件外观缺陷的视觉检测系统
技术领域
[0001] 本发明属于自动检测领域,特别涉及一种基于图像处理的工件外观缺陷的视觉检 测系统。
【背景技术】
[0002] 金属工件的主要生产工艺流程为机械加工、冲压、精密铸造、粉末冶金、金属注射 成型、尺寸检测、外观缺陷检测等。在整个生产过程中受到制造工艺的影响,工件尺寸和外 观在一定程度上会存在不合格。其中外观缺陷主要包括:缺口、粘料、开裂、压痕、针眼、划痕 和起泡等。存在外观质量缺陷的工件若流入下个生产工序,会导致组装受阻、变形,影响组 装件的质量,严重时可能导致组装件报废而停机,极大地影响了自动化生产线的生产效率, 给生产企业带来潜在的经济损失和信誉风险。
[0003] 传统外观缺陷检测方法有人工目测和频闪光检测。自动化生产线速度很快,人眼 根本无法快速捕捉到准确的缺陷信息,尤其一些很小的缺陷,人的肉眼完全无法分辨出合 格与否,这就造成缺陷检测精度低、误检率高的问题。频闪光检测主要是根据人的视网膜对 一定脉冲闪光所产生的静止反应。该方法是将特定的摄像机和频闪光源相结合,通过固定 地观察检测器来确定工件表面情况。其缺点在于检测结果的可信度低,自动化检测程度也 低。
[0004] 自动检测技术有红外、祸流和漏磁检测技术,这三种检测方法也是我国目前应用 比较广泛的。涡流检测技术主要是检测工件表面下层阻流缺陷,但其耗电量大,造成生产企 业能源的浪费。涡流检测方法对工件本身质量要求比较高,工件表面必须纯净无杂质,温度 均匀,输送带速度要求较慢,这就造成生产和检测受限,不能满足高速率、高质量的生产要 求。近年来,机器视觉和图像处理技术的不断发展使得生产线上机器视觉检测代替人工检 测成为可能。外观缺陷采用视觉方法检测识别是最有效、最有前景的方法。高分辨率工业相 机可以提供丰富的工件外观图像信息,能够准确、高效、可靠地完成工件外观缺陷额检测和 识别。
[0005] 目前工件外观缺陷视觉检测的主要方法:(1)通过遗传算法和视觉图像处理形态 学实现金属工件表面缺陷的自动检测,系统对开裂和针眼等检测效果良好,但细小划痕、压 痕和起泡缺陷检测效果较差;(2)通过利用图像灰度特征,通过灰度值的异常变化来判断产 品缺陷的存在,但由于金属表面的强反光性特性,使得系统误检较高。
[0006] 因此,有必要设计一种高效的检测精度高的基于图像处理的工件外观缺陷的视觉 检测系统。

【发明内容】

[0007] 本发明所要解决的技术问题是提供一种基于图像处理的工件外观缺陷的视觉检 测系统,该基于图像处理的工件外观缺陷的视觉检测系统检测效率高,易于实施。
[0008] 发明的技术解决方案如下:
[0009] 一种基于图像处理的工件外观缺陷的视觉检测系统,其特征在于,包括工控机、同 轴光源、CCD工业相机、图像采集卡和剔除机构;
[0010] 同轴光源和剔除机构均与工控机相连;
[0011] (XD工业相机通过图像采集卡与工控机相连;
[0012] 其中:同轴光源用于为待检测的工件提供漫反射光源;CCD工业相机用于拍摄处于 检测工位的工件的图像;剔除机构用于从生产线上剔除通过检测存在缺陷的工件;
[0013] 工控机中具有基于图像处理的缺陷检测模块;
[0014] 基于图像处理的缺陷检测模块按照以下步骤实施缺陷检测:
[0015] 步骤1:工件图像获取及预处理;
[0016] 步骤2:图像分割与工件位姿矫正;
[0017] 步骤3:检测以下外观缺陷:缺口、粘料、开裂、压痕、针眼、划痕和起泡。
[0018] 步骤1中,通过同轴光源照明,利用CCD工业相机和图像采集卡采集工件图像f(x, y),工件图像为灰度图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工 件图像进行中值滤波处理。
[0019] 步骤2中:
[0020] (1)图像分割:
[0021]基于直方图法对预处理后的图像进行图像分割,工件图像的灰度直方图会显示两 个波峰:一个是作为前景的工件,一个是背景,取波谷灰度值为分割阈值以有效分割前景和 背景:
[0023]式中,F(x,y)为分割出的工件图像,Thf为分割阈值
[0024] (2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。仿射变换 为现有成熟技术。
[0025]对矫正后的图像进行数学形态学处理;处理过程为,通过结构元素B对图像施加形 态学开运算去除工件边缘毛刺,平滑工件边缘,有:
[0026] F(x,y)。S 二y)一 fi)十 g --式2;
[0027] 式中,。为开运算运算符,?为腐蚀运算符,?为膨胀运算符,B为结构元素,大小为 3,元素全为1,为圆盘结构。
[0028] 步骤3中:
[0029] 标定工件边缘为缺口检测区域,记为Regqk;
[0030]标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域;其中 粘料和针眼检测区域记为Regni和Regzy;划痕和开裂检测区域记为Reghh和Regki;压痕检测区 域记为Regyh;起泡检测区域记为Regq P;
[0031]缺陷的面积判断阈值:
[0033]式中,Th为缺陷的面积判断阈值;巾为缺陷容忍度;W和H为图像中工件的宽和高, 以像素为单位;M和N为工件的实际长和宽,以毫米为单位;
[0034]局部动态分割阈值确定方法:
[0035]首先采用(2D+1) X (2D+1)的滤波掩码进行平滑处理,式中D为被提取目标的直径; 然后计算平滑后的图像灰度值的均值Mean(x,y)和标准差〇(x,y);当被提取目标显示为亮 像素时,选取T = Mean(X,y)+y ? 〇(x,y)为分割阈值;当被提取目标显示为暗像素时,选取T =Mean(x,y)_Y ? 〇(x,y)为分割阈值,式中Y为标准差强度。
[0036] ①缺口检测:
[0037] 1)采用图像分割阈值Tqk在区域Regqk中分割缺口的Blob候选块,通过八连通区域 标识出Blob连通域,记为Blqk;
[0038] 分割阈值Tqk的确定:采用(2Dqk+l)X(2Dqk+l)的滤波掩码进行平滑处理,式中D qk为 缺口缺陷的直径;计算平滑后的图像灰度值的均值Meanqk(x,y)和标准差〇qk(x,y);由于缺 口缺陷显示为暗像素,则选择Tqk=Meanqk(x,y)-丫 qk ? 〇qk(x,y)为分割阈值,丫 qk为缺口缺 陷的标准差权重。权重的取值范围是[0,1],需根据先验知识确定具体值。
[0039] 2)利用像素计数法提取犯冰连通域的像素面积特征Areaqk;根据下式判断Blqk是否 为缺口缺陷:
[0041]式中,缺陷面积判断阈值Thqk由公式3确定,其中巾的取值范围是[0.0120, 0.0130 ],YES和N0分别表示存在缺口缺陷和不存在缺口缺陷;
[0042]②粘料和针眼检测:
[0043] 1)采用分割阈值Tzz在区域Regni和Regzy中分割粘料和针眼的Blob候选块,通过八 连通区域标识出Blob连通域,记为Blni和Blzy;
[0044] 分割阈值Tzz的确定:
[0045] Tzz=Mean/zz(x,y)-8zz ? zz(x,j)
[0046] 式中Mean'zUj)和为检测区域像素灰度值的均值和方差,心2为粘料和 针眼缺陷的方差权重;
[0047] 图像中低于分割阈值的像素区域为缺陷候选块;
[0048] 2)利用像素计数法提取81^连通域的像素面积特征Areanl和圆度特征 ndne领、8、连通域的像素面积特征Areazy和圆度特征沿取祕如嘴,根据下式5、6分 别判断Blnl是否为粘料缺陷以及Blzy是否为针眼缺陷:
[0051] 式中,缺陷面积判断阈值Thnu和Thzyl由式3确定,其中巾的取值范围分别是 [0.0020,0.0021 ]和[0.0024,0.0025];缺陷圆度判断阈值Thni2和Thzy2的取值范围分别是 [0.5,1 ]和[0.85,1 ]; n表示逻辑"与"运算;YES和N0分别表示是和否;
[0052] 像素面积特征即区域内的像素个数,圆度特征描述即目标区域的面积与外接圆面 积的比值,开$状越接近圆,比值越接近1,圆度特征的取值范围是:〇 < Row n&i_e_s而< 1/计
.其中r为被提取目标的外接圆半径,此处的被提取目标指粘 料和针眼缺陷;
[0053]③划痕和开裂检测:
[0054] 1)米用局部图像方差强度算法求取分割阈值Thk,在区域Reghh和Regki中分割划痕 和开裂的Blob块候选,通过八连通区域标识出Blob连通域,记为Blhh和Blki;
[0055]局部图像方差强度是图像局部阈值概念的拓展延伸,由于被检测工件受生产工艺 影响会有背景不均匀情况,因此很难找到固定阈值将目标缺陷与背景完整分割。故提出局 部阈值检测方法,即局部灰度特征与整体相结合的方法;结合局部方差与方差的特性,先采 用(2D hk+l)X(2Dhk+l)的滤波掩码进行平滑处理,式中Dhd划痕和开裂缺陷的长度;再计算 平滑后图像灰度值的标准差〇h k(x,y)和方差Vhk(x,y);分割阈值按下式的确定:
[0057] 其中VhkUj)和表示平滑前的整幅图像的标准差和方差;
[0058] 2)利用像素计数法提取Blhh连通域的像素面积特征Areahh和内部最长直径特征 Diameterhh以及Blki连通域的像素面积特征Areaki和内部最长直径特征Diameterki;根据式 7、8分别判断Bl hh是否为划痕缺陷,以及扮^是否为开裂缺陷:
[00611式中,缺陷面积判断阈值ThhhdPThku由式3确定,其中巾的取值范围分别是 [0.0110,0.0120]和[0.0048,0.0049];缺陷最长直径判断阈值Thhh2和Thki2的取值范围由经 验值确定;n表示逻辑"与"运算;
[0062]内部最长直径即区域边界上最远的两个像素点的距离,距离和面积都是以像素为 单位,即该距离内或该区域内包含的像素个数;
[0063] ④压痕检测:
[0064] 1)通过拉普拉斯高斯变换算法和局部动态阈值Tyh分割压痕的Blob候选块;
[0065] Tyh的确定:采用(2Dyh+l) X (2Dyh+l)的滤波掩码进行平滑处理,式中Dyh为压痕缺陷 的直径;计算平滑后图像灰度值的均值Meanyh(x,y)和标准差〇yh(x,y);由于压痕缺陷在拉 普拉斯高斯变换后的图像中显示为亮像素,故选择Tyh=Mean yh(x,y) + y yh ? 〇yh(x,y)为分割 阈值,T yh为压痕缺陷的标准差权重;通过八连通区域标识出Blob连通域,记为Blyh;
[0066]权重的取值范围是[0,1],需根据先验知识确定具体值;
[0067] 2)利用像素计数法提取Blyh连通域的像素面积特征Areayh和矩形度特征Rectan yh, 矩形度是描述被提取区域对其外接矩形的充满程度,计算公式为
为被提取区域外接矩形区域的面积;根据式9判断Blyh是否为压痕缺陷:
[0069]式中,面积判断阈值Thyhi由式3确定,其中巾的取值范围是[0.0160,0.0170];矩形 度判断阈值Thyh2的取值范围是[0.7,1 ]; n表示逻辑"与"运算;
[0070]拉普拉斯高斯算法:
[0071 ]该方法是将高斯滤波和拉普拉斯算子结合在一起。算法主要步骤如下:
[0072] (1)滤波:首先对图像F(x,y)进行平滑滤波,滤波函数为高斯函数,BP
[0074] 将图像F(x,y)与G(x,y)进行卷积,可以得到一个平滑的图像,即
[0075] g(x,y)=F(x,y)*G(x,y)
[0076] (2)图像增强:对平滑图像g (x,y)进行拉普拉斯运算,即
[0077] h(x,y) = V2[F(.r,y) * G(x,yJ\
[0078] 由于对平滑图像g(x,y)进行拉普拉斯运算可等效为g(x,y)的拉普拉斯运算与F (x,y)的卷积,故上式变为:
[0079] h(x,v) - F(x,y) * V2G(x,y)
[0080] 式中_V_2G(:r, y)成为LOG滤波器,其为:
[0082]作用:拉普拉斯高斯算子把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来,先 平化掉噪声,再对图像进行边缘增强,所以能够有效凸显压痕缺陷。
[0083] ⑤起泡检测:
[0084] 1)通过快速傅立叶变换将图像函数从空间域转变到频率域,采用低通滤波器平滑 图像,再通过傅立叶逆变换将图像从频率域变换到空间域;根据图像灰度直方图,选取波谷 灰度值为分割阈值分割目标分割起泡的Blob候选块,通过八连通区域标识出Blob连通域, 记为Blqp;
[0085]图像的直方图只有一个波谷,因为经过傅立叶变换和平滑滤波处理后,起泡部位 较整体工件背景偏亮,所以直方图显示有两个波峰和一个波谷,而且两个波峰中一个属于 工件背景,另一个属于起泡缺陷,所以采用波谷灰度值可将背景和起泡缺陷分割;
[0086] 2)利用像素计数法提取81"连通域的像素面积特征AreaqP和圆度特征 iou ndnes知:根据式10判断犯卯是否为起泡缺陷:
[0088]式中,面积判断阈值Thqpl由式3确定,其中巾的取值范围是[0.0123,0.0124];圆度 判断阈值Thqp2的取值范围是[0.5,1];门表示逻辑"与"运算。定位、引导图像的采集过程中, 采用环形漫反射光源照明;检测图像采集过程中,采用同轴光源照明。
[0089] 有益效果:
[0090]本发明的基于图像处理的工件外观缺陷的视觉检测系统,采用同轴光源为工件提 供照明,采用相机和图像采集卡获取工件图像,采用工控机基于图像处理实现缺陷检测,检 测存在缺陷的工件由剔除机构进行剔除;缺陷检测过程中,首先通过视觉系统引导机器人, 根据基于灰度值的模板匹配算法精确定位目标工件位姿,然后进行工件外观缺陷检测,其 步骤为:(1)获取工件图像,采用中值滤波进行预处理;(2)利用全局阈值分割目标工件,并 进行工件位姿矫正;(3)通过数学形态学开运算去除工件边缘毛刺干扰;(4)检测缺口、粘 料、开裂、压痕、针眼、划痕和起泡外观缺陷。
[0091]本发明的优点在于:
[0092] 1.定位速度快、精度高。基于灰度值的模板匹配,采用归一化互相关算法,并利用 图像金字塔实现多级匹配,提高匹配精度和速度;
[0093] 2.缺陷检测针对性强,速度快。
[0094]运用简单、有效的Blob算法,首先对获取的原始图像做预处理,抑制噪声干扰增强 图像有用信息的表现张力。本发明针对不同的缺陷采用有针对性的检测方法,易于实施,方 法巧妙,具体包括标定检测区域并通过二值化分割R0I,基于R0I区域通过局部灰度阈值提 取缺口缺陷特征;局部动态阈值算法提取粘料和针眼缺陷特征;局部图像方差强度算法提 取划痕和开裂缺陷特征;拉普拉斯高斯算法提取表面压痕缺陷特征;快速傅里叶变换算法 提取表面起泡缺陷特征。最后将提取到的缺陷特征根据判定规则库中的判定规则进行分析 判断并输出检测结果;
[0095] 3.适应性广、移植性强,可检测缺陷类型较全面。该检测算法能广泛应用于高速生 产线上精密工件外观质量的视觉检测,并且可移植到电子元器件、微小零部件等的视觉检 测生产线上,具有很强的适应性,是一种具有高度通用型和准确性的视觉检测系统。
[0096] 本发明的系统能解决人工检测速度慢、效率低、精度差的问题;能克服目前视觉检 测缺陷类型单一、成像质量差和误检率高的问题,提高精密工件生产自动化程度和产品质 量。
【附图说明】
[0097]图1为基于图像处理的工件外观缺陷的视觉检测流程图;
[0098]图2为检测到的正常图像和缺陷图像,其中图a_h分别对应正常、粘料、压痕、缺口、 开裂、划痕、起泡和针眼图像;
[0099]图3为基于图像处理的工件外观缺陷的视觉检测系统的总体结构框图。
【具体实施方式】
[0100] 为了便于理解本发明,下文将结合说明书附图和较佳的实施例对本文发明做更全 面、细致地描述,但本发明的保护范围并不限于以下具体实施例。
[0101] 除非另有定义,下文中所使用的所有专业术语与本领域技术人员通常理解含义相 同。本文中所使用的专业术语只是为了描述具体实施例的目的,并不是旨在限制本发明的 保护范围。
[0102] 实施例1:
[0103]如图1-3,一种基于图像处理的工件外观缺陷的视觉检测系统,其特征在于,包括 工控机、同轴光源、CCD工业相机、图像采集卡和剔除机构;
[0104] 同轴光源和剔除机构均与工控机相连;
[0105] (XD工业相机通过图像采集卡与工控机相连;
[0106] 其中:同轴光源用于为待检测的工件提供漫反射光源;CCD工业相机用于拍摄处于 检测工
[0107] 位的工件的图像;剔除机构用于从生产线上剔除通过检测存在缺陷的工件;
[0108] 工控机中具有基于图像处理的缺陷检测模块;
[0109] 基于图像处理的缺陷检测模块按照以下步骤实施缺陷检测:
[0110] 步骤1:工件图像获取及预处理;
[0111] 步骤2:图像分割与工件位姿矫正;
[0112] 步骤3:检测以下外观缺陷:缺口、粘料、开裂、压痕、针眼、划痕和起泡。
[0113] 步骤1中,通过同轴光源照明,利用CCD工业相机和图像采集卡采集工件图像f(x, y),工件图像为灰度图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工 件图像进行中值滤波处理,去除图像拍摄和传输过程中可能引起的噪声,提高图像信噪比。
[0114] 步骤2中:
[0115] (1)图像分割:
[0116]基于直方图法对预处理后的图像进行图像分割,工件图像的灰度直方图会显示两 个波峰:一个是作为前景的工件,一个是背景,取波谷灰度值为分割阈值以有效分割前景和 背景:
[0118]式中,F(x,y)为分割出的工件图像,Thf为分割阈值
[0119] (2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。仿射变换 为现有成熟技术。
[0120]对矫正后的图像进行数学形态学处理;处理过程为,通过结构元素B对图像施加形 态学开运算去除工件边缘毛刺,平滑工件边缘,有:
[0121] F〇,y)。S = (f(x,y)一 S)十 S -
[0122] 式中,°为开运算运算符,8为腐蚀运算符,?为膨胀运算符,B为结构元素,大小为 3,
[0123] 元素全为1,为圆盘结构。
[0124] 步骤3中:
[0125] 标定工件边缘为缺口检测区域,记为Regqk;
[0126] 标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域;其中 粘料和针眼检测区域记为Regni和Reg zy;划痕和开裂检测区域记为Reghh和Regki;压痕检测区 域记为Regyh;起泡检测区域记为Regq P;
[0127] 缺陷的面积判断阈值:
[0129]式中,Th为缺陷的面积判断阈值;巾为缺陷容忍度;W和H为图像中工件的宽和高, 以像素为单位;M和N为工件的实际长和宽,以毫米为单位;局部动态分割阈值确定方法: [0130]首先采用(2D+1)X(2D+1)的滤波掩码进行平滑处理,式中D为被提取目标的直径; 然后计算平滑后的图像灰度值的均值Mean(x,y)和标准差 〇(x,y);当被提取目标显示为亮 像素时,选取T = Mean(X,y)+y ? 〇(x,y)为分割阈值;当被提取目标显示为暗像素时,选取T =Mean(x,y)_Y ? 〇(x,y)为分割阈值,式中Y为标准差强度。
[0131] ①缺口检测:
[0132] 1)采用图像分割阈值Tqk在区域Regqk中分割缺口的B1 ob候选块,通过八连通区域 标识出Blob连通域,记为Blqk;
[0133] 分割阈值Tqk的确定:采用(2Dqk+l)X(2D qk+l)的滤波掩码进行平滑处理,式中Dqk为 缺口缺陷的直径;计算平滑后的图像灰度值的均值Mean qk(x,y)和标准差〇qk(x,y);由于缺 口缺陷显示为暗像素,则选择Tqk=Meanqk(x,y)-丫 qk ? 〇qk(x,y)为分割阈值,丫 qk为缺口缺 陷的标准差权重。权重的取值范围是[0,1],需根据先验知识确定具体值。
[0134] 2)利用像素计数法提取犯冰连通域的像素面积特征Areaqk;根据下式判断Bl qk是否 为缺口缺陷:
[0136] 式中,缺陷面积判断阈值Thqk由公式3确定,其中巾的取值范围是[0.0120, 0.0130 ],YES和N0分别表示存在缺口缺陷和不存在缺口缺陷;
[0137] ②粘料和针眼检测:
[0138] 1)采用分割阈值Tzz在区域Regni和Reg zy中分割粘料和针眼的Blob候选块,通过八 连通区域标识出Blob连通域,记为Blni和Bl zy;
[0139] 分割阈值Tzz的确定:
[0140] Tzz=Mean/zz(x,y)-8zz ? zz(x,j)
[0141]式中Mean'zUj)和为检测区域像素灰度值的均值和方差,心2为粘料和 针眼缺陷的方差权重;
[0142] 图像中低于分割阈值的像素区域为缺陷候选块;
[0143] 2)利用像素计数法提取81^连通域的像素面积特征Areanl和圆度特征 i?ow ndnesfe、Blzy连通域的像素面积特征Areazy和圆度特征只衫y,根据下式5、6分 别判断Bl nl是否为粘料缺陷以及Blzy是否为针眼缺陷:
[0146] 式中,缺陷面积判断阈值Thnu和Thzyl由式3确定,其中巾的取值范围分别是 [0.0020,0.0021 ]和[0.0024,0.0025];缺陷圆度判断阈值Thni2和Thzy2的取值范围分别是 [0? 5,1]和[0.85,1];门表示逻辑"与"运算;YES和N0;
[0147] 像素面积特征即区域内的像素个数,圆度特征描述即目标区域的面积与外接圆面 积的比值,形状越接近圆,比值越接近1,圆度特征的取值范围是:_〇 <.历沿.< 1/计
,其中r为被提取目标的外接圆半径,此处的被提取目标指粘 料和针眼缺陷;
[0148] ③划痕和开裂检测:
[0149] 1)米用局部图像方差强度算法求取分割阈值Thk,在区域Reghh和Regki中分割划痕 和开裂的Blob块候选,通过八连通区域标识出Blob连通域,记为Blhh和Blki;
[0150]局部图像方差强度是图像局部阈值概念的拓展延伸,由于被检测工件受生产工艺 影响会有背景不均匀情况,因此很难找到固定阈值将目标缺陷与背景完整分割。故提出局 部阈值检测方法,即局部灰度特征与整体相结合的方法;结合局部方差与方差的特性,先采 用(2D hk+l)X(2Dhk+l)的滤波掩码进行平滑处理,式中Dhd划痕和开裂缺陷的长度;再计算 平滑后图像灰度值的标准差〇h k(x,y)和方差Vhk(x,y);分割阈值按下式的确定:
[0152]其中c/hkUj)和V'hkUj)表示平滑前的整幅图像的标准差和方差;
[0153] 2)利用像素计数法提取Blhh连通域的像素面积特征Areahh和内部最长直径特征 Diameterhh以及Blki连通域的像素面积特征Areaki和内部最长直径特征Diameterki;根据式 7、8分别判断Bl hh是否为划痕缺陷,以及扮^是否为开裂缺陷:
[0156] 式中,缺陷面积判断阈值ThhhjPThku由式3确定,其中巾的取值范围分别是 [0.0110,0.0120]和[0.0048,0.0049];缺陷最长直径判断阈值Thhh2和Thki2的取值范围由经 验值确定;n表示逻辑"与"运算;
[0157] 内部最长直径即区域边界上最远的两个像素点的距离,距离和面积都是以像素为 单位,即该距离内或该区域内包含的像素个数;
[0158] ④压痕检测:
[0159] 1)通过拉普拉斯高斯变换算法和局部动态阈值Tyh分割压痕的Blob候选块;
[0160] Tyh的确定:采用(2Dyh+l) x (2Dyh+l)的滤波掩码进行平滑处理,式中Dyh为压痕缺陷 的直径;计算平滑后图像灰度值的均值Meanyh(x,y)和标准差〇yh(x,y);由于压痕缺陷在拉 普拉斯高斯变换后的图像中显示为亮像素,故选择Tyh=Mean yh(x,y) + y yh ? 〇yh(x,y)为分割 阈值,T yh为压痕缺陷的标准差权重;通过八连通区域标识出Blob连通域,记为Blyh;
[0161 ]权重的取值范围是[0,1 ],需根据先验知识确定具体值;
[0162] 2)利用像素计数法提取Blyh连通域的像素面积特征Areayh和矩形度特征Rectan yh, 矩形度是描述被提取区域对其外接矩形的充满程度,
:其中Sm 为被提取区域外接矩形区域的面积;根据式9判断Blyh是否为压痕缺陷:
[0164] 式中,面积判断阈值Thyhi由式3确定,其中巾的取值范围是[0.0160,0.0170];矩形 度判断阈值Th yh2的取值范围是[0.7,1 ]; n表示逻辑"与"运算;
[0165] ⑤起泡检测:
[0166] 1)通过快速傅立叶变换将图像函数从空间域转变到频率域,采用低通滤波器平滑 图像,再通过傅立叶逆变换将图像从频率域变换到空间域;根据图像灰度直方图,选取波谷 灰度值为分割阈值分割目标分割起泡的Blob候选块,通过八连通区域标识出Blob连通域, 记为Blqp;
[0167] 图像的直方图只有一个波谷,因为经过傅立叶变换和平滑滤波处理后,起泡部位 较整体工件背景偏亮,所以直方图显示有两个波峰和一个波谷,而且两个波峰中一个属于 工件背景,另一个属于起泡缺陷,所以采用波谷灰度值可将背景和起泡缺陷分割;
[0168] 2)利用像素计数法提取81"连通域的像素面积特征AreaqP和圆度特征 /?ou ndnes知;根据式1〇判断BlqP是否为起泡缺陷:
[0170]式中,面积判断阈值Thqpl由式3确定,其中巾的取值范围是[0.0123,0.0124];圆度 判断阈值Thqp2的取值范围是[0.5,1 ]; n表示逻辑"与"运算。
[0171] 图像预处理还包括:
[0172] A.工件定位:
[0173]工件模板图像为Temp(x,y),方向以X轴正方向为0度基准。通过环形漫反射光源照 明,利用CCD工业相机和图像采集卡采集输送带上工件图像,然后根据基于灰度值的模板匹 配技术搜索与已知模板Temp(X,y)相匹配的目标区域,计算其重心坐标( Xc,yc)和偏转角度 9。其中模板匹配采用归一化互相关算法(NCC),并利用图像金字塔实现多级匹配,提高匹配 精度和速度。NCC算法公式如下式所示:
[0175] 式中,n是模板感兴趣区域中像素点的数量;Temp (x,y)是模板图像,模板大小为Wt XHt。模板图像即为分割出的,规定了方向以X轴正方向为0度基准的目标工件图像;感兴趣 区域即目标工件区域,因为工件区域与背景区域对比度非常明显,所以采用全局灰度阈值 分割法即可提取目标工件,即感兴趣区域。m T是模板的平均灰度值,是模板所有像素灰度 值的方差,mf(a,b)和是平移到图像当前位置的模板感兴趣区域中图像所有像素点 的平均灰度值和方差,ncc(a,b)表示匹配相似度,取值范围是-Kncc(a,bX:Ux,y表示图 像中像素坐标。a,b是图像像素坐标平移量。
[0176] 匹配是为了找到视野中的目标工件并快速、准确地计算出工件位姿信息。是后续 机器人和视觉处理的前提。
[0177] B.机器人视觉引导:
[0178] 视觉引导系统主要是对输送带上目标工件的精确定位。对于同一种工件,机器人 只需要一次示教并把此示教位置记为零位,生产中相机拍摄输送带上的目标工件并通过计 算图像上工件中心特征点的坐标,即位姿信息( Xc;,y。)和0。视觉系统计算出当前目标工件的 坐标与零位在X,Y,Rz方向的偏差量,机器人根据偏差量规划抓取路径和动作、完成目标工 件抓取任务。其中Rz方向为工件在平面上的旋转方向。
[0179] 总体流程说明:待检工件首先进入上表面检测工位,光电传感器触发相机拍照并 采集一帧图像,通过外观检测算法进行缺陷检测,并将检测结果通过视觉检测系统传送给 下位机。不合格品由剔除装置剔除,合格品将进入机器人检测工位。利用视觉引导机器人准 确拾取输送带上目标工件并放置检测位置,由机器人顺序触发多相机拍照进行工件前后 面、左右侧面和底面外观缺陷检测。工业控制计算机综合分析多相机处理结果并将其通过 视觉检测系统传送给下位机,最终实现工件的智能分拣。
【主权项】
1. 一种基于图像处理的工件外观缺陷的视觉检测系统,其特征在于,包括工控机、同轴 光源、CCD工业相机、图像采集卡和剔除机构; 同轴光源和剔除机构均与工控机相连; (XD工业相机通过图像采集卡与工控机相连; 其中:同轴光源用于为待检测的工件提供漫反射光源;CCD工业相机用于拍摄处于检测 工位的工件的图像;剔除机构用于从生产线上剔除通过检测存在缺陷的工件; 工控机中具有基于图像处理的缺陷检测模块; 基于图像处理的缺陷检测模块按照以下步骤实施缺陷检测: 步骤1:工件图像获取及预处理; 步骤2:图像分割与工件位姿矫正; 步骤3:检测以下外观缺陷:缺口、粘料、开裂、压痕、针眼、划痕和起泡。2. 根据权利要求1所述的基于图像处理的工件外观缺陷的视觉检测系统,其特征在于, 步骤1中,通过同轴光源照明,利用CCD工业相机和图像采集卡采集工件图像f(x,y),工件图 像为灰度图像,然后把工件图像送入工控机进行预处理,预处理为对采集到的工件图像进 行中值滤波处理。3. 根据权利要求2所述的基于图像处理的工件外观缺陷的视觉检测系统,其特征在于, 步骤2中: (1) 图像分割: 基于直方图法对预处理后的图像进行图像分割,工件图像的灰度直方图会显示两个波 峰:一个是作为前景的工件,一个是背景,取波谷灰度值为分割阈值以有效分割前景和背 景:式中,F(x,y)为分割出的工件图像,Thf为分割阈值 (2) 图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。4. 根据权利要求3所述的基于图像处理的工件外观缺陷的视觉检测系统,其特征在于, 对矫正后的图像进行数学形态学处理;处理过程为,通过结构元素 B对图像施加形态学开运 算去除工件边缘毛刺,平滑工件边缘,有:式中,。为开运算运算符,?为腐蚀运算符,?为膨胀运算符,B为结构元素,大小为3, 元素全为1,为圆盘结构。5. 根据权利要求3或4所述的基于图像处理的工件外观缺陷的视觉检测系统,其特征在 于,步骤3中: 标定工件边缘为缺口检测区域,记为Regqk ; 标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域;其中粘料 和针眼检测区域记为Regni和Regzy;划痕和开裂检测区域记为Reghh和Regid;压痕检测区域记 为Regyh;起泡检测区域记为Regqp; 缺陷的面积判断阈值: 式中,Th为缺陷的面积判断阈值;(i>为缺陷容忍度;W和H为图像中工件的宽和高,以像素为单位;M和N为工件的实际长和宽,以毫米为单位; ① 缺口检测: 1) 采用图像分割阈值Tqk在区域Regqk中分割缺口的Blob候选块,通过八连通区域标识出 Blob连通域,记为Blqk; 分割阈值Tqk的确定:采用(2Dqk+l) X (2Dqk+l)的滤波掩码进行平滑处理,式中Dqk为缺口 缺陷的直径;计算平滑后的图像灰度值的均值Meanqk(x,y)和标准差〇qk(x,y);由于缺口缺 陷显示为暗像素,则选择Tqk = Meanqk(x,y)-丫 qk ? 〇qk(x,y)为分割阈值,丫 qk为缺口缺陷的 标准差权重。 2) 利用像素计数法提取犯冰连通域的像素面积特征Areaqk;根据下式判断犯冰是否为缺 口缺陷:式中,缺陷面积判断阈值T h qk由公式3确定,其中巾的取值范围是[0.012 0,0.013 0 ],YE S 和NO分别表示存在缺口缺陷和不存在缺口缺陷; ② 粘料和针眼检测: 1) 采用分割阈值Tzz在区域Regni和Regzy中分割粘料和针眼的Blob候选块,通过八连通 区域标识出Blob连通域,记为Bl ni和Blzy; 分割阈值Tzz的确定: Tzz=Mean/Zz(x,y)-8ZZ ? V7zz(x,y) 式中Mean'zU^)和V'zUj)为检测区域像素灰度值的均值和方差,Szz为粘料和针眼 缺陷的方差权重; 图像中低于分割阈值的像素区域为缺陷候选块; 2) 利用像素计数法提取犯^连通域的像素面积特征Areanl和圆度特征ndnes%、 81^连通域的像素面积特征Areazy和圆度特征nrfnes^y,根据下式5、6分别判断Blni是否 为粘料缺陷以及Bl zy是否为针眼缺陷:式中,缺陷面积判断阈值Thnn和Thzyl由式3确定,其中巾的取值范围分别是[0.0020, 0.0021]和[0.0024,0.0025];缺陷圆度判断阈值Thni2和Thzy2的取值范围分别是[0.5,1]和 [0.85,1 ]; n表示逻辑"与"运算;YES和NO分别表示是和否; 像素面积特征即区域内的像素个数,圆度特征描述即目标区域的面积与外接圆面积的 比值,形状越接近圆,比值越接近1,圆度特征的取值范围是:〇</?〇!』< 1,计算公,其中r为被提取目标的外接圆半径,此处的被提取目标指粘料和 针眼缺陷; ③ 划痕和开裂检测: 1) 米用局部图像方差强度算法求取分割阈值Thk,在区域Re ghh和Re gki中分割划痕和开 裂的Blob块候选,通过八连通区域标识出Blob连通域,记为Blhh和Blki; 局部图像方差强度是图像局部阈值概念的拓展延伸,由于被检测工件受生产工艺影响 会有背景不均匀情况,因此很难找到固定阈值将目标缺陷与背景完整分割。故提出局部阈 值检测方法,即局部灰度特征与整体相结合的方法;结合局部方差与方差的特性,先采用 (2D hk+l) X (2Dhk+l)的滤波掩码进行平滑处理,式中Dhk为划痕和开裂缺陷的长度;再计算平 滑后图像灰度值的标准差〇h k(x,y)和方差Vhk(x,y);分割阈值按下式的确定:其中VhkUd)和V'hkUj)表示平滑前的整幅图像的标准差和方差; 2) 利用像素计数法提取Blhh连通域的像素面积特征Areahh和内部最长直径特征 Diameterhh以及Blki连通域的像素面积特征Areaki和内部最长直径特征Diameterki;根据式 7、8分别判断Blhh是否为划痕缺陷,以及扮^是否为开裂缺陷:式中,缺陷面积判断阈值Thhhi和Thkii由式3确定,其中巾的取值范围分别是[0.0110, 0.0120 ]和[0.0048,0.0049 ];缺陷最长直径判断阈值Thhh2和Thki2的取值范围由经验值确 定;n表示逻辑"与"运算; 内部最长直径即区域边界上最远的两个像素点的距离,距离和面积都是以像素为单 位,即该距离内或该区域内包含的像素个数; ④ 压痕检测: 1) 通过拉普拉斯高斯变换算法和局部动态阈值Tyh分割压痕的Blob候选块; Tyh的确定:采用(2Dyh+l)X(2Dyh+l)的滤波掩码进行平滑处理,式中D yh为压痕缺陷的直 径;计算平滑后图像灰度值的均值Meanyh(X,y)和标准差〇yh(x,y);由于压痕缺陷在拉普拉 斯高斯变换后的图像中显示为亮像素,故选择Tyh = Meanyh(x,y)+ Y yh ? 〇yh(x,y)为分割阈 值,T yh为压痕缺陷的标准差权重;通过八连通区域标识出Blob连通域,记为Blyh; 2) 利用像素计数法提取Blyh连通域的像素面积特征Areayh和矩形度特征Rectan yh,矩形 度是描述被提取区域对其外接矩形的充满程度,计算公式其中Sm为被 提取区域外接矩形区域的面积;根据式9判断Blyh是否为压痕缺陷:式中,面积判断阈值Thyhl由式3确定,其中巾的取值范围是[0.0160,0.0170];矩形度判 断阈值Thyh2的取值范围是[0.7,1 ]; n表示逻辑"与"运算; ⑤ 起泡检测: 1)通过快速傅立叶变换将图像函数从空间域转变到频率域,采用低通滤波器平滑图 像,再通过傅立叶逆变换将图像从频率域变换到空间域;根据图像灰度直方图,选取波谷灰 度值为分割阈值分割目标分割起泡的Blob候选块,通过八连通区域标识出Blob连通域,记 为 Blqp; 2)利用像素计数法提取犯^连通域的像素面积特征AreaqP和圆度特征Row 据式10判断犯卯是否为起泡缺陷:式中,面积判断阈值Thqpl由式3确定,其中巾的取值范围是[0.0123,0.0124];圆度判断 阈值Thqp2的取值范围是[0.5,1 ]; n表示逻辑"与"运算。
【文档编号】G06T3/00GK106053479SQ201610581120
【公开日】2016年10月26日
【申请日】2016年7月21日 公开号201610581120.4, CN 106053479 A, CN 106053479A, CN 201610581120, CN-A-106053479, CN106053479 A, CN106053479A, CN201610581120, CN201610581120.4
【发明人】许海霞, 王伟, 周维, 朱江, 莫言, 印峰, 王仕果, 周帮, 王倪东
【申请人】湘潭大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1