一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
【专利摘要】一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法，根据采集图像标准，设置微型CCD相机拍摄参数；将采集到的真彩色图像转化为灰度图，对图像进行中值滤波处理；采用基于阈值的Canny算子边缘线提取算法对图像内焊缝区域与背景间、未焊接区域与背景间的边缘线进行初步提取；根据边缘线数目和形状判断偏焊、焊道扭曲等焊接表面缺陷；通过Hough变换重构焊缝区域连续边缘线，实现焊缝区域的准确定位；绘制垂直于焊缝边缘的截面灰度B扫曲线，当焊缝表面存在错边的时候，B扫曲线在焊缝两端处的灰度值差值发生明显的变化，以此判断焊缝表面存在错边的现象。实现了焊缝边缘的准确定位和偏焊、焊道扭曲、错边等缺陷的准确识别。
【专利说明】
一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法
技术领域
[0001]本发明涉及一种焊缝表面缺陷的检测方法，特别是基于图像处理技术的焊缝缺陷识别方法。该方法适用于自动焊接工艺焊缝表面缺陷检测识别，属于无损检测领域。
【背景技术】
[0002]焊接技术广泛应用在工业生产中，目前锅炉、管道等大型工件多采用自动焊接工艺完成。在生产线式自动焊接过程中，难免会出现影响产品质量的错边、偏焊和断焊等缺陷。焊缝表面缺陷的存在会大大降低焊接产品在服役期内的安全性，轻则出现产品失效泄漏，重则导致产品发生脆性断裂，引起严重的人员伤亡。因此，针对工件焊缝表面焊接质量的检测，为排除工件重大安全隐患，保障设备安全运行提供了可靠的技术支持。
[0003]常用的焊接检测手段有目视检测、射线检测、超声波检测和渗透检测等，其中目视检测是焊件外观检测中最为常用的检测方式。目视检测是焊件检测人员通过放大镜、游标卡尺以及咬边测量器等检测工具，结合产品的检验标准、焊件检测人员的专业知识及检测经验，对焊件表面的质量状况进行检测评判，以确定该构件是否达到设计要求。目视检测法由于其检测方法灵活性强、操作简单等优点得到了广泛应用。然而，由于检测人员长期注视焊缝，眼部疲劳，容易出现漏检、误判等情况。此外，由于检验人员素质、技能和经验的不同，对质量检验标准的把握多有偏差，导致检测等级受检测人员的主观影响因素较大，很难对缺陷做出规范化、客观化、标准化和自动化的判断。
[0004]近年来，针对上述常规焊缝缺陷检测方法存在的不足，发展了基于图像处理技术的焊接缺陷检测识别方法，用于实现不同类型焊接缺陷的特征提取。Valavanis等[Multiclass defect detect1n and classificat1n inweld rad1 graphic imagesusing geometric and texture features[J].Expert Systems with Applicat1ns,2010,37(12):7606-7614]针对焊缝X射线图像进行了分析与识别研究，提出基于数字图像处理的算法，对采集到的图像进行处理，结合ANNs算法分析的基础上，获得焊缝缺陷特征相关参数。Vilar等[An automatic system of classificat1n of weld defects inrad1graphic images[J].NDT&E Internat1nal ,2009,42(5):467-476]针对X射线焊接缺陷图像开发了缺陷自动分类系统，该系统可实现图像降噪和对比度增强，结合大津法和标签技术对焊接缺陷图像进行分割和缺陷的特征提取，通过ANNs技术对缺陷进行分类，提高了对缺陷识别的效率及正确率。
[0005]目前，基于X射线完成焊缝检测的技术，多是针对焊缝焊接内部缺陷进行检测，关于焊缝表面缺陷的图像检测识别技术还鲜有研究。对此，本方法提出了一种基于Hough变换图像处理技术的焊缝焊接缺陷检测识别方法，用于实现焊缝表面的缺陷的检测识别。本方法采用机械控制的微型CCD相机自动采集工件焊缝区域图像，利用中值滤波、Canny算子和Hough变换等算法对焊缝进行定位，同时，通过灰度B扫曲线对焊缝表面缺陷的特征参数进行提取。
【发明内容】
[0006]本发明的目的在于提供一种焊缝焊接缺陷的检测识别方法，特别是基于图像灰度B扫曲线的检测方法。本方法将图像处理技术用于焊缝检测，采用Hough变换边缘线提取技术对焊缝区域定位，根据提取边缘线的数目判断焊缝是否存在焊偏，通过B扫曲线提取焊缝表面存在错边等缺陷的特征参数。
[0007]本发明提出一种基于图像灰度B扫曲线的焊缝表面缺陷检测识别方法，其基本原理在于:
[0008]采用工业CCD相机采集彩色的焊缝图像，采集的焊缝图像包括焊缝表面存在焊偏、错边缺陷。
[0009]对采集到的彩色焊缝图像灰度化处理，灰度图像灰度值与彩色图像RGB值之间存在固有转换关系，根据该转换关系，可将彩色图像直接转化为灰度图像。转换后灰度图像灰度值Gray与原彩色图像RGB值之间的转换关系如式(I)所示。
[0010]Gray = R*0.3+G*0.59+B*0.11 (I)
[0011 ] R、G和B分别表示红绿蓝三种颜色;在对焊缝处理前，需对图像进行滤波处理，以减少背景噪声对图像识别的影响，综合对比中值滤波、平滑滤波和锐化滤波对焊缝图像处理的效果，选取中值滤波作为图像预处理的方法。中值滤波是一种非线性信号处理方法，能实现图像的降噪处理。该方法将图像划分成含有奇数个点的滑动窗口，分别用窗口中各像素中值灰度值来代替指定像素灰度值，指定像素是窗口中心点，指定像素灰度值数学公式表示为:
[0012]yi=med{f1-V,…，f1-1，fi，fi+i,…，fi+v} (2)
[0013]其中ie Z，V = (m-1)/2，yi为中值滤波后的焊缝图像，f i为中值滤波前的图像，m为滑动窗口的奇数点。中值滤波既可对焊缝图像降噪，又避免了焊缝边缘的模糊失真，实现焊缝图像的等效复原。
[0014]采用边缘提取的方法提取出焊缝所在的区域，因Canny算子可以通过阈值的设置，提取出强边缘和弱边缘，能较为真实的反映焊缝两端的实际情况，并且Canny算子边缘提取算法，具有较好的信噪比、高边缘定位性能和在噪声环境下较好的检测效果，适用于不同环境下的边缘检测。Canny算子的原理如下:(I)用高斯滤波器对图像进行滤波，去除图像中的噪声；(2)用高斯算子的一阶微分对图像进行滤波，得到每个图像的梯度强度和方向；(3)对梯度进行“非极大值抑制”，即各个区域的像素点用不同的邻近像素点进行比较，决定局部最大值；(4)对梯度取两次阈值。以阈值较高，去除背景噪声，同时也损失了有用的焊缝边缘信息的图片为基础。以阈值较低，保留焊缝边缘信息的图像来连接焊缝的边缘;最终获得初步的焊缝边缘线。
[0015]初步得到的焊缝边缘线中包含了许多背景噪音产生的伪边缘线，为了剔除伪边缘线的影响，获得焊缝理想的区域，采用Hough变换对焊缝的边缘线进行重构。Hough变换是根据点线对偶思想提出的边缘提取方法。在图像空间中，共线的点对应参数空间里相交的线；在参数空间中，相交于同一点的所有直线在图像空间里都有共线的点与之对应。因此，Hough变换将图像空间中的直线检测问题转换到参数空间中的点检测问题，通过在参数空间里进行简单的累加统计完成图像空间中的直线检测任务。若在参数空间中使用正交坐标系中的线性方程运算，当图像空间直线斜率为无穷大时，会导致参数累加计算量增大，计算冗余度增加，运算时间过长。为解决这一问题，采用极坐标系中的线性方程，如公式(3)所示:
[0016]p = x cos0+y sin0 (3)
[0017]根据公式(3)，假设过每一点有η个方向的直线，通常n= 180，此时检测焊缝边缘直线的角度精度为1°。分别计算η条直线的(P，Θ)坐标，得到n个坐标点。若待判断点有N个，则最终得到的(Ρ，θ)坐标有Ν*η个，其中Θ是离散的角度，共有180个取值。如果多点共线，那么必有共线点在Θ值为Q1时，P值近似相等于P1，即共线点在直线(Pl，Q1)上。在直线检测中，如果超过一定数目的离散点有相同的(P，Θ)坐标，那么可判定此处存在一条直线。在极坐标系图中，明显的交汇点则表示一条Hough变换出的直线。通过Hough变换，可以重构出焊缝两端的直线，实现焊缝区域的定位。
[0018]结合Canny算子边缘提取算法，可提取出焊缝区域与背景间、未焊接区域与背景间的边缘线。焊接质量良好的焊缝边缘存在两条边缘直线，焊道偏离的焊缝会出现多条边缘直线，焊接扭曲的焊缝其边缘线为不规则的曲线。此外，对于焊缝表面存在错边的情况，由于两边缘高度不等，在图像中表现为灰度值的差异。因此，通过Hough变换直线重构算法恢复焊缝区域连续的边缘线，以垂直于焊缝边缘的一列像素值为X轴，以归一化取负的灰度值为Y轴做焊缝截面图像B扫曲线。在焊缝区域内(如图8和图9内的区域)，焊接质量良好的焊缝两端灰度值差值与错边焊缝两端灰度值差值存在相差明显。据此，可判断焊缝表面不同类型的焊接缺陷。
[0019]本发明提出的一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法是通过以下步骤实现的:
[0020]步骤一:图像采集。
[0021]采用工业CCD相机自动采集焊缝表面完好和存在偏焊、错边缺陷图像，采集的图像为真彩色RGB图像，图像尺寸、清晰度、色相和饱和度固定不变。
[0022]步骤二:图像预处理。
[0023]根据公式(I)将真彩色RGB图像转化为灰度图像。对灰度图像进行中值滤波处理，实现图像在边缘保真情况下的降噪复原。
[0024]步骤三:Canny算子边缘线提取。
[0025]采用加阈值的Canny算子边缘线提取算法提取图像内焊缝区域与背景间、未焊接区域与背景间的边缘线。
[0026]步骤四:根据边缘线数目和形状判断缺陷类型。
[0027]若焊缝区域内边缘线数目大于两条，则识别为偏焊情况，若焊缝区域内边缘线零散，出现不规则的曲线情况，则识别为焊道扭曲情况。若焊缝区域内边缘线的数目为两条，则初步判断为焊接质量良好的焊缝。
[0028]步骤五:Hough变换重构焊缝区域连续边缘线。
[0029]对于初步判断为焊接质量良好的焊缝，由于背景噪音和背景纹理的影响，造成许多伪边缘的产生，这些伪边缘较为零散且不规则，而且焊缝边缘不连续，为了消除伪边缘对检测的影响，采用Hough变换对焊缝边缘进行重构，提取连续的焊缝边缘线，消除伪边缘线对检测的影响。
[0030]步骤六:B扫曲线判断错边缺陷类型。
[0031]根据灰度图像，绘制垂直于焊缝路径的截线灰度B扫曲线。其中，截线像素值为X轴，归一化取负的灰度值为Y轴。根据步骤五定位的焊缝边缘，确定B扫曲线中的焊缝截线区域。当焊缝表面存在错边的时候，B扫曲线在焊缝两端处的灰度值差值发生明显的变化，以此判断焊缝表面存在错边的现象。
[0032]本发明具有以下优点:I)将Canny算子边缘线提取算法和Hough变换焊缝区域连续边缘线重构技术用于焊缝边缘提取，实现了焊缝边缘的准确定位。2)提出将灰度截面B扫曲线用于分析焊缝表面缺陷特征参数，实现了焊缝错边焊接缺陷特征的有效提取。
【附图说明】
[0033]图1焊缝表面存在错边示意图
[0034]图2焊缝表面出现焊偏情况意图
[0035]图3中值滤波效果示意图
[0036]图4焊缝表面出现焊偏情况的边缘线提取效果示意图
[0037]图5焊缝表面出现焊接扭曲情况的边缘线提取效果示意图
[0038]图6焊缝表面焊接质量良好的边缘线提取效果示意图
[0039]图7Hough变换对焊缝边缘线重构示意图
[0040]图8表面焊接质量良好的焊缝两端灰度值差值(位置一)效果示意图
[0041]图9表面焊接质量良好的焊缝两端灰度值差值(位置二)效果示意图
[0042]图10表面存在错边的焊缝两端灰度值差值(位置一)效果示意图
[0043]图11表面存在错边的焊缝两端灰度值差值(位置二)效果示意图
[0044]图12是本方法的实施流程图
【具体实施方式】
[0045]下面结合具体实验对本发明作进一步说明:
[0046]本实验选取焊缝表面存在错边和偏焊的样本图像作为实验样本。
[0047]步骤一:图像采集。
[0048]采用工业CCD相机采集换能设备内部焊缝表面存在焊偏、错边等缺陷图像，采集的图像为真彩色RGB图像，图像尺寸480*360、色相4、饱和度100、对比度-4，各值固定不变。
[0049]步骤二:图像预处理。
[0050]根据公式(I)将真彩色RGB图像转化为灰度图像。如图1-2所示。对灰度图像进行中值滤波处理，实现图像在边缘保真情况下的降噪复原。如图3所示。步骤三:Canny算子边缘线提取。
[0051]采用加阈值的Canny算子边缘线提取算法提取图像内焊缝区域与背景间、未焊接区域与背景间的边缘线。Canny算子的阈值设为[0.1，0.3]。
[0052]步骤四:根据边缘线数目和形状判断缺陷类型。
[0053]判断边缘的数目和形状，当焊缝区域内(图片中心位置)边缘线数目大于两条，则识别为出现偏焊情况，如图4所示。当焊缝区域内(图片中心位置)边缘线零散，出现不规则的曲线情况，则识别为焊接扭曲的情况，如图5所示。当焊缝区域内(图片中心位置)边缘线的数目为两条，则初步判断为焊接质量良好的焊缝，如图6所示。
[0054]步骤五:Hough变换重构焊缝区域连续边缘线。
[0055]对于初步判断为焊接质量良好的焊缝，由于背景噪音和背景纹理的影响，造成许多伪边缘的产生，这些伪边缘较为零散且不规则，而且焊缝边缘不连续，为了消除伪边缘对检测的影响，采用Hough变换对焊缝边缘进行重构，提取连续的焊缝边缘线，消除伪边缘线对检测的影响。如图7所示。
[0056]步骤六:B扫曲线判断错边缺陷类型。
[0057]根据灰度图像，绘制垂直于焊缝路径的截线灰度B扫曲线。其中，截线像素值为X轴，归一化取负的灰度值为Y轴。根据步骤五定位的焊缝边缘，确定B扫曲线中的焊缝截线区域。当焊缝表面存在错边的时候，B扫曲线在焊缝两端处的灰度值差值发生明显的变化，以此判断焊缝表面存在错边的现象。从实验中，可以看出，当焊接质量良好的焊缝区域，焊缝两端的灰度值差值在10—2数量级上，如图8-9所示。当焊缝存在错边的情况，焊缝两端的灰度值差值在10—1数量级上。如图10-11所示。
[0058]本方法的实施流程图如图12所示。
[0059]以上是本发明的一个典型应用，本发明的应用不限于此。
【主权项】
1.一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法，其特征在于:该方法是通过以下步骤实现的: 步骤一:图像采集； 采用工业CCD相机自动采集焊缝表面完好和存在偏焊、错边缺陷图像，采集的图像为真彩色RGB图像，图像尺寸、清晰度、色相和饱和度固定不变； 步骤二:图像预处理； 将真彩色RGB图像转化为灰度图像;对灰度图像进行中值滤波处理，实现图像在边缘保真情况下的降噪复原； 步骤三:Canny算子边缘线提取； 采用加阈值的Canny算子边缘线提取算法提取图像内焊缝区域与背景间、未焊接区域与背景间的边缘线； 步骤四:根据边缘线数目和形状判断缺陷类型； 若焊缝区域内边缘线数目大于两条，则识别为偏焊情况，若焊缝区域内边缘线零散，出现不规则的曲线情况，则识别为焊道扭曲情况;若焊缝区域内边缘线的数目为两条，则初步判断为焊接质量良好的焊缝； 步骤五:Hough变换重构焊缝区域连续边缘线； 对于初步判断为焊接质量良好的焊缝，由于背景噪音和背景纹理的影响，造成许多伪边缘的产生，这些伪边缘较为零散且不规则，而且焊缝边缘不连续，为了消除伪边缘对检测的影响，采用Hough变换对焊缝边缘进行重构，提取连续的焊缝边缘线，消除伪边缘线对检测的影响； 步骤六:B扫曲线判断错边缺陷类型； 根据灰度图像，绘制垂直于焊缝路径的截线灰度B扫曲线；其中，截线像素值为X轴，归一化取负的灰度值为Y轴;根据步骤五定位的焊缝边缘，确定B扫曲线中的焊缝截线区域;当焊缝表面存在错边的时候，B扫曲线在焊缝两端处的灰度值差值发生明显的变化，以此判断焊缝表面存在错边的现象。2.根据权利要求1所述的一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法，本方法将图像处理技术用于焊缝检测，采用Hough变换边缘线提取技术对焊缝区域定位，根据提取边缘线的数目判断焊缝是否存在焊偏，通过B扫曲线提取焊缝表面存在错边缺陷的特征参数； 其特征在于:本方法的基本原理在于， 采用工业CCD相机采集彩色的焊缝图像，采集的焊缝图像包括焊缝表面存在焊偏、错边缺陷； 对采集到的彩色焊缝图像灰度化处理，灰度图像灰度值与彩色图像RGB值之间存在固有转换关系，根据该转换关系，可将彩色图像直接转化为灰度图像;转换后灰度图像灰度值Gray与原彩色图像RGB值之间的转换关系如式(I)所示； Gray = R*0.3+G*0.59+B*0.11 (I) R、G和B分别表示红绿蓝三种颜色;在对焊缝处理前，需对图像进行滤波处理，以减少背景噪声对图像识别的影响，综合对比中值滤波、平滑滤波和锐化滤波对焊缝图像处理的效果，选取中值滤波作为图像预处理的方法；中值滤波是一种非线性信号处理方法，能实现图像的降噪处理;该方法将图像划分成含有奇数个点的滑动窗口，分别用窗口中各像素中值灰度值来代替指定像素灰度值，指定像素是窗口中心点，指定像素灰度值数学公式表示为: yi=med{f1-v,......,fi+v} (2) 其中1￡2^=(111-1)/2，71为中值滤波后的焊缝图像41为中值滤波前的图像，111为滑动窗口的奇数点；中值滤波既可对焊缝图像降噪，又避免了焊缝边缘的模糊失真，实现焊缝图像的等效复原； 采用边缘提取的方法提取出焊缝所在的区域，因Canny算子可以通过阈值的设置，提取出强边缘和弱边缘，能较为真实的反映焊缝两端的实际情况，并且Canny算子边缘提取算法，具有较好的信噪比、高边缘定位性能和在噪声环境下较好的检测效果，适用于不同环境下的边缘检测;Canny算子的原理如下:(I)用高斯滤波器对图像进行滤波，去除图像中的噪声；(2)用高斯算子的一阶微分对图像进行滤波，得到每个图像的梯度强度和方向；(3)对梯度进行“非极大值抑制”，即各个区域的像素点用不同的邻近像素点进行比较，决定局部最大值；(4)对梯度取两次阈值；以阈值较高，去除背景噪声，同时也损失了有用的焊缝边缘信息的图片为基础；以阈值较低，保留焊缝边缘信息的图像来连接焊缝的边缘;最终获得初步的焊缝边缘线； 初步得到的焊缝边缘线中包含了许多背景噪音产生的伪边缘线，为了剔除伪边缘线的影响，获得焊缝理想的区域，采用Hough变换对焊缝的边缘线进行重构;Hough变换是根据点线对偶思想提出的边缘提取方法;在图像空间中，共线的点对应参数空间里相交的线;在参数空间中，相交于同一点的所有直线在图像空间里都有共线的点与之对应；因此，Hough变换将图像空间中的直线检测问题转换到参数空间中的点检测问题，通过在参数空间里进行简单的累加统计完成图像空间中的直线检测任务;若在参数空间中使用正交坐标系中的线性方程运算，当图像空间直线斜率为无穷大时，会导致参数累加计算量增大，计算冗余度增加，运算时间过长;为解决这一问题，采用极坐标系中的线性方程，如公式(3)所示: P = xcos0+ysin0 (3) 根据公式(3)，假设过每一点有η个方向的直线，通常n = 180，此时检测焊缝边缘直线的角度精度为1° ;分别计算η条直线的(Ρ，θ)坐标，得到η个坐标点；若待判断点有N个，则最终得到的(Ρ，θ)坐标有Ν*η个，其中Θ是离散的角度，共有180个取值;如果多点共线，那么必有共线点在Θ值为Q1时，P值近似相等于P1，即共线点在直线(Pl，Q1)上;在直线检测中，如果超过一定数目的离散点有相同的(P，Θ)坐标，那么可判定此处存在一条直线；在极坐标系图中，明显的交汇点则表示一条Hough变换出的直线；通过Hough变换，重构出焊缝两端的直线，实现焊缝区域的定位； 结合Canny算子边缘提取算法，可提取出焊缝区域与背景间、未焊接区域与背景间的边缘线;焊接质量良好的焊缝边缘存在两条边缘直线，焊道偏离的焊缝会出现多条边缘直线，焊接扭曲的焊缝其边缘线为不规则的曲线;此外，对于焊缝表面存在错边的情况，由于两边缘高度不等，在图像中表现为灰度值的差异；因此，通过Hough变换直线重构算法恢复焊缝区域连续的边缘线，以垂直于焊缝边缘的一列像素值为X轴，以归一化取负的灰度值为Y轴做焊缝截面图像B扫曲线;在焊缝区域内，焊接质量良好的焊缝两端灰度值差值与错边焊缝两端灰度值差值存在相差明显;据此，可判断焊缝表面不同类型的焊接缺陷。3.根据权利要求1所述的一种基于图像灰度B扫曲线的焊缝表面缺陷特征提取方法，其特征在于: 本实验选取焊缝表面存在错边和偏焊的样本图像作为实验样本； 步骤一:图像采集； 采用工业CCD相机采集换能设备内部焊缝表面存在焊偏、错边缺陷图像，采集的图像为真彩色RGB图像，图像尺寸480*360、色相4、饱和度100、对比度-4，各值固定不变； 步骤二:图像预处理； 根据公式(I)将真彩色RGB图像转化为灰度图像;对灰度图像进行中值滤波处理，实现图像在边缘保真情况下的降噪复原； 步骤三:Canny算子边缘线提取； 采用加阈值的Canny算子边缘线提取算法提取图像内焊缝区域与背景间、未焊接区域与背景间的边缘线;Canny算子的阈值设为[0.1,0.3]； 步骤四:根据边缘线数目和形状判断缺陷类型； 判断边缘的数目和形状，当焊缝区域内边缘线数目大于两条，则识别为出现偏焊情况；当焊缝区域内边缘线零散，出现不规则的曲线情况，则识别为焊接扭曲的情况;当焊缝区域内边缘线的数目为两条，则初步判断为焊接质量良好的焊缝； 步骤五:Hough变换重构焊缝区域连续边缘线； 对于初步判断为焊接质量良好的焊缝，由于背景噪音和背景纹理的影响，造成许多伪边缘的产生，这些伪边缘较为零散且不规则，而且焊缝边缘不连续，为了消除伪边缘对检测的影响，采用Hough变换对焊缝边缘进行重构，提取连续的焊缝边缘线，消除伪边缘线对检测的影响； 步骤六:B扫曲线判断错边缺陷类型； 根据灰度图像，绘制垂直于焊缝路径的截线灰度B扫曲线；其中，截线像素值为X轴，归一化取负的灰度值为Y轴;根据步骤五定位的焊缝边缘，确定B扫曲线中的焊缝截线区域;当焊缝表面存在错边的时候，B扫曲线在焊缝两端处的灰度值差值发生明显的变化，以此判断焊缝表面存在错边的现象。
【文档编号】G06T7/00GK105931227SQ201610235624
【公开日】2016年9月7日
【申请日】2016年4月14日
【发明人】焦敬品, 常予, 李思源, 何存富, 吴斌
【申请人】北京工业大学