一种基于激光视觉的v型坡口焊缝检测方法
【专利摘要】本发明针对复杂的焊接环境，提出一种适用于线结构光视觉焊缝检测方法。首先在不同位置拍摄带有线结构光条纹的焊缝图像，然后进行图像处理，具体过程：首先对图像进行滤波，以去除图像中的颗粒噪声并且掏空面积较大的噪声，然后应用ROI区域提取算法确定光带所在位置，再通过Otsu法对图像进行二值化，接着进行孤点滤波，去除图像中的细小噪声。并采用一种新的细化算法提取光带中心线，同时消除位于光带下方的噪声。提取特征点时，运用斜率法将光带中心线上点进行分类并进行最小二乘法的直线拟合以得到焊缝特征点。经由坐标系变换将焊缝特征点转换到机器人基坐标系，以实现机器人焊接。
【专利说明】
一种基于激光视觉的V型坡口焊缝检测方法
技术领域
[0001] 本发明属于图像处理的技术领域，涉及激光视觉引导的V形焊缝的特征提取方法， 具体是指一种基于线结构光视觉传感器引导的针对V形焊缝焊接过程中确定焊缝特征点和 焊缝具体数据的识别方法。 技术背景
[0002] 随着焊接自动化以及焊接机器人技术的发展和广泛应用，焊接自动跟踪系统的研 制越来越受到人们的关注。近年来随着工业技术的发展，工业对非标件工件的焊接需求量 不断的扩大，使用人工焊接的用费大，且焊接强度大、环境差，对人体有损伤，所以实现机器 人焊接的智能化和自动化，解放生产力，改善焊接效率，对我国实现工业化和现代化有着重 要的意义。
[0003] 焊缝自动检测系统是研究焊接自动化一个重要方向，一般由传感器、控制系统和 执行结构组成，其中图像处理技术是基于视觉传感器(视觉传感器如图3所示)焊缝检测系 统的核心。以CCD相机与激光为工具的焊缝识别技术是目前运用较多且相对较为简单的技 术，相对于X射线和超声波价格便宜。
[0004] V形坡口的焊缝是焊接工艺中最为常见的焊缝类型。机器人自动焊接中的难点在 于如何准确的识别焊缝特征点，然而在背景复杂噪声较多的情况下找到焊缝特征点是国内 外学者重点研究的方向。通过两组以上的焊缝特征数据对焊缝进行三维重建，使焊缝特征 点数据转换到机器人基坐标，进而计算焊缝坡口具体参数，实现机器人的准确有效地焊接。
【发明内容】
[0005] 本发明能够有效的实现机器人针对焊缝的自动识别和焊接，针对具有较多噪声的 图像依旧能提取光带所在位置，能够准确快速的确定V形坡口焊缝特征点的位置，即该算法 鲁棒性较高，适应性较强，实现效果好，便于使用。
[0006] 本文采用的提取特征点的方法步骤如下：
[0007] 步骤一、焊缝图像的采集:采用红色线性激光器对焊缝进行照射，调整光源和相机 的位置，运动手眼系统到位置S1，对此位置的焊缝上的光带进行拍摄，将拍摄到的图像传输 给图像处理器；
[0008] 步骤二、针对所拍焊缝进行图像处理，其具体过程如下：
[0009] 步骤2-1、对图像进行滤波:滤波包括中值滤波和LOG滤波，采用一个新的列向量模 板，能够有效的掏空烟雾、弧光所造成的面积较大已经像素宽度较宽的噪声，留下噪声的边 缘，致使图像中焊缝的光带更加突出；
[0010]步骤2-2、截取ROI区域：以每10行为一个索引，计算在该10行里每隔5列像素的累 加值，计算最大累加值所在的索引，该索引即为V形坡口焊缝光带横线所在的位置；
[0011]步骤2-3、对图像进行二值化:本发明选用的大津法算法，大津法算法被认为是图 像分割中阈值选取的最佳算法；
[0012] 步骤2-4、孤点滤波:该过程包括形态学腐蚀和标记算法针对图片中的孤立细小噪 声颗粒；
[0013] 步骤2-4-1、形态学腐蚀:将图像中的孤立零散的点去除，本文选用的是3*3的模板 进行滤波；
[0014] 步骤2-4-2、运用标记算法去除图像中比较聚集的噪声，采用基于八连通区域的标 记算法，通过设置图像像素阀值，当白色连通区域的像素累加值低于设定阀值时即可滤掉， 反之保留原像素。
[0015] 步骤2-5、图像细化:不仅对激光在焊缝工件上的光带进行细化处理，提取光带骨 架，同时可以去除图像中位于焊缝光带下方的噪声。图像沿水平方向依次找竖直方向的坐 标，寻找方式是由该列从上往下依次寻找像素值为1的点，yu和y 2l分别为光带上下边界的 纵坐标，本算法认为Δ yi = y2i-yii为线的宽度，所以中心线的纵坐标就为ymidi = 3^ +￥，记 中心点坐标为(Xi，ymidi)。
[0016] V形坡口断裂处会有其它干扰线的产生，所以最后针对细化图像，再用一次标记算 法，滤掉短线，噪声点。
[0017] 步骤206、直线拟合:本发明采用的是基于斜率法将光带中心线上的点进行分类， 然后运用最小二乘法拟合焊缝的直线，随后求得直线的交点，该交点即为焊缝特征点在摄 像机坐标系下的位置。该算法要求从左向右不断计算固定点数η的斜率，将整个折线的斜率 以曲线的类型表示，根据实际情况，η太大，斜率线不能准确地反映焊缝光带线的变化，η太 小，斜率线容易受到噪声的影响，所以η的选择是根据大量实验验证而选择的，从斜率变化 曲线反应线的变化，通过分析得知斜率最大值所反映的点为V形坡口的自左向右第一个拐 点，斜率最小值反映的点就是 ￥形坡口的底部点，因为斜率法所反映特征点的粗略位置，本 文选择取斜率最大最小点左右5~10位置的点来进行点的分组，最后将分完组的点进行最 小二乘法的直线拟合，开$成4条直线，计算得至1」3个交点P1Q、P2Q、P30。
[0018]步骤三、3个交点是在图像坐标系下的坐标，将交点坐标由图像坐标系转化到摄像 机坐标系。通过标定可知摄像机坐标系和腕部坐标系的转换关系T。腕部坐标系到机器人基 坐标系的转换关系，同样可以从机器人示教器上读出，经过机器人学换算得到矩阵B，通过 式pb = B*T*pc，可求得Pc点在基坐标系下的坐标，同时口11421431点在机器人基坐标系下的 坐标pbii、pb2i、pb3i也可知，该三个交点在图像中所表示的顺序是从左往右依次排布的。
[0018] 步骤四、移动整个手眼系统到第二个位置T2,对第二个位置的焊缝光带进行拍摄， 对所得到的焊缝的图像经过步骤二的处理，同样算法可以得到3个交点pn、p 21、p31，经过步 骤三的处理得其在基坐标下的坐标。根据三个点形成一个平面，可以将V形坡口的三维平面 图拟合出来。
[0019 ]由点pbli、pb3i拟合得到平面ki，平面方程为： aix+biy+ciz+di = 0
[0020]由点pbii、pb2i拟合得到平面k2,平面方程为： a2X+b2y+C2Z+d2 = 0
[0021 ]由点pb2i、pb3i拟合得到平面k3,平面方程为： a3X+b3y+C3Z+d3 = 0
[0022] k2和k3的法线向量分别为：
[0023]通过计算平面k#Pk3的焊缝夹角Θ可表示为：
[0024] pb2l距离平面匕之间的距离同样可以得到，记为Η，即为V形焊缝的高度。
[0025] 焊缝宽度L通过计算同样可以得到，丨
[0026] 1、本发明的方法步骤简单，便于实现。
[0027] 2、本发明可在焊缝工件表面有明显反射光线的情况下依旧能对焊缝进行有效地 检测。通过验证此算法的鲁棒性和实时性具有很高的保障。
[0028] 3、本发明通过使用工业相机和线结构激光器完成焊缝的自动检测和定位，成本 低，设备体积小，安装使用更方便。
[0029]综上所述，本发明方法简单，便于实现，适应性强，精度高，工作可靠性高，工具成 本低，安装使用简单，便于实现，效果相对非激光光源的视觉系统更好，具有良好的实用性， 便于推广使用。
【附图说明】
[0030] 图1为算法的步骤流程框图。
[0031] 图2为图像处理的方法流程框图。
[0032] 图3为机器人焊缝检测系统示意图。
【具体实施方式】
[0033] 为了能够更加具体的表述发明方案，下面从方法流程图依步骤对本发明进行详细 说明。
[0034] 步骤一、焊缝图像的采集:采用红色的激光对焊缝进行照射，调整光源和相机的位 置，运动手眼系统到位置Sl，对此位置的焊缝上的光带进行拍摄，将拍摄到的图像传输给图 像处理器；
[0035] 步骤二、针对所拍焊缝进行图像处理，其具体过程如下：
[0036]步骤2-1、对图像进行滤波：
[0037]步骤2-1-1、中值滤波:选择3*3的滤波模板对焊缝图进行处理。针对于灰尘，飞溅 带来的椒盐噪声它有明显的消除作用同时模糊效应相对于其它滤波明显低。
[0038]步骤2-l_2、L0G滤波：由于激光焊缝条纹是沿水平方向，垂直方向的条纹像素宽度 维持在6个像素，弧光、飞溅、烟雾所形成的噪声在竖直方向上的像素明显大于激光焊缝条 纹，针对特点，本发明选择使用高斯-拉普拉斯滤波一维列向模板可以很好地处理这些噪 声，可以掏空掉噪声内部，使其边缘化，选择的模板为： s=[ -2；-2；-1；0；1；2；4；2；1；0；-1； -2；-2].
[0039]该模板能够有效的掏空烟雾、弧光所造成的面积较大已经像素宽度较宽的噪声， 留下噪声的边缘，致使图像中焊缝的光带更加突出；
[0040] 步骤2-2、截取ROI区域：提出的一种新的提取ROI区域的算法，只针对ROI进行操 作，可以降低数据的规模，提高运算效率;与此同时，可以减少非ROI区域对目标处理带来的 干扰。
[0041 ]步骤2-2-1、去除图像左右为gw宽度的了像素，该步骤有效地提高了ROI区域的速 度；
[0042] 步骤2-2-2、针对图像竖直方向上，每隔5列便对5i列上的像素值累加，形成一个h 行、丨*丟w列的矩阵S;
[0043] 步骤2-2-3、水平方向上，对矩阵S进行运算，每隔10行对这10行内所有的像素进行 累加，形成一个&行1列的列向量M，存储像素累加值；
[0044] 步骤2-2-4、寻找向量M中最大值，最大值所在的行t即为原图像10(t-l) + l行至IOt 行的索引。
[0045] 步骤2-2-5、引入Ymin、Ymax，分别表示所在行位置的上下纵坐标。
[0046] 步骤2-2-6、求取ROI区域的窗口范围，Yu为区域上方坐标，Yd为区域下方坐标：
m等于焊接坡口深度的近似值，t为区域预留高度。在本发明中，m设为60，t设置为20 [0047]步骤2-3、对图像进行二值化:本发明选用的Otsu算法，Otsu法使用的是聚类的思 想，把图像的灰度数按灰度级分成两个部分，使得两个部分之间的灰度值差异最大，每个部 分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分。Otsu法被认 为是图像分割中阈值选取的最佳算法，因为其算法简单。
[0048]步骤2-4、孤点滤波:该过程包括形态学腐蚀和标记算法针对图片中的孤立细小噪 声颗粒；
[0049]步骤2-4-1、形态学腐蚀:将图像中的孤立零散的点去除，本文选用的是3*3的正方 形模板进行滤波，模板为：
[0050] 步骤2-4-2、运用标记算法去除图像中像素比较聚集的噪声，采用基于八连通区域 的标记算法，通过设置图像像素阀值，当白色连通区域的像素累加值低于设定阀值时即可 滤掉，反之保留原像素。
[0051] 步骤2-5、图像细化:不仅对激光在焊缝工件上的光带进行细化处理，提取光带骨 架，同时可以去除图像中位于焊缝光带下方的噪声。
[0052]步骤2-5-1、图像沿水平方向依次找竖直方向的坐标，寻找方式是由该列从上往下 依次寻找像素值为1的点，yu和y2l分别为光带上下边界的纵坐标；
[0053] 步骤2-5-2、本文认为Δ yiiy^-yu为线的宽度，所以中心线的纵坐标就为
、记中心点坐标为(xi，ymidi);
[0054] 步骤2-5-3、V形坡口断裂处会有其它干扰线的产生，所以最后针对细化图像，再使 用标记算法，滤掉短线，噪声点。
[0055] 步骤2-6、直线拟合:本文采用的是基于斜率法将光带中心线上的点进行分类，然 后运用最小二乘法拟合焊缝的直线，随后求得直线的交点，该交点即为焊缝特征点在摄像 机坐标系下的位置。该算法具体步骤如下：
[0056]步骤2-6-1、首先从左向右不断计算η个点的斜率，将整个折线的斜率以曲线的类 型表示，根据实际情况，η太大，斜率线不能准确地反映焊缝光带线的变化，η太小，斜率线容 易受到噪声的影响，所以η的选择是根据大量实验验证而选择的；
[0057]步骤2-6-2、从斜率变化曲线可以清楚的知道线的变化，通过分析得知斜率最大值 所反映的点为V形坡口的自左向右第一个拐点，斜率最小值反映的点就是V形坡口的底部 占 .
[0058] 步骤2-6-3、因为斜率法所反映的点为特征点大致位置，所以不能用该点来计算斜 率，本文选择取斜率最大最小点左右5~10位置的点来进行点的分组；
[0059] 步骤2-6-4、最后将分完组的点进行最小二乘法的直线拟合，形成4条直线，计算得 到3个交点p1Q、p 2Q、p3Q，三点的顺序是图像中V形坡口从左向右的交点。
[0059] 步骤三、由步骤二中的到的交点是其在图像坐标系下的坐标，需要将其换算到机 器人基坐标系下。
[0060] 已知摄像机的内参数M以及结构光平面方程参数，p在图像坐标系下的坐标(m， V1)，可以计算出P点在摄像机的焦距归一化成像平面的成像点Pw的坐标：
[0061] 假设平面方程式为：
ax+by+cz+l = 0
[0062] 由于特征点Plcl在结构光平面上，同时还在摄像机的光轴中心点与成像平面上的 成像点之间的一条空间直线，即可知：
[0063] 利用该直线的方程与结构光平面方程，即可得到特征点在摄像机坐标系下的三维 坐标Pc；(x，y，z)。可求得：
[0064] 通过标定可知摄像机到腕部的转换矩阵矩阵分别是手眼标定中的旋转矩阵 和平移矩阵。手眼矩阵可表示为：
[0065] 腕部坐标系与基坐标系的转换关系，同样可以从示教器上读出，示教器中X，Y，Z为 手腕部相对于基坐标系的位置关系，即为平移矩阵"42 4￥4乂经过换算得到旋转矩阵他， 则手腕部相对于基坐标系的转换关系为
[0066] 通过式pb = B*T*pc，可求得pc点在基坐标系下的坐标pb。可知特征点坐标pu、p2i、 P3i在基坐标系下的坐标口13114&214&31，该三个交点的顺序是从左往右依次排布的。
[0067] pb的坐标形式为： pb-[Xpbi，Ypbi，Zpbi，1 ]，i -O^wIl ；
[0068]步骤四、移动整个手眼系统到第二个位置&，对第二个位置的焊缝光带进行拍摄， 对所得到的焊缝的图像经过步骤二的处理，同样算法可以得到3个交点pn、p21、p31，同样经 由步骤3将坐标换算到机器人基坐标系下。
[0069] Pli、p2i、p3i在图像中的顺序是从左往右依次排布的。
[0070]根据三个点形成一个平面，可以将V形坡口的三维平面图拟合出来。
[0071] 由点Pll、p3l拟合得到平面Iu，平面方程为： aix+biy+ciz+di = 0
[0072] 由点pu、p2l拟合得到平面k2,平面方程为： a2X+b2y+C2Z+d2 = 0
[0073] 由点p2l、p3l拟合得到平面k3,平面方程为： a3X+b3y+C3Z+d3 = 0
[0074] k2和k3的法线向量分别为：
通过计算平面k#Pk3的焊缝夹角Θ可表示为：
Pb2l距离平面匕之间的距离同样可以得到，记为H，即为V形焊缝的高度。 焊缝宽度L通过计算同样可以得到，即为L = 2 * H * tanf。
【主权项】
1. 焊缝检测的方法，其步骤如下： 步骤一、焊缝图像的采集； 步骤二、针对所拍焊缝图片进行图像处理，寻找图像特征点； 步骤Ξ、特征点在坐标系下的换算； 步骤四、焊缝参数的求取。2. 根据权利要求1所述的焊缝检测方法，其特征在于，在步骤2中： (2-1)对图像进行滤波:滤波包括中值滤波和LOG滤波，将图像中由烟雾、弧光所形成的 面积较大的噪声去除； (2-2)截取R0I区域:有效地降低图像的数据规模，提高运算效率； (2-3)对图像进行二值化:选用化SU算法进行二值化处理，有很高的的适应性； (2-4)孤点滤波:该过程包括形态学腐蚀和标记算法针对图片中的孤立细小噪声颗粒 有很好的去除效果； (2-5)图像细化：不仅对激光在焊缝工件上的光带进行细化处理，提取光带骨架，同时 可W去除图像中位于焊缝光带下方的噪声。 (2-6)直线拟合:本文采用的是基于斜率法将光带中屯、线上的点进行分类，然后运用最 小二乘法拟合焊缝的直线，随后求得直线的交点，该交点即为焊缝特征点在摄像机坐标系 下的位置。3. 根据权利要求1所述的焊缝检测方法，其特征在于:通过机器人手眼标定得到机器人 手眼关系T，W及机器人末端相对于其基坐标系的转换关系B，通过式： pb = B*T*p； P为摄像机坐标系下的坐标点，pb为机器人基坐标系下的点，可将特征点在摄像机坐标 系下的坐标转换到机器人基坐标。4. 根据权利要求1所述，步骤4中焊缝的特征参数需要将步骤1中手眼系统沿X轴方向移 动到第二个位置S2,经步骤2、3处理求出第二幅光带图片中Ξ个特征点，随后利用平面拟合 求得V形坡口的平面方程，接着求出俩平面的夹角Θ，然后求得焊缝的高度H，最终求得焊缝 的宽度L = 2*H*tan含。
【文档编号】G06T7/00GK105844622SQ201610157576
【公开日】2016年8月10日
【申请日】2016年3月16日
【发明人】凌超, 嵇保健, 洪磊, 沈健
【申请人】南京工业大学