一种基于ToF的焊缝识别方法

本发明涉及焊缝识别技术领域，特别是涉及一种基于tof的焊缝识别方法。

背景技术：

焊接是机械加工业中必不可少的基础制造技术之一，被广泛应用到现代制造业中，如海工船舶、航空航天、轨道交通等领域。如今已进入智能制造时代，传统的手工焊接早已不能满足相关设备加工精度与效率的要求，焊接技术的自动化、智能化已成为市场主流。

常见的自动化焊接方法主要为“手动示教-记忆再现”，仍需要技术人员通过示教器操控焊接机器人完成焊接。即通过记录示教的路径或轨迹，焊接机器人能够重复完成操作，但在焊接开始之前需要确定焊缝的类型和位置。因此，当焊缝较多或焊接工艺复杂时，人工示教操作很难满足焊接要求。

为实现高精度智能焊接，自动化焊接方法常常需要配合焊缝识别技术。常见的焊缝识别技术分为接触式和非接触式，其中基于机器视觉的非接触式焊缝识别技术在工业生产中的应用较为广泛。但以机器视觉为主要代表的非接触式焊缝识别技术往往较为复杂，需要多重滤波方式去除图像噪音、复杂的焊缝特征提取算法识别焊缝，且很难获取精准的焊缝三维信息。而接触式的焊缝识别技术，因其精度低、故障率高、无法区分焊缝表面障碍物等缺点，并未得到广泛应用。

传统的三维成像技术包括双目立体视觉技术和结构光技术。专利cn112059363a公开了一种基于双目视觉测量的无人爬壁焊接机器人及其焊接方法，该测量方法能够精准引导焊接机器人到达焊缝位置。虽然双目立体视觉技术的精度高成本低，但是计算量较大，对算法的要求较高，对使用的环境也有一定的限制；其主要挑战在于如何解决对应问题，即在图像中给定一个点，如何在另一个相机中找到相同的点。在建立起对应关系之前，无法准确的确定差异，也就无法确定目标的三维信息。此外，专利cn108335286a还公开了一种基于双线结构光的在线焊缝成型视觉检测方法。所述结构光法，通过投影仪主动投影具有特定特征的光信号到被测物体表面。具有特定特征的光信号由于物体表面自身的凹凸情况而产生一定的形变，即被调制，然后摄像机对被调制的光信号进行再次采集，之后通过三角测量原理确定目标的深度信息。而飞行时间测距最早应用在超声测距仪上，其原理为：向被测物体发射可调制的红外光线，经接收端接收，通过分析发射光线与接收光线的相位差和时间差，从而快速准确的获得待测物体的深度信息。再结合传统摄像头的拍摄，能够得到物体的三维信息。随着精密电子技术和微电子工艺的发展，解决了基于tof技术的摄像头的分辨率低、噪点多、成本高的问题后，基于高性能光电子的飞行测距法在各领域得到了广泛的应用。如机器人导航、自动驾驶、超分辨成像、非视域成像以及工业检测等领域，此外飞行时间测距法在机器视觉领域也显示出极大的潜力。通过查阅大量文献资料得知，基于飞行时间测距法的焊缝识别技术开发与应用尚属国内空白，其优势在于得到焊缝的中心线之后，就可以直接在深度图像中确定所对应焊缝的深度信息。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于tof的焊缝识别方法，该方法能够提高焊缝识别的效率和准确率。

为了达到上述目的，本发明提供如下技术方案：

一种基于tof的焊缝识别方法，包括如下步骤：

步骤s1、通过基于tof技术的摄像头获取待处理焊件的原始焊缝图像，所述原始焊缝图像包括；振幅图像和深度图像；

步骤s2、对步骤s1中获取的振幅图像进行预处理，得到预处理后的振幅图像；

步骤s3、对步骤s2中获取的预处理后的振幅图像进行局部阈值二值化处理得到对应的二值化图像；

步骤s4、通过gabor滤波器提取所述二值化图像的边缘特征，并且获取焊缝的边缘图像；

步骤s5、对步骤s4中获取的边缘图像进行拉东变换，获得水平矫正后的边缘图像，并且基于焊缝的外观条件，识别出焊缝图像；

步骤s6、通过步骤s5中识别出的焊缝图像，获取焊缝的二维信息，再结合步骤s1中获取的深度信息，求出焊缝的三维坐标；

步骤s7、构建世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系；

步骤s8、根据步骤s7中像素坐标系与世界坐标系之间的转换关系，将步骤s6中获取的焊缝三维坐标转换为世界坐标系下的空间坐标。

进一步的，所述基于tof技术的摄像头中的传感器为阵列式。

进一步的，在所述步骤s2中，所述预处理包括：对振幅图像进行裁剪获得包含焊缝区域的图像，并且对该图像进行滤波处理。

进一步的，所述步骤s4具体包括：

步骤s401、通过gabor滤波函数的虚部，其表达式如公式(1)所示，并且选用4个尺度，f分别为0.15、0.3、0.15和0.6，再选用6个方向，θ分别为0、π和构建24个滤波器组；

公式(1)中，x为主轴方向上的高斯尺度；y为主轴方向正交的高斯尺度，f表示为滤波器中心频率，θ表示为高斯主轴的旋转角度，η和γ为常数，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ。

步骤s402、将步骤s401中得到的24个滤波器组与步骤s3中得到的二值化图像进行空域卷积，得到4个尺度，6个方向的初步边缘检测图像；

步骤s403、对步骤s402中得到的初步边缘检测图像进行非极大值抑制，按照检测的方向，对相应图像附近的两个点进行比较，若为最大值则保留，若不是则变为0；

步骤s404、将4个尺度，6个方向的初步边缘检测图像进行融合，再将融合后的图像进行边缘连接，即得到焊缝的边缘图像。

进一步的，所述步骤s7具体包括：

首先将世界坐标系经过刚体变换转化为相机坐标系；

然后再将相机坐标系经过透视投影转化为图像坐标系；

最后将图像坐标系经过离散化处理得到像素坐标系。

本发明的有益效果是：

本发明提供的方法比基于接触式的焊缝识别方法的算法简单且识别的速度较快，可以在较短的时间内较精准的识别出复杂焊缝，识别的精度也更高。而且在tof摄像头获取焊缝图像的同时可直接获取该焊缝的深度信息，从而比双目视觉法和结构光法可以更快更准确的对目标进行三维重建。

附图说明

图1为实施例1中从世界坐标系要转换到相机坐标系的原理图。

图2为实施例1中从相机坐标系转换到图像坐标系的原理图。

图3为实施例1中从图像坐标系转换到像素坐标系的原理图。

图4为实施例1中采用基于tof技术的摄像头获取的原始焊缝图像。

图5为实施例1中最终获取焊缝中心线的点云图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1-图5，本实施提供一种基于tof的焊缝识别方法，包括如下步骤：

步骤s1、通过基于tof技术的摄像头获取待处理焊件的原始焊缝图像，原始焊缝图像包括；振幅图像和深度图像；

具体的说，原始焊缝图像为焊接前或焊接后的焊缝图像，在本实施例中采用基于tof技术的摄像头直接拍摄获取，并且该基于tof技术的摄像头中的传感器为阵列式的，从而可以在每一帧图像采集的过程中快速获取目标三维信息；基于tof技术的摄像头中的传感器能发出经调制的红外光线，该光线遇到焊缝后发生漫反射，接收端通过分析发射光与接受光的相位差或时间差能够获得相应的焊缝深度信息，从而可以得到目标图像的深度信息，点云信息和灰度信息等。

步骤s2、对步骤s1中获取的振幅图像进行预处理，得到预处理后的振幅图像；

具体的说，预处理包括：对振幅图像进行裁剪获得包含焊缝区域的图像，并且对该图像进行滤波处理，使用滤波处理的目的在于减弱环境中光线对振幅图像的影响。

更具体的说，通过基于tof技术的摄像头获取的焊缝包含多种数据信息，且容易受环境下的光线影响。获取到的图像包含大量的噪声以及与与焊缝无关的图像信息干扰，由于点云图中像素中包含3个数据，即xyz三维坐标。可以将采集到的点云图中空间点的三维点云数据转换为以深度信息为索引的二维矩阵。所有二维矩阵按空间顺序排布，得到中心矩阵，计算中心矩阵索引的深度信息与周围矩阵索引的深度信息的平均差值。该平均差值作为深度信息的全局阈值。将点云图中深度信息距离上述全局阈值过大的三维点云作为噪音点去除，提高后续的计算效率及准确性。

步骤s3、对步骤s2中获取的预处理后的振幅图像进行局部阈值二值化处理得到对应的二值化图像；

具体的说，阈值通过计算局部图像高斯加权平均数得到，将预处理后的振幅图像使用直方图方法确定二值化阀值，获得可以反映图像整体和局部特征的二值化图像。

步骤s4、通过gabor滤波器提取二值化图像的边缘特征，并且获取焊缝的边缘图像；

具体的说，步骤s4具体包括：

gabor滤波算法原理为：

其中x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ，f为中心频率，θ为选取的方向；

通过gabor滤波函数的虚部，其表达式如公式(1)所示，并且选用4个尺度，f分别为0.15、0.3、0.15和0.6，再选用6个方向，θ分别为0、π和构建24个滤波器组；

其中，x为主轴方向上的高斯尺度；y为主轴方向正交的高斯尺度；f表示为滤波器中心频率；θ表示为高斯主轴的旋转角度；η和γ为常数，在本实施例中，η＝1，γ＝2。

步骤s402、将步骤s401中得到的24个滤波器组与步骤s3中得到的二值化图像进行空域卷积，得到4个尺度，6个方向的初步边缘检测图像；

具体是，定义一个3×3的卷积核在原始的二值图像上滑动该卷积核，进行求和运算，直到该卷积核滑遍整个图像的像素求出所有像素输出的值，这样就得到了不同尺度，不同方向的初步边缘检测图像，每个图像都代表了不同尺度和不同方向焊缝的边缘信息。

步骤s403、对步骤s402中得到的初步边缘检测图像进行非极大值抑制，按照检测的方向，对相应图像附近的两个点进行比较，若为最大值则保留，若不是则变为0；

步骤s404、将4个尺度，6个方向的初步边缘检测图像进行融合，再将融合后的图像进行边缘连接，即得到焊缝的边缘图像。

步骤s5、对步骤s4中获取的边缘图像进行拉东变换，获得水平矫正后的边缘图像，并且基于焊缝的外观条件，识别出焊缝图像；

具体的说，将经过边缘特征提取的图像进行拉东变换(radontransform，rt)：

将图像中心设为原点，旋转图像任意θ角度(旋转角度在0-180°之间)，求得ρ-θ空间中对应的水平投影值r；不同的r组成了投影集合r，求r中元素的最大值，并求出相应的θ、ρ值，θ为水平旋转角度，ρ为对应的原点到直线的距离；

再将ρ-θ空间中得到的θ、ρ值转换到图像平面坐标系中焊缝边缘经过的一定点q；

根据直线方程求取方法求取在图像坐标平面中焊缝边缘位置；

最后，根据焊缝外观条件(如焊缝宽度、类型)等先验知识，整体识别焊缝。

步骤s6、通过步骤s5中识别出的焊缝图像，获取焊缝的二维信息，再结合步骤s1中获取的深度图像，求出焊缝的三维坐标；

具体的说，因为步骤s5中已识别获取了振幅图像中的焊缝图像，可直接获取焊缝的二维信息。由于tof摄像头所获取的振幅图像和深度图像是直接关联的，可由深度图像获取焊缝的深度信息。结合焊缝的二维信息和深度信息，可得到焊缝的三维坐标信息。

步骤s7、构建世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系；

具体的说，首先将世界坐标系经过刚体变换转化为相机坐标系；然后再将相机坐标系经过透视投影转化为图像坐标系；最后将图像坐标系经过离散化处理得到像素坐标系。

更具体的说：

世界坐标系(xw,yw,zw)—在真实世界中的三维坐标系，描述的是物体在真实世界中所在的位置；

相机坐标系(xc,yc,zc)—以相机的聚焦中心为原点，以光轴为z建立的三维直角坐标系；

图像坐标系(x，y)—为了描述相机坐标系下的图像如何投影到相机的底片上；

像素坐标(u，v)—图像都是由像素组成的，所以像素坐标系就是为了确定像素在图像中的位置。

如图1所示，世界坐标系要转换到相机坐标系需要进行刚体变换，所谓的刚体变换就是只对物体进行平移、旋转和反转的变换，而不使物体发生形变。

世界坐标系与相机坐标系之间的相关转换只需进行旋转变换和平移变换即可完成。

世界坐标系到相机坐标系的转换可以用旋转矩阵r和平移矩阵t表示：

齐次坐标系下表示为：

其中，[r11,r12,r13]^t,[r21,r22,r23]^t,[r31,r32,r33]^t分别表示原坐标系的基底向量tx，ty，tz表示变换到另一坐标系在x，y，z方向上的平移量。

从相机坐标系到图像坐标系，属于投影透视，即从3d转换到2d，原理图如图2所示，其中p为空间中的一点在图像坐标系中与之对应的为点p其坐标为(x.y)，根据相似三角形原理即：

在齐次坐标下就表示为：

其中，f表示图2中摄像机的焦距。

这一步就完成了相机坐标系到理想的图像坐标系的转换。

图像坐标系到像素坐标系，图像坐标系和像素坐标系是在同一平面上的，但二者原点不同，所以还需要进行一次变换，原理如图3所示，像素坐标和图像坐标之间的转换关系为：

齐次化后得：

综合上面四个转换就可以得到转换矩阵：

即完成了四个坐标系之间的转换，在世界坐标系中，假设焊缝上一点的位置坐标为(x,y,z)，结合旋转矩阵和平移矩阵，经过刚体转换，得到该点在基于tof技术的摄像头坐标系下的坐标，接着利用相似三角形原理，即可完成焊缝上该点在三维的基于tof技术的摄像头图像坐标系的转换。

步骤s8、根据步骤s7中像素坐标系与世界坐标系之间的转换关系，将步骤s6中获取的焊缝三维坐标转换为世界坐标系下的空间坐标。

为对焊缝进行三维定位，需要经坐标转换。将经基于tof技术的摄像头所获得真实世界焊缝的位置按照上述转换方法可以与tof摄像机成像平面上的像素建立起对应关系。

拉东变换(rt)，研究所得到的数字图像在各个角度方向上的投影变换，从数学的角度上可理解为对二维函数f(x,y)的线性积分，并将得到的积分结果投影到rt平面上。

通过线性投影变换得到的积分值又被称为radon曲线，该曲线由图像中直线与图像坐标系原点的距离ρ和直线的倾斜角θ共同来确定。

平面内的数字图像沿直线ρ＝xcosθ+ysinθ做线性积分，通过线性积分得到的f(θ,ρ)就是数字图像的radon变换，即变换平面内的某一点(θ，ρ)对应原始图像f(x，y)的某个线积分值。数字图像f(x，y)的radon变换公式为：

f(θ,ρ)＝∫∫f(x,y)δ(ρ-xcosθ-ysinθ)dxdy

其中：

f(x,y)为图像上某一点(x,y)的像素灰度值，δ为狄拉克函数，ρ为在(x,y)平面内投影线到原点的距离；θ为投影线的法线与x轴的夹角。

特征函数δ使图像沿着直线ρ＝xcosθ+ysinθ进行线性积分从rt的定义来看，rt可看做数字图像在ρ-θ坐标系中的线性投影，而坐标系中的每一点对应着图像坐标系中的每一条直线；rt也可看做将数字图像顺时针转动θ角度之后得到的图像在水平轴上的线性投影。

故rt可用于数字图像中的边缘直线检测：在数字图像坐标系中，灰度值高的直线会在ρ-θ空间上形成亮度比较高的点，而灰度值低的直线会在ρ-θ空间中形成亮度相对比较暗的点。

在本实施中，图4为实施例1中采用基于tof技术的摄像头获取的原始焊缝图像，经过本实施例中的方法处理，得到图5，图5为实施例1中最终获取焊缝中心线的点云图像。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。