专利名称：带有线结构光型视觉传感器的纵缝焊接专机及其控制方法
技术领域：
本发明涉及工业焊接设备，尤其涉及一种带有线结构光型视觉传感器的纵缝焊接 专机及其控制方法。
背景技术：
随着自动焊接在焊接领域的广泛应用，为了保证焊接质量，焊缝的自动跟踪技术 成为重点研究方向。近年来，运用计算机视觉、数字图像处理、模式识别、智能控制等高新技 术的焊缝视觉跟踪得到了普遍的关注。其中线结构光型传感器因为其简单结构、非接触方 式、获取信息量大及高精度等优点，得到了广泛的应用。如何将线结构光型视觉传感器应用 于工业焊接设备纵缝焊接专机中成为了一个关键问题。线结构光型视觉传感器通过激光管发出点光源经柱状镜转换成条形光，投射到工 件表面的焊缝坡口上并向工件上方漫反射。CCD接收从工件上漫反射的不同焊缝坡口形式 的条形光，通过信号采集或图像处理环节，获得条形光变形处焊缝的特征信息。结构光型传 感器不仅能检测出焊缝的中心位置，还能获得焊缝截面的形状和尺寸等特征参数，并且适 合于不同的焊缝和各种焊接方法。目前，线结构光型视觉传感器在纵缝焊接专机中的应用方式通常为传感器前置安 装于焊枪上，通过十字滑块控制焊枪进行纠偏，纠偏过程中根据传感器与焊枪间的刚体关 系将图像偏差对应为焊枪偏离焊缝的偏差。例如郑定根等在文章“基于激光视觉的焊缝跟 踪系统的研究”中提出的通过安装保证焊枪中心、摄像头中心与激光器中心线处于焊接方 向平行的平面上。跟踪前人工将焊枪位置对准焊缝，采集当前图像中的焊缝特征点的图像 坐标作为图像基准点。考虑视觉传感系统与焊枪刚性连接，当焊枪中心与焊缝中心发生偏 移时，摄像头中心同样也发生相同量的偏移，通过图像特征点提取坐标与图像基准点的比 较得到焊枪相对焊缝的偏差量进行纠偏控制。徐鹏飞等在文章“水下焊接机器人视觉传感焊缝跟踪方法研究”中焊枪和水下激 光传感器固定并安装在十字滑块上，由十字滑块上下左右移动调整焊枪的位置，十字滑块 由控制上下和左右的两组电机驱动。焊接跟踪前首先进行焊枪的标定，其方法是，预先将焊 枪对准某一直焊缝，然后通过图像采集和焊缝位置的识别，得到焊缝中心的坐标，此坐标即 焊枪在水平方向的位置，将这个位置标定为焊枪的标准位置。初始进行焊缝检测，检测出当 前初始焊缝位置，从而可以计算出初始的焊缝偏差，从而可以进行偏差的调整。进行初始焊 缝检测，得出初始的焊缝偏差，即开始焊缝跟踪。上述应用方式从本质上来说是使图像基准点位置与焊缝接近并收敛，而不是实际 的焊枪位置。对于跟踪对象为直线焊缝的情况，由于传感器及焊枪的刚体关系，当图像基准 点位置与焊缝接近并收敛时，焊枪同样与焊缝接近并收敛，所以对于直线焊缝能够实现较 好的跟踪，并具有一定的跟踪精度。使用这种方式进行曲线焊缝的跟踪，跟踪精度差，且曲 率变化越大偏差越大。同时使用该应用方式，每次跟踪前需人工使焊枪位置对准焊缝来确 定图像基准点，降低了自动化程度。同时由于传感器的前置安装方式使得在最后一段焊缝传感器无法获得相应的焊缝信息，难于进行焊缝的跟踪控制。
发明内容
发明目的为了克服现有技术中存在的不足，本发明提供一种带有线结构光型视 觉传感器的纵缝焊接专机及其控制方法，能够实现对直线或者空间曲线焊缝的自动跟踪。技术方案为实现上述目的，本发明采用的技术方案为一种带有线结构光型视觉传感器的纵缝焊接专机，包括焊枪、线结构光型视觉传 感器、工业控制计算机和执行机构，所述焊枪固定在执行机构上，焊枪与线结构光型视觉传 感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；所述线结 构光型视觉传感器的输出端与工业控制计算机的输入端连接，工业控制计算机的输出端连 接执行结构。所述焊枪与线结构光型视觉传感器一起沿纵缝焊接专机的运行轨道前行，由于焊 枪固定在执行机构上，执行机构会根据从线结构光型视觉传感器接受到的数据进行纠偏运 动，因而焊枪在沿运行轨道前行的同时亦会存在纠偏运动，但是线结构光型视觉传感器只 沿着运行轨道前行而不跟随焊枪一同进行纠偏运动。同时执行机构可以为一组相互垂直的 执行机构，能够同时实现对焊枪高度及水平方向的纠偏。线结构光型视觉传感器不随焊枪进行纠偏运动的方式虽然在一定程度上使得线 结构光型视觉传感器的视野相对减少，但是考虑到执行机构运动范围有限，只要保证线结 构光型视觉传感器的视野能够覆盖执行机构的运动范围即能够满足实际使用要求。这种方 式的优点在于，分离焊枪的纠偏运动以及线结构光型视觉传感器对数字图像特征的采集， 能够获得空间的焊缝轨迹，实现实际需要的运动方式，例如常用的焊缝的跟踪加摆动，摆动 坡口自适应等。线结构光型视觉传感器的前置安装方式一方面能够避免焊接时弧光的干扰，另一 方面能够使得整个装置能够提前获取焊缝信息，提前获取的焊缝信息经处理后能够直接用 于对执行机构的控制。所述执行机构可以为伺服电机或者步进电机中的一种。上述一种带有线结构光型视觉传感器的纵缝焊接专机的控制方法，可以实现对焊 缝的跟踪，具体包括如下步骤(1)将焊枪置于零点位置；(2)通过线结构光型视觉传感器采集数字图像，并分析所得数字图像提取焊缝坡 口的图像特征点，确定图像特征点在所述线结构光型视觉传感器形成的传感器坐标系下的 坐标值；(3)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，依据线结构光型视 觉传感器在采集步骤O)中图像特征点的时刻的位置，计算该图像特征点在基坐标系下的 坐标值；(4)将通过步骤( 和步骤( 获得的各个离散的图像特征点在基坐标系下的坐 标值，通过插补方法得到连续的焊缝轨迹；(5)根据焊枪当前位置计算下一纠正时刻纠正截面方程与步骤中得到的连续 的焊缝轨迹的交点，并得到该交点在焊枪纠正方向上投影值；根据当前时刻焊枪位置与下一时刻焊缝位置的差值纠正焊枪；(6)重复步骤( 至步骤(5)，直至焊接完成。所述步骤(1)中，零点位置可以自由选定，但选定后即作为为一个固定的位置点 不再变更，但是该点必须可以通过执行机构重复到达。当焊枪位于零点位置时，焊枪末端沿 纵缝焊接专机运行轨道方向的直线与线结构光型视觉传感器的结构光面交点在传感器图 像中的投影点定义为零点图像参考点，此时图像定义为零点参考图像，所述零点图像参考 点在零点参考图像上的像素值记为(uref，vref)；焊枪末端到所述结构光交点的距离定义为 前置距离，前置距离记为C^f。在实际应用中，对于采用伺服电机作为执行机构的情况，可通过选取某固定的码 盘位置值来设定零点位置，焊缝跟踪前使焊枪运行到该码盘位置即实现回“零点”操作；对 于采用步进电机作为执行机构的情况，可通过安装外部传感器辅助实现回“零点”操作。当 零点位置确定后，可以保证每次回“零点”操作后焊枪相对传感器的位置固定不变。对于上 述执行机构为伺服电机的情况，焊枪位置能够通过码盘值获得，但是对于很多无法获取位 置的执行机构很难确定焊枪在系统中的位置。不失一般性，为了能够确定跟踪初始时刻焊 枪相对于传感器的位置，一般都要求在进行焊缝跟踪前首先进行焊枪的回“零点”操作。所述步骤O)中，通过线结构光型视觉传感器采集到数字图像，可以通过计算机 视觉、图像处理技术、模式识别等技术进行分析，以得到焊缝坡口的图像特征点。所述传感 器坐标系记为o。X。y。z。，焊枪坐标系记为0txtytzt，焊枪坐标系在传感器坐标系下旋转关系的 描述记为Rt。，轨道前进方向在传感器坐标系中的单位向量记为Vttral，其中焊枪坐标系的^ 轴方向为高度方向执行机构的运动方向，yt轴方向为水平方向执行机构的运动方向，Zt轴 方向为χ轴与ι轴满足右手法则的正交方向。记焊枪坐标系的^ct轴、yt轴、zt轴的正向在 传感器坐标系下的描述单位向量分别为VvCTt、Vto、VvCTtXVh ，则焊枪坐标系在传感器坐标系 下旋转关系的描述为[vVCTt Vhor vVCTtXvhJ，轨道前进方向在传感器坐标系中的单位向量为
Vtool °有益效果本发明提出的一种带有线结构光型视觉传感器的纵缝焊接专机及其 控制方法，建立了坐标系的概念，通过视觉传感器检测出焊缝轨迹，从本质上改变了将焊枪 通过刚体关系对应在图像基准点上的应用方式，所以本应用方法不局限于跟踪直线焊缝轨 迹，对空间曲线焊缝同样能实现跟踪，且曲线跟踪的逼近精度与图像采样率相关。本发明检 测了整条焊缝轨迹，故在焊缝最后一段即使传感器超出了视野也能保证焊枪可以实现对整 条焊缝的跟踪。同时本发明标定完成后可以不需要重复进行零点参考点的标定，大大提高 了自动化程度。
图1为本发明的结构示意图；图2为本发明方法的流程图；图3为步进电机“零点”实现示意图；图4为焊缝轨迹检测示意图；图5为焊缝跟踪运动示意图；图6为直线焊缝跟踪数据仿真图7为平面曲线焊缝跟踪数据仿真图；图8为平面曲线焊缝跟踪加摆动数据仿真图。
具体实施例方式下面结合附图对本发明作更进一步的说明。图1所示为一种带有线结构光型视觉传感器的纵缝焊接专机，包括焊枪、线结构 光型视觉传感器、工业控制计算机和执行机构，所述焊枪固定在执行机构上，焊枪与线结 构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊 枪；所述线结构光型视觉传感器的输出端与工业控制计算机的输入端连接，工业控制计算 机的输出端连接执行结构。所述执行机构为一组相互垂直的执行机构，能够同时实现对焊 枪高度及水平方向的纠偏。所述焊枪与线结构光型视觉传感器一起沿纵缝焊接专机的运行 轨道前行，但线结构光型视觉传感器不跟随焊枪一同进行纠偏运动。图2所示为图1所示结构的控制方法流程图，在将焊枪置于零点参考点位置后，执 行如下步骤(1)通过线结构光型视觉传感器采集数字图像；判断该次跟踪是否已获得焊缝初 始点，如果判断结果为是则执行步骤O)，若判断结果为否则执行步骤(3)；(2)获取当前传感器坐标系原点在基坐标系下的坐标值，执行步骤(3)；纵缝焊接专机沿基坐标系的单位向量为Vtral，线结构光型视觉传感器在采集第i 帧数字图像时刻，焊枪沿缝焊接专机的运行轨道距离焊缝初始点的距离为屯，此时传感器 坐标系原点在基坐标系下的坐标值为diVt00lo(3)分析所得数字图像，判断能否提取焊缝坡口的图像特征点，如果提取成功则记 该图像特征点在所得数字图像上的像素值为(u，ν)如果该图像特征点识别成功且没有找 到焊缝初始点，则执行步骤⑷；如果该图像特征点识别成功且找到焊缝初始点，则执行步 骤(5)；如果该图像特征点识别失败，则执行步骤(6)；(4)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，执行步骤(5)；执行该步骤时表明已经找到焊缝初始点，当前帧数字图像的采集时刻即为焊缝初 始点识别时刻，并以当前传感器坐标系作为基坐标系，但是传感器坐标系会随着焊接过程 的进行而变化，而基坐标系在确定以后便不再变化。此时，焊枪位于基坐标系下的位置为焊 枪初始位置Ttl，且Ttl = T (uref, Vref) -drefVtool,而焊枪在纠正面上的位置值为< =ο，《=0 ；(5)计算图像特征点(u，ν)在基坐标系下的坐标值(xb yb、)，执行步骤(6)；像素值为(U，ν)的图像特征点到传感器坐标系上的坐标值(X。y。zc)的 变化关系记为[X。y。Zc]T = T(u, V)，进一步考虑到传感器坐标系与基坐标系仅存 在平移变换，则第i帧数字图像的图像特征点(U” Vi)在基坐标系下的坐标值为(6)获取焊枪当前位置，并计算下一时刻纠正截面的方程，执行步骤(7)；记焊枪水平纠正方向在轨迹基坐标系下的单位向量为Vto，焊枪垂直纠正方向在 轨迹基坐标系下的单位向量为vVCTt，则纠正截面方程的法向量为η = VhorXvverto当前时刻 焊枪距离焊枪初始位置的距离为记dk，焊枪在纠正截面上的位置为(<，《)；下一纠正时刻焊枪距离焊枪初始位置的距离为dk+1，则点‘Α-+!；为下一纠正截面上的点。则下一纠正 截面的方程为(X-(dk+1vtool+T0)) · η = 0，其中X为纠正面上任意一点。⑵插补在基坐标系下坐标值为的[xf 乂( νΟ + φ^点，得到连续的
焊缝轨迹方程，计算连续的焊缝轨迹与下一时刻纠正截面的交点，计算该交点在焊枪纠正 方向上的纠正偏量后，纠正焊枪至连续的焊缝轨迹上，执行步骤(1)；选择合适的插补方式对离散轨迹点进行插补，插补方法的实现此处不再赘述。 根据上述插补后的焊缝轨迹方程及步骤16的纠正截面方程计算出其交点Ρ/ΙΓ，进一步
计算出该点在辉枪纠正方向上位置值(<+1,《+1)，<+1=[p:+T -{dk+lvtool+t0)\-vvert，
= [K+T ~(d^vtool +t0)}vhor，则辉枪的纠正量为-Clcll-Cl)。按照上述步骤，循环执行步骤(1)至步骤(7)即可实现焊缝的自动跟踪。
"Λ r uo~具体地，线结构光型视觉传感器通过标定得到的传感器内参数J= 0 fy V0 ,
0 0 1
标定得到结构光面在传感器坐标系中的方程为AX+BY+CZ = D，则图像像素值(u，v)到传感
Vγ u0-u-1"0"器坐标系坐标k。yc zc]T的转化关系满足=0fy vO0AB CD采用一组高精度的十字步进电机滑架作为执行机构，且安装时保证步进电机水 平、高度纠正方向与纵缝专机前进轨道的方向垂直。焊枪的“零点”通过使用两个外部传感 器实现，如图3所示，在水平方向步进电机左侧安装一个位置传感器1，电机滑块2距离位置 传感器Dto处定义为焊枪“零点”。焊枪回“零点”操作通过如下方式实现回零点时，电机 滑块2向左移动直至位置传感器1检测到信号，再向右移动滑块距离Dto即完成回“零点”。 对于垂直方向的电机可采用同样的方式实现高度方向的回“零点，，操作。按图1方式安装线结构光型视觉传感器，且保证^ct轴平行于ζ。轴，yt轴平行于& 轴。上述示例通过工装保证实现了一种最简单的跟踪情况，其中vVCTt= W O 1]T, vhor = [-1 O 0]T,vtool = YvertXvhor= [O -1 0]τ。离散轨迹的插补采用直线插补方式。由于采用 线结构光型视觉传感器的前置安装方式，使得在第一个前置距离内焊枪到传感器间没有焊 缝轨迹，该段称为“初始段”，在初始段中焊枪由初始点以直线轨迹运动到焊缝初始点。图4中进一步分析了本例焊缝轨迹检测的原理及流程。纵缝专机轨道前进过程 中，图像识别成功的第一帧图像点对应的焊缝轨迹点定义为焊缝的起点。当前图像采集时 刻、对应的传感器坐标系定义为轨迹基坐标系，该坐标系在此次焊缝跟踪过程中固定不 变，此次跟踪过程中的轨迹点及其相应的运算都在该坐标系下进行。对于图像采集时刻 、，传感器前进距离为Cl1，则此时图像像素点(Ul，V1)对应在轨迹基坐标系下的坐标值为
乂彳]T=r(Ml,Vl) + 4vto;。根据上述分析，依次可以得到图像采集时刻焊缝轨迹 点在轨迹基坐标系下的坐标[xf y-+图5中进一步分析了本例焊缝轨迹跟踪的控制原理及流程。在图像采集时刻tO时，焊枪在轨迹基坐标系下的位置固定
权利要求
1.一种带有线结构光型视觉传感器的纵缝焊接专机，其特征在于所述纵缝焊接专机 包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，所述焊枪固定在执行机构 上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉 传感器前置于焊枪；所述线结构光型视觉传感器的输出端与工业控制计算机的输入端连 接，工业控制计算机的输出端连接执行结构。
2.根据权利要求1所述的带有线结构光型视觉传感器的纵缝焊接专机，其特征在于 所述执行机构为伺服电机或者步进电机中的一种。
3.根据权利要求1所述的一种带有线结构光型视觉传感器的纵缝焊接专机的控制方 法，其特征在于所述控制方法包括如下步骤(1)将焊枪置于零点位置；(2)通过线结构光型视觉传感器采集数字图像，并分析所得数字图像提取焊缝坡口的 图像特征点，确定图像特征点在所述线结构光型视觉传感器形成的传感器坐标系下的坐标 值；(3)根据纵缝焊接专机的运行轨道建立焊缝轨迹的基坐标系，依据线结构光型视觉传 感器在采集步骤O)中图像特征点的时刻的位置，计算该图像特征点在基坐标系下的坐标 值；(4)将通过步骤( 和步骤C3)获得的各个离散的图像特征点在基坐标系下的坐标值， 通过插补方法得到连续的焊缝轨迹；(5)根据焊枪当前位置计算下一纠正时刻纠正截面方程与步骤中得到的连续的焊 缝轨迹的交点，并得到该交点在焊枪纠正方向上投影值；根据当前时刻焊枪位置与下一时 刻焊缝位置的差值纠正焊枪；(6)重复步骤( 至步骤(5)，直至焊接完成。
全文摘要
本发明公开了一种带有线结构光型视觉传感器的纵缝焊接专机及其控制方法，所述纵缝焊接专机包括焊枪、线结构光型视觉传感器、工业控制计算机和执行机构，焊枪固定在执行机构上，焊枪与线结构光型视觉传感器连接在纵缝焊接专机的运行轨道上，且线结构光型视觉传感器前置于焊枪；线结构光型视觉传感器的输出端通过工业控制计算机与执行结构相连接；所述控制方法建立了坐标系的概念，通过视觉传感器检测出焊缝轨迹，从本质上改变了将焊枪通过刚体关系对应在图像基准点上的应用方式，所以本方法不限于跟踪直线焊缝轨迹，对空间曲线焊缝也能实现跟踪；本发明检测了整条焊缝轨迹，故在焊缝最后一段即使传感器超出了视野也能保证焊枪对整条焊缝的跟踪。
文档编号B23K9/127GK102059435SQ201010586999
公开日2011年5月18日 申请日期2010年12月14日 优先权日2010年12月14日
发明者张弢, 张捷, 戴先中, 李新德 申请人:东南大学