专利名称：一种激光焊接焊缝跟踪实现装置的制作方法
技术领域：
本实用新型涉及机器人制造领域中视觉测量与智能运动控制技术，具体的说是一
种激光焊接焊缝跟踪实现装置。
背景技术：
目前，在制造机器人的焊接工艺生产中，一般采用人工手动控制、机器人示教或离线编程的方式进行路径规划和运动编程，焊接过程中只是简单的重复预先设定的动作。但在激光焊接中，由于其具有高速高精度的工艺要求，因此对激光焊接设备提出了较高的要求。 在现有的焊缝跟踪实现方案中，一般采用机械、电磁、视觉等传感器提供焊缝信息，由系统进行处理，实现焊枪位置控制。但是这样的焊缝跟踪系统一般是封闭的，是针对特定系统开发的传感器及处理算法，缺少通用、灵活和独立的实时焊缝跟踪系统。国外已经有部分较成熟的激光焊接焊缝跟踪系统的产品，但比较系统性能，各有千秋，很难在精度上和速度上同时满足激光焊接高速高精度的要求，并且系统结构庞大、构成复杂。
实用新型内容针对现有技术中存在的上述不足之处，本实用新型要解决的技术问题是提供一种具有精度高、定位准、适应性强的激光焊接焊缝跟踪实现装置。[0005] 为解决上述技术问题，本实用新型采用的技术方案是[0006] 本实用新型一种激光焊接焊缝跟踪实现装置包括 图像采集及处理单元，采集激光焊接焊缝特征的图像数据，对该图像数据进行处理并输出焊缝位置信息； 运动控制单元，接收上述焊缝位置信息进行分析处理，向运动轴执行机构发送运动控制指令； 上层参数设置和控制单元，设置图像采集和处理参数、运动控制参数，分别与图像采集及处理单元、运动控制单元进行通讯连接。 所述图像采集及处理单元包括激光光源、光学组件及智能相机，其中激光光源产生的一字线性激光通过焊接工件反射，经光学组件由智能相机进行采集；所述激光光源波长为660nm，功率为50mw 100mw可调；所述光学组件中的滤光片能透过波长660nm的光波。 所述运动控制单元包括运动控制器、运动轴驱动器及运动轴执行机构，其中 运动控制器以DSP为控制核心，与图像采集及处理单元的智能相机通过CAN总线
相连，对其输入的位置信息进行分析、计算，得到运动轴执行机构的控制位置信息； 运动轴驱动器，接收运动控制器的控制位置信息，输出至运动轴执行机构，最终实
现的焊枪对焊缝位置的跟踪矫正补偿运动。 本实用新型通过以下方法实现其控制过程[0015] 开始，通过上层参数设置和控制单元设置参数； 由图像采集和处理单元实时采集焊缝图像，并进行图像算法处理得到焊缝图像数据；[0017] 将焊缝图像数据缓存，并进行标定处理，确定当前采集图像对应的焊枪偏移量；[0018] 运动控制单元中的运动控制器根据上述焊枪偏移量进行跟踪轨迹的滤波、拟合以及轨迹规划； 上述计算结果送给运动轴驱动器对运动轴执行机构实施控制。 所述参数包括激光器光强调节参数、工件参数、图像处理算法参数以及跟踪轨迹计算过程的滤波、拟合控制算法参数。 所述图像算法处理通过FPGA硬件编程和DSP软件编程相结合来实现，其中通过
FPGA硬件编程实现图像预处理过程，包括以下步骤 对采集焊缝图像开窗，得到感兴趣区域； 对感兴趣区域图像进行中值滤波得到滤波后图像； 对滤波后图像进行二值化图像增强处理； 对二值化后的图像实施膨胀和腐蚀的数学形态学处理； 对膨胀和腐蚀后的图像进行边缘提取； 对边缘提取后的图像进行中心线提取； 通过DSP软件编程实现特征点提取过程，包括以下步骤 对由FPGA处理得到的中心线采用最小二乘法进行直线拟合； 通过找到最大拐点位置找到特征点，实现特征点提取。 所述确定当前采集图像对应的焊枪偏移量包括以下步骤 将光平面按密度等间隔划分为矩形网格，各个网格顶点即为事先标定的特征点；[0033] 在像平面中有与光平面相应的网格，通过位置控制进行网格各点的实际测量，获取像平面中不规则网格顶点的图像坐标(u， v)所对应的光平面物理坐标(xw， yw， zj，得到对应的关系数据表； 对于上述图像处理得到的焊缝特征点信息，即为像平面中的任意待标定点P(u，v)，通过上述已建立的关系表格中包围该待标定点的小四边形网格插值计算出其物理坐标，得到实际焊缝点的三维坐标P(xw， yw， zw)。 通过三维坐标(x， y， z)及相机与焊枪物理位置关系确定固定于运动轴执行机构上的焊枪对焊缝的跟踪位移量。 所述跟踪轨迹的滤波、拟合并实时计算跟踪点以及运动指令规划功能，实现过程包括以下步骤 运动控制器采用定时中断方式读取图像采集和处理单元的焊枪偏移量信息；[0038] 运动控制器跟踪轨迹滤波模块以前视距离范围取得的焊枪偏移量信息作为滤波输入信息，通过上位机传输的滤波参数(如中值或均值滤波算法及3或5次滤波参数)进行算法和参数的选择，设置2倍前视距离作为滤波窗口的长度，完成滤波计算，输出经过滤波之后的焊枪偏移量； 跟踪轨迹拟合模块以滤波模块的输出量作为输入，通过上位机传输的拟合参数进行拟合方法(如最小二乘或三次样条拟合)和拟合窗口大小(如参数设置或前视距离倍数设置)的选择，完成拟合计算，并对拟合后的线段按照与采集节拍同步的时间节拍进行控制焊枪偏移量的划分实时计算； 跟踪轨迹规划模块以拟合计算后的输出量作为输入，通过超前偏差计算方法，计算当前焊枪需要跟踪补偿运动的矫正偏移量，并按照预定的10毫秒倍数的控制节拍进行运动指令规划。 所述超前偏差计算方法如下 当焊枪前进距离小于等于L时，焊枪从位置"n"到位置"n+l"的矫正值为[0043] ￡ e/,a +1 =Z)《+I-|]Z)e/ ("+ l^M，",^Z );焊枪前进距离小于等于L ;其
中 M为前视距离L长度焊枪前进节拍数，即焊枪开始实时跟踪前的处理图像数； n为当前计算超前偏差值时的焊枪前进控制节拍的前一节拍数； p为当前位置之前的某一节拍； Distn+1为当前位置焊枪偏离初始位置的距离； Deltap为当前位置之前的某一节拍水平位置相对前一节拍的矫正值； Deltan+1为当前位置相对前一节拍位置的矫正值。 焊枪到达位置"M"后矫正值计算公式为 "e/toM+ +1 = - S W (",; ^ Z); 其中 M，p含义同上； n为从初始位置开始经过第一个前视距离长度之后开始计算的当前位置焊枪前进控制节拍的前一节拍数； Distm+n+1为当前位置焊枪偏离初始位置的距离； Deltap为当前位置之前的某一节拍水平位置相对前一节拍的矫正值；[0057] Deltam+n+1为当前位置相对前一节拍位置的矫正值。[0058] 本实用新型具有以下有益效果及优点 1.应用本实用新型可以适应多种焊缝类型和工艺，能够实现焊缝位置的高精度实时定位，具有通用性好、灵活性强和独立性高以及精度高、定位准、适应性强等优点。本实用新型能够适应V形接口、搭接和等厚板、不等厚板对接等多种焊缝类型，采集激光焊缝图像、提取焊缝特征点位置；智能相机提供网络接口实现上位机设置相机的工作参数，提供CAN通讯接口进行图像处理后的焊缝跟踪位置数据传输；运动控制DSP具有对线性激光器的模拟功率控制接口以及对PLC的信号交互接口 ；针对一种工况完成参数设置后，系统可以脱离上位机独立完成自动焊缝跟踪。 2.本实用新型针对V形接口、搭接和等厚板、不等厚板对接等多种焊缝类型的不同工况设计了不同参数用于焊缝图像处理模块，并且根据智能相机与跟踪执行机构的固联连接方式，开发了超前偏差焊缝跟踪控制算法，以适应多种焊接类型工况的焊缝跟踪要求。
图1为本实用新型激光焊接焊缝跟踪实现装置的结构框5[0062] 图2为本实用新型的实现方法控制流程图； 图3为本实用新型中智能相机的结构框图； 图4为本实用新型中智能相机的功能流程图； 图5为本实用新型中运动控制单元功能流程图； 图6为本实用新型中智能相机的标定功能原理图； 图7为本实用新型的控制柜布置示意图； 图8为本实用新型实施例结构示意图； 图9 图15为本应用于实用新型中的图像处理各步骤的处理效果图(一) (七)； 图16跟踪机构与焊缝相对位置示意图。
具体实施方式
本实用新型结构如图1所示，包括 图像采集及处理单元，采集激光焊接焊缝特征的图像数据，对该图像数据进行处 理并输出焊缝位置信息； 运动控制单元，接收上述焊缝位置信息进行分析处理，向运动轴执行机构发送运 动控制指令； 上层参数设置和控制单元，设置图像采集和处理参数、运动控制参数，分别与图像 采集及处理单元、运动控制单元进行通讯连接。 所述图像采集及处理单元包括激光光源、光学组件及智能相机，其中激光光源产
生的一字线性激光通过焊接工件反射，经光学组件由智能相机进行采集。 所述运动控制单元包括运动控制器、运动轴驱动器及运动轴执行机构，其中 运动控制器以DSP为控制核心，与图像采集及处理单元的智能相机通过CAN总线
相连，对其输入的位置信息进行分析、计算，得到运动轴执行机构的控制位置信息； 运动轴驱动器，接收运动控制器的控制位置信息，输出给运动轴执行机构，从而完
成本实用新型所要最终实现的焊枪对焊缝位置的跟踪矫正补偿运动。 如图8所示，系统中的智能相机3与跟踪执行机构10固联，焊接焊枪9与执行机 构10固联。图像采集及处理单元4内封装了半导体一字线性激光器1、滤光片2以及智能 相机3。外罩顶部第1开孔6，用于引出激光器和智能相机的电源线、激光器功率模拟控制信 号线和智能相机现场总线CAN和以太网LAN的通讯线，第1、2开孔7、8作为图像采集和处 理单元4气冷系统的出、入气口。整体机壳与焊枪9刚性连接，安装距离通过安装孔精确保 证，并整体连接于执行机构10上，执行机构10能够垂直于焊缝方向运动从而实现焊枪9相 对于焊缝位置的调整，在本实施例中将什么方向？规定为Y方向。执行机构10通过支架11 整体固定于焊接设备上。如图7所示，运动控制单元以及上层参数设置和控制单元集成安 装于控制柜中，其中运动控制单元中的运动轴驱动器即伺服驱动器安装在控制柜下方，运 动控制器DSP2812和采用Windows系统的工业控制计算机即上层参数设置和控制单元分别 安装于控制柜的上方，预留接口连接图像采集及处理单元4中智能相机电缆、外部PLC(用 于与其它系统相连实现外部控制)和系统供电等，控制柜操作面板安装有显示器和各种指 示灯、按钮和急停开关。[0080] 半导体一字线性激光器1发出的激光束产生结构光平面，照射到焊接工件表面， 形成焊缝5的特征激光条纹，激光器焦距为110mm，焦点位置线宽为0. 044mm，功率为50 100mw，波长为660nm。滤光片2，能透过波长660nm的光波。智能相机3采集由激光器1形 成的激光条纹图像。 激光焊接焊缝跟踪系统总工作流程如图2所示，包括以下步骤 开始，通过上层参数设置和控制单元设置参数； 由图像采集及处理单元实时采集焊缝图像，并进行图像算法处理得到焊缝图像数 据； 将焊缝图像数据缓存，并进行标定处理，确定当前采集图像对应的焊枪偏移量； 运动控制单元中的运动控制器根据上述焊枪偏移量进行跟踪轨迹的滤波、拟合并 实时计算跟踪点以及运动指令规划； 上述计算结果送给运动轴驱动器对运动轴执行机构实施控制。 首先，通过上层参数设置和控制单元设置参数，包括1)激光器光强调节参数，通 过串口传输给下位机DSP2812，在通过其模拟控制接口对激光器光强进行控制；2)V字接 口、对接、搭接等接口形式的选择和等厚板、不等厚板焊接工艺参数的选择，以及开窗大小、 滤波等算法的相关参数，通过LAN网络接口传输给智能相机；3)设定跟踪系统跟踪轨迹滤 波、拟合参数，通过串口传输给DSP2812运动控制单元。 然后，由图像采集及处理单元实时采集焊缝图像，并进行图像算法处理得到焊缝 图像数据；将焊缝图像数据缓存，并进行标定处理，确定当前采集图像对应的焊枪偏移量， 具体过程如下 图像采集及处理单元实时采集并进行焊缝图像处理功能由智能相机完成，智能相 机的组成结构如图3所示，工作过程如图4所示，现具体描述如下相机的光学传感器按照 一定的节拍进行图像采集，节拍控制、曝光时间和开窗大小等相关参数由上位机通过局域 网LAN接口完成预先设定，FPGA读取采集存储于"帧缓存"中的原始图像，并进行FPGA硬 件实现的图像处理功能，包括开窗、滤波、二值化、膨胀与腐蚀、边缘提取以及焊缝中心线提 取，图像处理效果见图9 15，其中图9为带有开窗标识的原始焊缝图像，图10为开窗后 的感兴趣区域图像，图11为滤波处理后的图像，图12为二值化处理后的图像，图13为膨胀 与腐蚀处理后的图像，图14为边缘提取处理后的图像，图15为中心线提取处理后的图像。 提取的焊缝中心线图像数据存储到"图像缓存"中，相机中的DSP将焊缝中心线图像数据从 "图像缓存"中取出并存储于与其相关联的"同步动态随机存储器"中，并对其进行焊缝位置 特征点提取处理(如图15所示)，数据存储于"只读存储器"中。同时，智能相机中的DSP 对焊缝图像数据进行标定处理，确定当前采集图像位置对应的焊枪相对焊缝的偏移量，最 后通过现场总线CAN接口将焊枪偏移量传送给运动控制单元。 其中，标定原理图如图6所示，过程如下 将光平面按某个密度等间隔划分为矩形网格，各个网格顶点即为事先标定的特征 点，在像平面中有与光平面相应的网格，由于镜头畸变，这些网格成不规则的四边形；通过 进行一系列精确的实验测量，可以获取像平面中不规则网格顶点的图像坐标(u， v)所对应 的光平面物理坐标(xw， yw， Zw)，得到对应的关系数据表；对于上述图像处理得到的焊缝特 征点信息，即为像平面中的任意待标定点P(u， v)，可以通过上述已建立的关系表格中包围
7该待标定点的小四边形网格插值计算出其物理坐标，得到实际焊缝点的三维坐标P(、， yw， zw)。 在系统开始工作前，需要通过精确测量进行零点标定，即标定在规定的零点位置
执行机构与像平面上某一点的物理对应关系。由于智能相机固联于执行机构和焊枪，因此
通过这种对应关系，可以将像平面上某一点位置对应到焊枪实际位置上。 接着，运动控制单元中的DSP2812运动控制器根据上述焊枪偏移量进行跟踪轨迹
的滤波、拟合并实时计算跟踪点以及运动指令规划； 运动轴执行机构实施控制的量为当前焊枪需要跟踪补偿运动的矫正偏移量，即焊
枪从一个位置前进到下一个位置在垂直于焊缝方向上需要的矫正量，而图像处理结果体现
的是获取图像时刻固定于运动轴执行机构上的焊枪与焊缝的相对偏移量，并不是上述需要
的运动控制矫正量，所以必须对图像采集和处理单元所得的结果进行运动规划。 在运动规划之前，为了保证运动稳定，需要先对跟踪轨迹数据进行滤波、拟合并实
时计算跟踪点。 DSP运动控制器采用定时中断方式读取图像采集和处理单元的焊枪偏移量信息， 定时时间节拍设计为10毫秒； DSP运动控制器跟踪轨迹滤波模块(如图5所示)以前视距离范围(如图8中，激 光条纹5与焊枪9在工件上的投影之间的垂直距离D)取得的焊枪偏移量信息作为滤波输 入信息，通过上位机(即上层参数设置和控制单元)传输的滤波参数(如中值或均值滤波 算法及3或5次滤波参数)进行算法和参数的选择，设置2倍前视距离作为滤波窗口的长 度，完成滤波计算，输出经过滤波之后的焊枪偏移量。 跟踪轨迹拟合模块(如图5所示)的输出量作为输入，通过上位机传输的拟合参 数进行拟合方法(如最小二乘或三次样条拟合)和拟合窗口大小(如参数设置或前视距离 倍数设置)的选择，完成拟合计算，并对拟合后的线段按照与采集节拍同步的时间节拍进 行控制焊枪偏移量的划分实时计算。 跟踪轨迹规划模块(如图5所示)以拟合计算后的输出量作为输入，通过超前偏 差计算方法计算当前焊枪需要跟踪补偿运动的矫正偏移量，并按照预定的10毫秒倍数的 控制节拍进行运动指令规划。超前偏差计算方法原理图如图16所示，具体过程如下 由于摄像头位于焊枪的前方，所以焊枪对焊缝的跟踪滞后于图像处理过程，从摄 像头采集第一幅图像到焊枪开始实时跟踪之间处理的图像数，即前视距离范围内采集的图 像数，可以采用下面的公式推算，如图16所示，为焊缝与焊枪的偏差示意图。^ =- (1)
v力 乂 式中M为处理图像数；L为焊枪与摄像头之间距离，即前视距离；V为焊接速度；tp
为处理一帧焊缝图像时间。 上式的意义由于焊枪要到达摄像头初始位置后才开始进行实时跟踪，即经过前 视距离的长度L，所以首先计算出从焊枪开始行走到焊枪到达摄像头初始位置所需时间 (L/v)，再用这一时间除以智能相机处理一帧图像所用时间tp，即(L/(V tp))，得到焊枪开 始实时跟踪前的处理图像数(M)。 在实际应用中，本实用新型关心的是焊枪从一个位置前进到下一个位置在水平方向上需要的矫正量，而图像处理结果体现的是获取图像这一时刻焊枪与焊缝的相对位置， 并不是本实用新型需要的矫正量，所以必须对图像处理所得的结果进行调整。设位置"n" 的图像处理结果的焊枪与焊缝中心位置的距离用Distn表示，从位置"n-l"到位置"n"的 水平方向矫正值用Deltan表示。Distn和Deltan均为有符号数，定义焊缝位于焊枪右侧时 的Distn和Deltan为正，位于焊枪左侧时对应的Distn和Deltan为负。 由初始条件可知，当焊枪前进到摄像头初始位置(设为位置"0")前，不进行任何 水平方向位置调整，在到达摄像头初始位置时，焊枪正对焊缝，焊枪由位置"0"前进到位置 "l"所需的水平位置矫正值(Delta》等于之前计算所得的偏差值Dis^ ;而从位置"l"前进 到位置"2"水平方向矫正值不再是得到的图像处理结果Dist2，对该结果必须进行矫正，矫 正公式如下 Delta2 = Dist2—Delta! (2) 焊枪从位置"2"到位置"3"的矫正值为 Delta3 = Dist2-Delta「Delta2 (3) 依此类推，从位置"n"到位置"n+l"的矫正值为歸" +1 =飽 +' -1] D气 ("+1 s m,", k z ) (4) 上面的公式适用于焊枪前进距离小于等于L的情况。 当焊枪从位置"M"(这里位置"M"表示焊枪开始实时跟踪前从初始位置开始的第 一个前视距离位置)前进到位置"M+1"时，情况发生变化。摄像头在位置"M+1"处获得的 焊缝图像对应于焊枪(即摄像头中心)在水平方向平移Deltai距离，即此时图像的水平基 准为位置"l"的横坐标，而不是此前的位置"O"的横坐标，所以焊枪从位置"M"前进到位置 "M+1"的矫正值为 = - J] g z) (5) 即用位置"M+1"处的图像处理结果减去焊枪从位置"1"到位置"M"在水平方向的 移动距离之和就是从位置"M"到位置"M+1"的水平方向矫正值。 同理，在焊枪到达位置"2"时得到的位置"M+2"处的焊缝图像，并通过图像处理算 法得到对应的DistM+2，为得到从位置"M+1"到位置"M+2"的矫正值DeltaM+2，需要从DistM+2 减去从位置"2 "到位置"M+l"焊枪在水平方向的移动距离之和，即"e/toM+2 = D/WA/+2 _ Z De/top; Z) (6) 所以焊枪到达位置"M"后的通用矫正值计算公式为"e/toA",,+, = — Z i)e/to" ("， p ; Z) (7) 上面(4) 、 (7)两个公式适用于焊枪与焊缝存在的各种位置关系，即为上述的超前 偏差计算方法。 最后，上述运动指令通过运动控制器DSP2812的P丽信号送给运动轴驱动器对运 动轴执行机构实施控制实现焊缝跟踪运动。
权利要求一种激光焊接焊缝跟踪实现装置，其特征在于包括图像采集及处理单元，采集激光焊接焊缝特征的图像数据，对该图像数据进行处理并输出焊缝位置信息；运动控制单元，接收上述焊缝位置信息进行分析处理，向运动轴执行机构发送运动控制指令；上层参数设置和控制单元，设置图像采集和处理参数、运动控制参数，分别与图像采集及处理单元、运动控制单元进行通讯连接。
2. 按权利要求1所述的激光焊接焊缝跟踪实现装置，其特征在于所述图像采集及处 理单元包括激光光源、光学组件及智能相机，其中激光光源产生的一字线性激光通过焊接 工件反射，经光学组件由智能相机进行采集。
3. 按权利要求2所述的激光焊接焊缝跟踪实现装置，其特征在于所述激光光源波长为660nm，功率为50mw 100mw可调。
4. 按权利要求2所述的激光焊接焊缝跟踪实现装置，其特征在于所述光学组件中的 滤光片能透过波长660nm的光波。
5. 按权利要求1所述的激光焊接焊缝跟踪实现装置，其特征在于所述运动控制单元 包括运动控制器、运动轴驱动器及运动轴执行机构，其中运动控制器以DSP为控制核心，与图像采集及处理单元的智能相机通过CAN总线相连， 对其输入的位置信息进行分析、计算，得到运动轴执行机构的控制位置信息；运动轴驱动器，接收运动控制器的控制位置信息，输出至运动轴执行机构，最终实现的 焊枪对焊缝位置的跟踪矫正补偿运动。
专利摘要本实用新型涉及一种激光焊接焊缝跟踪实现装置，包括图像采集及处理单元，采集激光焊接焊缝特征的图像数据，对该图像数据进行处理并输出焊缝位置信息；运动控制单元，接收上述焊缝位置信息进行分析处理，向运动轴执行机构发送运动控制指令；上层参数设置和控制单元，设置图像采集和处理参数、运动控制参数，分别与图像采集及处理单元、运动控制单元进行通讯连接。本实用新型可以适应多种焊缝类型和工艺，具有通用性好、灵活性强和独立性高以及精度高、定位准、适应性强等优点。
文档编号B23K26/24GK201514565SQ20092001570
公开日2010年6月23日 申请日期2009年7月22日 优先权日2009年7月22日
发明者吴强, 姜春英, 康永军, 柳连柱, 邹媛媛, 郭奇 申请人:中国科学院沈阳自动化研究所