本发明涉及三维信息处理装置方法，尤其是涉及了一种三维焊缝自动识别装置及方法。
背景技术：
：随着工业技术的不断进步，焊接技术成为一种重要的金属热加工技术广泛应用于机械、材料等行业且对焊接质量要求越来高。传统的人工焊接，焊接人员技术水平、责任感、疲劳程度等个体因素差异很大，很难保证焊接质量的稳定。因而为了保证产品的焊接品质，减少人为因素的影响，焊接自动化是未来焊接的主要发展方向。目前国内外采用的焊接机器人大多为可编程的示教再现式机器人，装配一些视觉传感器后有一定的环境感知能力，但工作方式基本上还是示教再现。但是它也存以下缺点：1、视觉传感器容易受强烈的弧光、高温辐射、电磁干扰、烟尘飞溅干扰，导致测量误差。2、操作者必须在工作现场进行操作，机器人以示教再现方式工作，它只能重复输入指令，对于在实际工作过程中发生的变化，例如工件加工的尺寸偏差、夹持的位置偏差等，都无法精确的进行焊接，适用于大批量简单焊接过程。对于单件或混合产品的批量生产，示教过程的反复进行，会浪费大量的人力物力。技术实现要素：鉴于上述
背景技术：
的不足，本发明的目的在于提供了一种三维焊缝自动识别装置及方法，将传送带、工控机、焊接机器人等设备结合三维重建原理，实现自动识别待焊接工件的焊缝，提高焊接效率。为了达到上述目的，如图1所示，本发明采用技术方案是：本发明包括一台dlp投影仪、一台ccd工业相机、一台焊接机器人、一条传送带、一个伺服电机和两个光电传感器；传送带一端的带轮连接伺服电机，待焊接工件置于传送带上，由伺服电机带动传送带工作运送待焊接工件；传送带入口侧上方设有ccd工业相机和dlp投影仪，传送带的出口侧上方设有焊枪，焊枪连接焊接机器人，由焊接机器人控制焊枪移动对焊接工件进行焊接；焊枪和dlp投影仪之间布置有用于感知焊接工件位置的第一光电传感器和第二光电传感器。还包括一台工业控制计算机和一台plc控制器，伺服电机经plc控制器与工业控制计算机连接，焊接机器人、ccd工业相机、dlp投影仪、第一光电传感器和第二光电传感器均连接到工业控制计算机。所述的待焊接工件表面上有待焊接缝隙，通过焊枪移动待焊接缝隙上进行焊接。所述的投影仪用于投影具有编码信息的光栅图案图像，光栅图案图像为黑白相间条纹且条纹宽度依据编码信息设定的图像。二、一种三维焊缝自动识别方法，方法的步骤是：步骤ⅰ)对工业相机和投影仪进行标定，根据标定结果建立相机坐标系，然后对相机坐标系进行旋转和平移后转换建立机器人坐标系；步骤ⅱ)工件放置在传送带上，沿传送带运输，当待焊接工件到达指定位置时，工控机控制电机停止运行，并控制投影仪向工件表面投影四幅带有不同编码信息的光栅图案图像，相机分别采集四幅光栅图案图像投影下的工件表面图像和一幅正常图像，经过光栅图案图像投影的工件表面具有变形光栅图案，并发送给工控机进行处理，根据相位测量轮廓术对工件表面进行三维重建；步骤ⅲ)对拍摄到的待焊接工件表面图像进行图像处理，得到待焊接缝隙的中心曲线二维坐标；步骤ⅳ)在图像中找出该中心线(中心线无高度信息)，根据中心曲线的法向量沿中心曲线每间隔固定距离插入一个切平面；步骤ⅴ)每个切平面与表面三维模型相交，相交处为存在一条线段，取线段的最低点作为待焊接点，连接各个切平面对应的待焊接点并拟合为曲线获得待焊接缝隙的焊接路径，用焊枪沿着获得的焊接路径对待焊接缝隙进行焊接操作。所述步骤ⅰ)中，对工业相机和投影仪进行内外参数标定作为系统参数，对相机坐标系进行旋转和平移后转换建立机器人坐标系，计算出相机坐标系和机器人坐标系之间的旋转矩阵和平移矩阵，并进行系统几何参数标定。本装置中，工业相机和焊接机器人属于eye-to-hand系统。通过坐标系的变换，相机坐标系转换为机器人坐标系，通过光电传感器，确定工件的位置信息，三维重建后的三维坐标信息可直接供机器人使用。所述步骤ⅱ)中，通过相位测量轮廓术进行三维重建，使用经过编码的光栅图案图像投影到物体上，物体表面的深度信息被调制到相机拍摄到的工件表面图像中，通过在标定板上投射光栅图案图像获得相机成像点和光栅投影点的对应关系，相机成像点为物体上的点对应到工件表面图像上相同位置的点，光栅投影点为物体上的点对应到光栅图案上相同位置的点，将对应点代入依据三角测量原理建立的物相关系中，计算出所有成像点的深度，从而重建出物体的三维面形；具体步骤如下：步骤1)相位测量：利用四步相移算法，将四幅光栅图案图像投影到待焊接工件表面，四幅光栅图案图像的相移分别为：0、π/2、π和3π/2，对每个像素点的相位主值进行求解：四幅光栅图案图像的光强表达式分别为：ii(x,y)＝a0+b0cos[φ(x,y)+δi]其中，ii(x,y)表示四幅不同相移光栅图案图像中像素点(x,y)的光强值，i＝1,2,3,4，i表示相移序数标记，i＝1,2,3,4分别代表了相移0、π/2、π和3π/2，δi表示图像光栅的相移，i＝1,2,3,4的δi分别为0、π/2，π，3π/2，a0表示图像的平均灰度，b0表示投影仪投射的光栅图案图像的光强幅值，φ(x,y)表示像素点(x,y)的相位主值；根据光强表达式采用以下公式计算出像素点(x,y)的相位主值：步骤2)相位展开算法：通过相移算法得出的相位主值在全场测量域内呈周期性变化(0～2π)，再采用时间相位展开算法展开成全场范围内的全局相位得到绝对相位主值，以进行相位-高度映射；步骤3)相位-高度映射：通过在白色标定板上投射光栅图案图像，建立相机图像和光栅图案图像的对应关系，通过预先标定的系统参数以及步骤2)得到的绝对相位主值，对每个点的高度值进行计算，得到三维坐标。所述步骤ⅲ)中具体是利用图像处理的方法，首先对工件表面的图像进行边缘提取，再进行锐化操作，得到待焊接缝隙两侧的两条边缘曲线，通过中间值的方法求出两条边缘曲线之间的中心曲线的二维坐标。所述步骤ⅳ)插入的切平面平行于中心曲线的法向量且垂直于传送带所在平面，由此可确定一个唯一确定的切平面。优选地，沿中心曲线每隔2mm插入一个切平面。本发明的有益效果：本发明在焊接领域运用先进的三维重建方法，通过对扫描得到的三维点云的处理，得到焊缝的实际坐标。本发明能自动识别焊缝坐标，用焊接机器人自动焊接，在实际生产过程中可用于焊接带有多条复杂缝隙的待焊接工件，并且通过验证其精度满足实际焊接需求。本发明通过先扫描后焊接的方式，避免了传统线结构光焊接机器人在焊接时产生的强烈弧光、高温辐射、电磁干扰、烟尘飞溅对焊缝位置信息检测的影响。提高了焊接的精度，减少了人工焊接的成本，大大的提升了流水线焊接的效率。附图说明图1是本发明的结构示意图。图2是焊缝坐标提取算法流程图。图3是三维重建系统原理图。图4是实施例的待焊接工件表面模型图。图5为本发明根据中心曲线的法向量建立的切平面示意图。图6为本发明根据切平面选取相交线段的最低点示意图。图7-9为本发明对检测到的焊缝三维数据进行验证的示意图，分别为直线焊缝、曲线焊缝、折线焊缝。图1中：1、工业控制计算机，2、焊接机器人，3、传送带，4、焊枪，5、第二光电传感器，6、第一光电传感器，7、待焊接工件，8、dlp投影仪，9、伺服电机，10、plc控制器，11、带镜头ccd相机。具体实施方式下面结合附图和实施例及对本发明作进一步的说明。如图1所示，本发明具体实施包括一台dlp投影仪8、一台ccd工业相机11、一台焊接机器人2、一条传送带3、一个伺服电机9和两个光电传感器5、6；传送带3一端的带轮连接伺服电机9，待焊接工件7置于传送带3上，由伺服电机9带动传送带3工作运送待焊接工件7；传送带3入口侧上方设有ccd工业相机11和dlp投影仪8，传送带3的出口侧上方设有焊枪4，焊枪4连接焊接机器人2，由焊接机器人2控制焊枪4移动对焊接工件7进行焊接；焊枪4和dlp投影仪8/ccd工业相机11之间布置有用于感知焊接工件7位置的第一光电传感器6和第二光电传感器5。如图1所示，还包括一台工业控制计算机1和一台plc控制器10，伺服电机9经plc控制器10与工业控制计算机1连接，焊接机器人2、ccd工业相机11、dlp投影仪8、第一光电传感器6和第二光电传感器5均连接到工业控制计算机1。具体实施中，ccd工业相机11垂直传送带3平面拍摄。dlp投影仪8出瞳中心和ccd工业相机11成像入瞳中心在同一平面。dlp投影仪8位于传送带3侧面，向传送带3投影光栅图案图像。dlp投影仪8用于投影具有编码信息的光栅图案图像，光栅图案图像为黑白相间条纹且条纹宽度依据编码信息设定的图像。本发明装置的工作过程是：当待焊接工件7由传送带3运输到达传送带3的中间位置时，光电传感器6发送信号给工控机1，工控机1控制伺服电机9停止运行，并控制投影仪8依次投影四幅带不同编码信息的光栅图案图像和一幅正常图像，工业相机11采集四幅光栅图案图像照射下的工件表面图像和一幅正常图像，并发送给工控机1进行处理。工控机1根据相移测量轮廓术对工件表面进行三维重建，并用焊缝识别算法得到焊缝三维信息。拍摄完成后工控机1收到工业相机11的结束信号，给电机9发送启动信号，传送带3继续运行。当待焊接工件7到达焊枪4下方位置，光电传感器5发送动作信号给工控机1，工控机1控制电机9停止工作，并发送动作信号给焊接机器人2。焊接机器人2根据工控机1处理后得到的焊缝三维信息，控制焊枪4按焊缝三维信息中的焊接路径进行焊接操作。待操作完成之后焊接机器人2发送结束信号给工控机1。工控机1接收到结束信号，控制电机9继续工作，传送带3继续传动。如图2所示，本发明的具体实施识别处理过程如下：步骤ⅰ)对工业相机、投影仪进行内外参数标定，对相机坐标系和投影仪坐标系进行旋转和平移后转换成机器人坐标系，计算出相应的旋转矩阵和平移矩阵。并进行系统几何参数标定。相机的标定：世界坐标系为(xw,yw,zw)、相机坐标系为(xc,yc,zc)、图像像素坐标系为(u，v)和物体坐标系为(x，y)。假设空间内任意一点p的三维坐标在世界坐标系和相机坐标系下分别为(xw，yw，zw)和(xc，yc，zc),它在相机成像平面上的投影点为(u，v)，则它们的透视投影几何关系可表示为：其中，(u0，v0)表示像平面的中点坐标，sx＝f/dx,sy＝f/dy,其中f为相机焦距，dx为像素宽度，dy为像素高度。相机坐标系与世界坐标系的转换关系为：其中，r和t分别为从世界坐标系到摄像机坐标系的旋转和平移变换，r是一个3×3的正交矩阵，t是一个3×1的平移向量。下表为实验中所取得部分数据点在相应相机坐标系和机器人坐标系下的坐标。表1部分数据点在相机坐标系和机器人坐标系下的坐标相机坐标系机器人坐标系1(85.6655，774.7977，77.2381)(448.12，5578.36，178.62)2(75.8445，48.4935，88,7462)(433.59，576.02，173.26)3(81.5698，44.8569，96.1254)(437.82，568.39，167.23)4(99.1684，52.8549，110.854)(441.14，543.56，167.02)5(102.5692，37.3025，116.5894)(450.69，543.84，163.59)6(95.2589，24.5249，119.5987)(449.72，551.68，140.31)7(87.2256，36.4852，120.3560)(436.28，551.23，146.08)8(89.5482，-16.5923，145.2561)(457.35，554.08，88.25)9(68.2446，-15.2965，139.2564)(433.69，556.24，79.94)10(80.7459，33.2689，139.2905)(425.98，543.29，131.39)在标定过程中，对100组测试数据分别求出相机坐标系和机器人坐标系，对100组相机坐标系与世界坐标系的转换关系求出最优解。对每一个关系矩阵求实际坐标与计算机坐标差的范数值。范数值最小的那组解得的相机坐标系与世界坐标系的转换矩阵为：由(1.1)(1.2)可知，p点在世界坐标系下的坐标(xw，yw，zw)与其投影点坐标(u，v)的投影关系：其中，ax＝f×sx，ay＝f×sy，上式可简写为：s表示尺度因子，和分别表示空间点p和其像点的齐次坐标，ax和ay分别表示f×sx和f×sy的值，m表示投影矩阵，[rt]为外部参数矩阵，a为内部参数矩阵：投影仪的标定：生成一组与相机标定板相对应的图像，使用matlab标定工具箱对投影仪进行标定。标定过程中使用12个不同方向拍摄标定板，从而得到投影仪的内部参数矩阵。经过对相机和投影仪内部参数的标定，还需对两者外部参数进行定，即两者对世界坐标系的位置关系。此关系可表示为：xc＝mcxw(1.6)xp＝mpxw(1.7)其中，xc＝{xc,yc,zc}t,xp＝{xp,yp,zp}t,xw＝{xw,yw,zw}t，分别为点p在相机、投影仪和世界坐标系下的坐标，mc＝[rc,tc]和mp＝[rp'tp]为从相机坐标系和投影仪坐标系到世界坐标系的转换关系，分别包括旋转变换和平移变换，上述参数同样可以使用matlab相机标定工具箱计算得到。系统几何参数标定：如图3，通过相位计算物体高度时，需要系统几何参数(l，d，p)，其中p为光栅条纹的投影周期，d为投影仪出瞳中心p和相机成像系统入瞳孔中心c之间的距离，l为它们的连线与参考面之间的距离。由于参数与相机投影仪光心位置有关，而光心位置又是一个假想的空间点，由此无法直接对它们进行测量。因此，采用六个已知高度的物体进行测量，列出求解方程，联立方程求出参数，采用最小二乘法让误差最小就可以对参数进行标定。综上所述，相机和投影仪的标定实际上是确定内参和外参的过程。在标定完摄像机内外参数之后，可指定任意一个坐标系作为摄像机的世界坐标系。考虑到eye-to-hand系统中相机和机器人的相对位置固定，所以采用机器人的本体坐标系作为摄像机的外参数，通过上述标定过程，即可完成相机坐标系到机器人坐标系的转换。步骤ⅱ)将如图4所示的工件放置在传送带上，沿传送带运输，当待焊接工件到达指定位置时，工控机(1)控制电机停止运行，并控制投影仪向工件表面投影四幅带有不同编码信息的光栅图案图像，相机(11)分别采集四幅光栅图案图像投影下的工件表面图像和一幅正常图像，经过光栅图案图像投影的工件表面具有变形光栅图案，并发送给工控机(1)进行处理，根据相位测量轮廓术对工件表面进行三维重建。三维重建步骤如下：步骤1)相位测量：利用四步相移算法，将四幅光栅图案图像投影到待焊接工件表面，对每个像素点相位主值进行求解，四幅光栅图案图像的相移分别为：0、π/2、π和3π/2，其光强表达式分别为：ii(x,y)＝a0+b0cos[φ(x,y)+δi](1.8)其中，ii(x,y)表示四幅不同相移光栅图案图像中像素点(x,y)的光强值，i＝1,2,3,4，i表示相移序数标记，i＝1,2,3,4分别代表了相移0、π/2、π和3π/2，δi表示图像光栅的相移，i＝1,2,3,4的δi分别为0、π/2，π，3π/2，a0表示图像的平均灰度，b0表示投影仪投射的光栅图像图像的光强幅值，φ(x,y)表示像素点(x,y)的相位主值。a0通过图像处理的方式得出，b0为自定义的正弦光栅图像的光强幅值。根据光强表达式采用以下公式计算出光栅图案的相位主值：步骤2)相位展开算法：通过相移算法得出的相位主值在全场测量域内呈周期性变化(0～2π)，再采用时间相位展开算法展开成全场范围内的全局相位得到绝对相位主值，以进行相位-高度映射；步骤3)相位-高度映射：通过在白色标定板上投射光栅图案图像，建立相机图像和光栅图案图像的对应关系，通过预先标定的系统参数以及步骤2)得到的绝对相位主值，对每个点的高度值进行计算，得到三维坐标。如图3所示是三维重建系统的结构原理图，投影仪出瞳中心p和相机成像系统入瞳中心c之间的距离为d，他们的连线与参考面之间的距离为l。相机的视场为fw。正交坐标系的xoy平面与参考平面重合，y轴垂直于xoz平面与x轴交于o点，z轴平行于成像透镜光轴。投射光栅交于物体表面点h。ph与草考面交于点a，ch与参考面交与点b，ab两点之间距离表示为物体表面点h相对于参考面的高度为h(x，y)，由于三角形phc与三角形bha相似，可以得到：绝对相位主值表示为与之间存在如下关系：其中，f＝1/p是投影到参考面上光栅条纹的空间频率，p为投影周期。将上式代入到式(1.10)中，可以得到：由上式可以看出，只要得到绝对相位主值和投影周期p，并通过标定得到系统几何参数l，d，就可以计算出目标点的高度值，实现三维重建。步骤ⅲ)通过步骤ⅱ)采集到工件表面图片，对图片进行预处理，边缘提取，锐化操作等一系列图像处理，得到待焊接缝隙的边缘曲线。取两条边缘曲线上位于相同顺序位置的两个边缘点之间的中点，连接各个中点形成中心曲线。得到待焊接缝隙的中心曲线二维坐标。步骤ⅳ)根据中心曲线的法向量沿中心曲线每间隔距离插入一个切平面；切平面平行于中心曲线的法向量且垂直于传送带所在平面。在实际焊接过程中，2mm焊接一个点能满足焊接的要求，故在插入切平面时，每2mm插入一个平面，如图5所示。切平面与工件表面模型的相交于一条曲线线段上，曲线线段上的最低点就是待焊接缝隙的最低点，待焊接缝隙为如图4所示下凹结构，最低点是焊枪需要到达进行焊接的点，即图6中q点。每2mm取一个点，将所有的点都记录在数据库中，传送至工控机储存，当工件到达焊接区域，工控机通过串口通信，将此数据发送给焊接机器人，焊接机器人根据数据库中的三维坐标信息进行焊接操作。步骤ⅴ)每个切平面与表面三维模型相交，相交处为存在一条线段，取线段的最低点作为待焊接点，连接各个切平面对应的待焊接点并拟合为曲线获得待焊接缝隙的焊接路径，用焊枪沿获得的焊接路径进行焊接待焊接缝隙。应用本发明的方法，对结果进行验证。如图7-9，输出检测出三种焊缝的三维坐标，导入软件imageware中显示，白色为检测到的焊缝路径。经验证，通过三维焊缝识别算法得到的焊缝三维数据点准确，能满足实际焊接需求。当前第1页12